WikiDer > Extraktion, Transformation und Laden
Extraktion, Transformation und Laden, abgekürzt ETL, ist ein Konzept aus dem Informatik. Es identifiziert die Prozesse, die verwendet werden, um Daten aus verschiedenen strukturierten Datenbanken in eine andere Datenbank zu vereinen, normalerweise a Data Warehouse.
- Auszug: Daten aus einer Quelle abrufen
- Transformieren: Konvertieren Sie abgerufene Daten nach Regeln und erstellen Sie Lookup-Tabellen oder Kombinationen von Daten aus verschiedenen Quellen
- Laden: Schreiben Sie die Daten an einen anderen Ort
Auftrag
Wie die Abkürzung ETL andeutet, besteht es aus drei Prozessen: Extrahieren, Transformieren und Laden. Diese Prozesse funktionieren wie folgt:
Extrakt
Der erste Teil eines ETL-Prozesses holt die Daten aus den Quellsystemen. Die meisten Data Warehousing-Projekte verwenden Daten aus unterschiedlichen Quellsystemen und jedes separate System kann auch ein anderes Format/eine andere Datenorganisation verwenden. Gängige Datenquellenformate sind relationale Datenbanken und flache Dateien, kann aber auch nicht-relationale Datenbanksysteme wie IMS und andere Datenstrukturen wie VSAM und ISAM.Extrahieren transformiert die Daten in ein Format für den Transformationsprozess Ein wesentlicher Bestandteil der Extraktion ist das Parsen der extrahierten Daten, gefolgt von der Überprüfung, ob die Daten der erwarteten Struktur entsprechen. Ist dies nicht der Fall, werden die Daten überhaupt nicht zugelassen. Dies wird auch als Datenbereinigung bezeichnet.
Verwandeln
Beim Transformieren von Daten werden eine Reihe von Regeln oder Funktionen auf die extrahierten Daten aus der Quelle angewendet, um die zu ladenden Daten an das endgültige Ziel umzuleiten. Einige Datenquellen erfordern nur sehr wenig oder keine Manipulation. In anderen Fällen müssen ein oder mehrere Transformationstypen angewendet werden, um die geschäftlichen und technischen Anforderungen des Endziels zu erfüllen:
- Wählen Sie nur einige Spalten zum Laden aus
- codierte Werte übersetzen (z.B. verwendet das Quellsystem für bestimmte Teile andere Werte als das Lager), dies geschieht automatisch
- codieren Sie freie Datenformen (z. B. den Wert "Male" auf a und "Sir" auf b abbilden)
- einen neuen berechneten Wert ableiten, der aus einer Operation und zwei bekannten Variablen besteht, aber das Lager kennt diesen neuen Wert nicht
- Daten aus verschiedenen Quellsystemen zusammenführen
- mehrere Zeilen zu einer Zeile zusammenfassen
- Spalten in verschiedene Spalten aufteilen
- eine Form komplexer Datenvalidierung anwenden apply
- transponieren oder Drehpunkt von Terminen.
Belastung
Die letzte Stufe lädt die Daten in das Endziel (normalerweise das Data Warehouse). Abhängig von den Anforderungen der Organisation kann dieser Prozess einen langen Weg gehen. Etwas Data Warehouse können jede Woche vorhandene Informationen mit geänderten, aktualisierten Daten überschreiben, während andere Data Warehouses neue Daten in einem Zeitplanformat (z. B. jede Minute) hinzufügen. Die Daten werden zu strategisch gewählten Zeitpunkten ersetzt, insbesondere entsprechend den Bedürfnissen des Unternehmens. Komplexere Systeme können eine Geschichte und eine Spur führen keep Wirtschaftsprüfung aller Änderungen an den in das Data Warehouse geladenen Daten.
Benutzen
Datenaustausch
Daten werden von einem System zum anderen gesendet und umgekehrt. Dies kann bei großen auftreten ERPSysteme, bei denen ein Verkauf eingeht und die zu bearbeitenden Daten an die Quelle weitergeleitet werden. Diese Quelle verarbeitet die Daten und sendet sie (mit einem Update) an das erste System zurück.
Systemmigration und Legacy-Konvertierung
Daten werden von einem System zum anderen gesendet. Dies ist ein einmaliger Prozess mit hoher Komplexität, der hauptsächlich dazu dient, alte Batch-Systeme umzustellen und andere Systeme im Lager zu implementieren.
Aktualisieren der Infrastruktur
Dadurch ändert sich die Datenstruktur. Sie müssen die Daten nur einmal migrieren.
Körperberatung
Dies reduziert die IT-Komplexität durch den Wegfall von Systemen und Plattformen. Es handelt sich um einen einmaligen Prozess von hoher Komplexität.