ETL steht für Extrahieren, Transformieren und Laden und beschreibt den Prozess, Daten aus Quellsystemen zu extrahieren, sie in eine einheitliche Struktur zu überführen und in ein Zielsystem wie ein Data Warehouse zu laden. Es bildet die Grundlage für Analysen, und seine Zuverlässigkeit entscheidet darüber, ob die darauf basierenden Berichte vertrauenswürdig sind.
Jede Phase birgt spezifische Herausforderungen. Die Datenextraktion muss Daten aus Systemen gewinnen, die nicht für externe Abfragen ausgelegt sind, API-Ratenbegrenzungen berücksichtigen, inkrementelle Änderungserkennung durchführen und Quellen einbeziehen, die keine zuverlässige Möglichkeit bieten, Änderungen zu identifizieren. Die Transformation muss inkonsistente Formate, unterschiedliche Kennungen, widersprüchliche Definitionen und fehlende Werte in Einklang bringen. Das Laden muss große Datenmengen verarbeiten, den Verlauf verwalten und mit Datensätzen umgehen, die verspätet oder in falscher Reihenfolge eintreffen.
Die ELT-Variante kehrt die letzten beiden Schritte um, indem sie Rohdaten in das Zielsystem lädt und diese dort transformiert. Dieses Verfahren ist weit verbreitet, da moderne Data-Warehouse-Plattformen über ausreichende Rechenleistung verfügen, um die Transformation direkt im System effizient durchzuführen. Zudem ermöglicht die Beibehaltung der Rohdaten, Transformationen zu überarbeiten und erneut anzuwenden, ohne sie erneut aus den Quellen extrahieren zu müssen. Dadurch sind Fehler in der Transformationslogik behebbar und nicht irreversibel.
Die inkrementelle Verarbeitung ist eine praktische Notwendigkeit, die die meisten Implementierungen erschwert. Die erneute Verarbeitung aller historischen Daten bei jedem Durchlauf ist zwar einfach, wird aber mit zunehmendem Datenvolumen unpraktikabel. Daher müssen Pipelines ermitteln, was sich seit dem letzten Durchlauf geändert hat. Quellen ohne verlässliche Änderungszeitstempel, nachträglich aktualisierte Datensätze und spurlose Löschungen erschweren dies zusätzlich, und eine fehlerhafte inkrementelle Logik führt zu unbemerkt unvollständigen Daten.
Die Fehlerbehandlung entscheidet darüber, ob eine Pipeline produktionsreif ist. Pipelines schlagen regelmäßig fehl, weil Quellsysteme ihre Schemata ändern, Anmeldeinformationen ablaufen, vorgelagerte Dienste nicht verfügbar sind oder unerwartete Daten eintreffen. Wichtig ist, dass Fehler sofort erkannt werden, dass Teilausführungen den Zielzustand nicht inkonsistent hinterlassen, dass Wiederholungsausführungen dasselbe Ergebnis liefern und keine Datensätze duplizieren und dass eine Person benachrichtigt wird, anstatt dass der Fehler erst entdeckt wird, wenn ein Bericht fehlerhaft erscheint.
Die Validierung der Datenqualität muss innerhalb des Verarbeitungsprozesses erfolgen, nicht im Anschluss. Durch den Abgleich der Zeilenanzahl mit den Erwartungen, die Überprüfung der Befüllung wichtiger Felder, die Bestätigung, dass die Werte in plausiblen Bereichen liegen, und die Prüfung der referenziellen Konsistenz lassen sich Fehler direkt bei der Eingabe erkennen. Ohne diese Prüfungen gelangen fehlerhafte Daten in Berichte und Entscheidungen und werden typischerweise erst Wochen später entdeckt, wenn jemandem eine unplausible Zahl auffällt.
Die Koordination von Ablaufplanung und Abhängigkeitsmanagement entscheidet über die Konsistenz der Ergebnisse. Pipelines laufen selten isoliert, und ein nachgelagerter Job, der startet, bevor der vorgelagerte Prozess abgeschlossen ist, liefert Teilergebnisse, die jedoch vollständig erscheinen. Orchestrierungswerkzeuge ermöglichen die explizite Darstellung dieser Abhängigkeiten. Pipelines, die auf Zeitannahmen statt auf deklarierten Abhängigkeiten basieren, weisen sporadische und schwer reproduzierbare Fehler auf.
Dokumentation und Datenherkunft sind entscheidend, da Datenpipelines die Personen, die sie entwickeln, überdauern. Um zu verstehen, warum eine Zahl so aussieht, wie sie aussieht, und um die Auswirkungen von Änderungen am Quellsystem zu beurteilen, ist es unerlässlich zu wissen, woher jedes Feld stammt, welche Transformationen angewendet wurden und welche Geschäftsregeln kodiert sind. Nicht dokumentierte Datenpipelines werden zu Systemen, die niemand zu verändern wagt, wodurch Unternehmen schließlich parallele Datenpipelines mit widersprüchlichen Ergebnissen haben.
Da Zuverlässigkeit und nicht Komplexität den Nutzen bestimmt, sollte die für Pipelines angewandte Ingenieursdisziplin der für Produktionssoftware angewandten entsprechen. In der Praxis werden die Pipelines gebaut und betrieben von , oder unter der IT AbteilungDie Transformationslogik, die Geschäftsdefinitionen kodiert, wird wie folgt spezifiziert: DatenanalyseEs lohnt sich, die Validierungsregeln vor dem Aufbau der ersten Pipeline zu vereinbaren, anstatt sie erst nach dem ersten Vorfall hinzuzufügen.