Sofortantwort
ETL / ELT einfach erklärt
ETL transformiert Daten vor dem Laden, ELT danach im Zielsystem.
- Kurz gesagt
- ETL: Extract → Transform → Load – Daten werden vor dem Laden transformiert
- Typischer Einsatz
- Data Warehousing, ML-Datenaufbereitung, Reporting
- Wichtig zu wissen
- ELT ist der moderne Standard dank leistungsstarker Cloud-Data-Warehouses
ETL / ELT im Überblick
ETL und ELT sind die zwei grundlegenden Muster, um Daten aus verschiedenen Quellen in ein Zielsystem zu überführen. Der Unterschied liegt darin, wo die Transformation stattfindet: Bei ETL werden Daten transformiert, bevor sie ins Data Warehouse geladen werden – klassisch für On-Premise-Systeme. Bei ELT werden Rohdaten zuerst geladen und dann im Warehouse transformiert – der Standard in modernen Cloud-Architekturen, weil Rechenleistung im Warehouse günstiger ist als in separaten ETL-Servern.
ETL (Extract, Transform, Load) und ELT (Extract, Load, Transform) sind die zwei dominanten Muster für Datenpipelines. Sie beschreiben, wie Rohdaten aus verschiedenen Quellen in ein Zielsystem – meist ein Data Warehouse – übertragen werden. Der Unterschied liegt darin, wo die Transformation stattfindet: vor dem Laden (ETL) oder danach (ELT). Moderne Cloud-Data-Warehouses haben ELT populär gemacht, weil die Rechenleistung im Warehouse günstiger ist.
ETL und ELT beschreiben, in welcher Reihenfolge Daten verarbeitet werden:
ETL (klassisch):
Quellen → Extract → Transform → Load → Data Warehouse
(vorher)ELT (modern):
Quellen → Extract → Load → Transform → Analysefertige Daten
(Rohdaten) (im Warehouse)| Aspekt | ETL | ELT |
|---|---|---|
| Transformation | Vor dem Laden | Nach dem Laden |
| Speicher | Nur transformierte Daten | Rohdaten + transformierte |
| Flexibilität | Schema vorab definiert | Schema on Read |
| Performance | Begrenzt durch ETL-Server | Nutzt Warehouse-Power |
Technisch betrachtet
Der moderne ELT-Stack
- Extract + Load: Fivetran, Airbyte → Daten aus APIs, DBs, SaaS in Data Warehouse
- Transform: dbt → SQL-basierte Transformationen im Warehouse
- Orchestrierung: Airflow, Prefect → Scheduling und Monitoring
- Warehouse: BigQuery, Snowflake, Redshift → Speicherung und Berechnung
Vorteile von ELT
- Rohdaten bleiben erhalten (Replay möglich)
- Neue Transformationen ohne erneutes Laden
- Skaliert mit der Warehouse-Leistung
- Einfacherer Debugging (Rohdaten inspizierbar)
Schritt für Schritt
Die Reihenfolge bewusst wählen
ETL und ELT verfolgen dasselbe Ziel: Daten zuverlässig aus Quellen in ein nutzbares Ziel zu überführen. Der Unterschied liegt im Ort der Transformation.
Quellen erfassen
Extraktion
Daten werden aus den vereinbarten Systemen übernommen und mit Herkunft sowie Zeitpunkt dokumentiert.
quellen -> erfasste datenTransformationsort bestimmen
Entscheid
Das Team entscheidet, ob Regeln vor dem Laden ausgeführt werden oder erst im leistungsfähigen Zielsystem.
etl: transform vor load | elt: transform nach loadQualität nachweisen
Qualität
Schema, Vollständigkeit und fachliche Plausibilität werden an der gewählten Verarbeitungsstufe geprüft.
daten + regeln -> gepruefte datenDaten bereitstellen
Nutzung
Das Ergebnis wird mit klarer Bedeutung, Aktualität und Eigentümerschaft für Analyse oder weitere Verarbeitung nutzbar.
gepruefte daten -> analyse oder modell
Konkretes Beispiel
Kundendaten für ein Reporting vorbereiten
Daten aus mehreren Systemen sollen täglich für Auswertungen verfügbar sein.
ETL vor dem Zielsystem
Sensible Felder werden bereits in einer kontrollierten Vorstufe reduziert und bereinigt, bevor Daten das Ziel erreichen.
ELT im Warehouse
Rohdaten werden zunächst im Ziel gespeichert. Versionierte Transformationen erzeugen daraus verschiedene Analysemodelle.
Die passende Reihenfolge ergibt sich aus Datenschutz, Zielsystem, Wiederverwendbarkeit und Betriebsanforderungen.
Einordnung
Vorteile und Grenzen
Das spricht dafür
- Klare Verarbeitungskette: Herkunft, Regeln und Ergebnis können für jedes Datenprodukt nachvollzogen werden.
- ETL schützt früh: Transformation vor dem Laden eignet sich, wenn Daten vorher reduziert oder vereinheitlicht werden müssen.
- ELT bleibt flexibel: Rohdaten können für neue Fragestellungen erneut und anders transformiert werden.
- Wiederholbare Qualität: Prüfungen lassen sich fest in den Datenfluss integrieren statt manuell nachzuhalten.
Das solltest du beachten
- ETL kann unflexibel werden: Neue Fragestellungen brauchen oft Anpassungen vor der Ladephase.
- ELT benötigt klare Zugriffsregeln: Rohdaten im Zielsystem dürfen nicht unkontrolliert verfügbar sein.
- Transformationen brauchen Tests: Fehler in Regeln können sich in viele Berichte oder Modelle fortpflanzen.
- Mehrere Stufen erhöhen Betrieb: Scheduling, Fehlerbehandlung und Kosten müssen über den gesamten Ablauf beobachtet werden.
Vertiefung · für FortgeschritteneZwei Wege zum Datenprodukt
Beide Muster verbinden dieselben Kernbausteine, verschieben aber den Zeitpunkt der Aufbereitung.
Reihenfolge von Laden und Transformieren