ETL / ELT

Wat zijn ETL en ELT?

ETL en ELT zijn twee patronen om data uit bronsystemen naar een centrale analyseomgeving te brengen. Beide bestaan uit dezelfde drie stappen, maar in een andere volgorde.

ETL staat voor Extract, Transform, Load. Je haalt data uit de bronnen, bewerkt ze op een tussenstation en laadt het eindresultaat in het data warehouse. De transformatie gebeurt voor de data in het warehouse zit.

ELT staat voor Extract, Load, Transform. Je haalt data uit de bronnen, laadt ze eerst onbewerkt in het warehouse of lakehouse, en transformeert ze daarna binnen die doelomgeving zelf. De transformatie gebeurt nadat de data geland is.

Het lijkt een detail, maar het verschil heeft grote gevolgen voor de tools die je kiest, voor performance, voor governance en voor hoe snel een team nieuwe rapporten kan opleveren.

Hoe verschilt ELT van ETL?

ETL is de oudste van de twee. Toen warehouses nog op dure, zware on-premise servers draaiden, was het onverantwoord om alle ruwe data erin te laden. Een apart ETL-server deed de transformaties zodat het warehouse enkel opgeschoonde, geaggregeerde data zag.

ELT werd pas populair toen cloud-warehouses zoals Snowflake, BigQuery en Microsoft Fabric opslag en rekenkracht goedkoop genoeg maakten. Plots kon je rustig terabytes ruwe data laden en pas daarna beslissen wat er moest gebeuren. Dat brengt een paar grote voordelen:

• Herbewerkbaarheid
  Als de logica verandert, heroverschrijf je gewoon de transformatie. Je hoeft niet opnieuw te extracten.

• Eén bron van waarheid
  Zowel ruwe als bewerkte data woont in dezelfde plaats, onder dezelfde beveiliging en met dezelfde tools bevraagbaar.

• Flexibiliteit voor data science
  Machine learning-teams willen vaak toegang tot de ruwe data. Bij ETL is die weg. Bij ELT staat ze klaar.

• SQL als transformatietaal
  In ELT doe je transformaties in de database of het lakehouse zelf. Tools zoals dbt maken dat heel productief. SQL-kennis is breder beschikbaar dan ETL-specifieke talen.

ELT heeft ook nadelen. Je laadt soms data die je nooit nodig hebt, wat kosten oplevert. En als je governance niet op orde is, vertrekken analisten met hun eigen transformaties, elk met een ander klantbeeld.

Wanneer gebruik je ETL?

1. Gevoelige data die niet in ruwe vorm mag blijven bestaan
   Medische, juridische of persoonsgegevens waarvoor masking of pseudonimisering moet gebeuren voor ze in een analyseomgeving landen.

2. Beperkte doelomgeving
   Wanneer het warehouse niet krachtig genoeg is om zware transformaties te verwerken (typisch voor oudere on-premise setups).

3. Compliance-eisen voor data minimization
   GDPR of sectorregelgeving kan voorschrijven dat je enkel strict noodzakelijke velden mag bewaren in je analyseomgeving.

4. Legacy-systemen en mainframes
   Als de bron een mainframe is met trage exports, wil je soms transformaties al tijdens de extractie doen om doorlooptijd te beperken.

Wanneer gebruik je ELT?

1. Moderne cloud-platformen
   Wie vandaag een nieuw dataplatform bouwt op Microsoft Fabric, Snowflake, BigQuery of Databricks, vertrekt vrijwel altijd vanuit ELT.

2. Data science en AI
   Modellen hebben ruwe historische data nodig om patronen te leren. ELT houdt die beschikbaar zonder dubbele pijplijn.

3. Snelle iteratie
   Wanneer business-definities vaak veranderen. SQL-transformaties aanpassen is sneller dan een ETL-job herschrijven.

4. Self-service analytics
   Analisten willen graag eigen gold-tabellen kunnen maken bovenop een zilverlaag. Met ELT en een tool als dbt zit dat ingebakken.

Tools voor ETL en ELT

De grens tussen ETL- en ELT-tools vervaagt. Veel moderne tools ondersteunen beide patronen.

Microsoft Fabric Data Factory
Visuele pipelines en dataflows voor zowel ingest (extractie) als transformaties. Ondersteunt honderden connectoren naar cloud- en on-premise bronnen. Sterke keuze in een Microsoft-ecosysteem.

Azure Data Factory
De zelfstandige variant buiten Fabric, vaak nog actief in bestaande Azure-projecten. Integreert met SSIS voor migratiescenario's vanuit on-premise SQL Server.

dbt (data build tool)
De populairste ELT-tool voor transformaties binnen het warehouse of lakehouse. Je schrijft modellen in SQL met versiebeheer, tests en documentatie. Werkt op Snowflake, BigQuery, Databricks, Fabric en meer.

Power Query
Binnen Power BI en Excel, ook beschikbaar in Fabric Dataflows. Ideaal voor business-gebruikers die zelf data willen opkuisen en transformeren zonder code.

Fivetran, Airbyte, Matillion
Specialisten in extractie en load. Vaak gebruikt samen met dbt voor de transformatielaag.

Apache Airflow, Dagster, Prefect
Orchestratietools die ETL- of ELT-pipelines plannen, monitoren en opnieuw laten lopen bij fouten. Code-first, ideaal voor complexe afhankelijkheden.

SSIS (SQL Server Integration Services)
Klassieke ETL-tool in Microsoft-omgevingen. Nog veel aanwezig in bestaande landschappen, zelden nog de eerste keuze voor nieuwe projecten.

Veelvoorkomende valkuilen

Schema drift
Bronsystemen veranderen stilletjes hun schema (nieuwe velden, hernoemingen, types). Zonder detectie breken je pipelines pas bij de volgende run. Automatische schema-detectie en alerting horen in elke pipeline.

Idempotentie
Een pipeline moet je veilig opnieuw kunnen draaien zonder dubbele rijen of halve resultaten te produceren. Dit vraagt discipline rond staging, upserts en logbijhouden.

Backfill
Wanneer je logica aanpast, moet je de geschiedenis vaak opnieuw doorrekenen. Bouw je pipelines vanaf dag één met backfill in gedachten, anders word je later verrast.

Geen data lineage
Zonder data lineage weet niemand welke bron welke kolom in welk rapport voedt. Gevolg: elke wijziging wordt een speleologische expeditie. Moderne tools zoals dbt en Fabric genereren lineage automatisch.

Handmatige exports blijven hangen
CSV-dumps per e-mail, Excel-bestanden op een netwerkschijf. Ze overleven hun bedoelde levensduur jarenlang en vormen het stille centrum van fragiele rapportering. Weg ermee zodra de officiële pipeline loopt.