Transformatie

Wat is een transformatie?

Een transformatie is een bewerking die data verandert. Dat kan heel technisch zijn, zoals een tekstveld omzetten naar een datum. Het kan ook inhoudelijk zijn, zoals brutomarge berekenen, klantsegment bepalen of orderstatussen standaardiseren.

Transformaties zijn normaal in elke datapijplijn. Ruwe data komt meestal uit systemen die gebouwd zijn om processen te ondersteunen, niet om analyse makkelijk te maken. Een rapporteringsmodel heeft daarom vaak andere namen, structuren en berekeningen nodig dan de bron.

Een transformatie is pas goed wanneer je kan uitleggen wat er verandert en waarom. Anders worden cijfers moeilijk te vertrouwen.

Veelvoorkomende soorten transformaties

Formaattransformatie
Datums, bedragen, decimalen en tekstvelden worden naar een uniform formaat gebracht. Bijvoorbeeld `01/07/2026` wordt een echte datumwaarde.

Standaardisatie
Waarden uit verschillende bronnen worden gelijkgetrokken. Bijvoorbeeld `BE`, `Belgium` en `België` worden allemaal `BE`.

Opschoning
Spaties, vreemde tekens, dubbele records of ongeldige waarden worden verwijderd of gemarkeerd.

Verrijking
Er wordt extra context toegevoegd, zoals productcategorie, klantsegment of geografische regio.

Aggregatie
Detaildata wordt samengevat. Bijvoorbeeld factuurlijnen worden omzet per klant per maand.

Berekening
Nieuwe velden ontstaan uit bestaande velden, zoals marge, doorlooptijd of leeftijd.

Wanneer gebruik je transformaties?

1. Om bronnen vergelijkbaar te maken. Verschillende systemen gebruiken andere namen, codes en formaten.

2. Om businesslogica centraal te houden. Een berekening hoort liever één keer in het datamodel dan in tien rapporten.

3. Om datakwaliteit te verbeteren. Sommige fouten kan je corrigeren, andere markeer je zodat gebruikers ze niet blind meenemen.

4. Om performance te verbeteren. Voorberekende aggregaties kunnen rapporten sneller maken.

Voorbeeld

Een webshop levert orderbedragen inclusief btw. Finance wil omzet exclusief btw rapporteren. De datapijplijn past een transformatie toe die op basis van het btw-tarief het nettobedrag berekent. Tegelijk worden valuta omgezet naar euro en worden testorders uitgesloten.

Dit zijn drie verschillende transformaties: berekening, valuta-standaardisatie en filtering. Als ze niet gedocumenteerd zijn, kan niemand achteraf uitleggen waarom het omzetcijfer afwijkt van de ruwe bronexport.

Waar voer je transformaties uit?

In ETL gebeurt de transformatie voordat data in de eindbestemming landt. In ELT laad je data eerst ruw in en transformeer je daarna in het warehouse of lakehouse. Beide patronen zijn geldig. De juiste keuze hangt af van volume, governance, tooling en hoeveel historiek je wil bewaren.

In moderne stacks zitten transformaties vaak in SQL-modellen, dbt, Power Query, notebooks, Spark-jobs of visuele dataflows. De tool is minder belangrijk dan de vraag of de logica versiebeheer, tests en documentatie heeft.

Verwant aan en niet verwarren met

Mappingregel
Een mappingregel beschrijft hoe bronvelden naar doelvelden gaan. Een transformatie beschrijft wat er met de waarde gebeurt.

Afleidingsregel
Een afleidingsregel is een specifieke transformatie waarbij een nieuwe waarde berekend of bepaald wordt.

Validatieregel
Een validatieregel controleert data. Een transformatie verandert data. Soms staan ze naast elkaar in dezelfde pipeline.

Data lineage
Data lineage toont welke transformaties een waarde onderweg heeft ondergaan.

FAQ over transformaties

1. Is elke transformatie een verbetering?
Nee. Een transformatie kan ook informatie weggooien of betekenis veranderen. Daarom moet ze bewust gekozen en gedocumenteerd worden.

2. Mag je fouten automatisch corrigeren?
Soms wel, maar alleen met duidelijke regels. Bij twijfel is markeren of apart zetten veiliger dan stilletjes aanpassen.

3. Waar hoort businesslogica?
Zo centraal mogelijk, liefst in een gedeelde datalaag of metrics layer. Anders krijg je meerdere versies van dezelfde berekening.