Data drift

Wat is data drift?

Data drift betekent dat de inhoud, verdeling of patronen in data over tijd veranderen. De structuur kan perfect gelijk blijven: dezelfde kolommen, dezelfde datatypes, dezelfde pipeline. Wat verandert, zijn de waarden en hun gedrag.

Dat is normaal. Klanten kopen anders, markten verschuiven, seizoenen veranderen, producten komen erbij en processen worden aangepast. Data is geen stilstaand object. Ze volgt de werkelijkheid.

Data drift wordt een probleem wanneer rapporten, controles of machine learning-modellen gebouwd zijn op oude patronen en niet merken dat de wereld verschoven is.

Voorbeelden van data drift

• Een webshop ziet plots veel meer retouren na de lancering van een nieuwe productlijn.

• Een fraudemodel krijgt transacties uit een nieuw land dat vroeger amper voorkwam.

• Een supportteam ziet dat tickets korter worden omdat klanten voortaan screenshots meesturen.

• Een forecastmodel voor voorraad merkt dat seizoenspieken vroeger vallen dan vorig jaar.

• Een dashboard toont een sterke stijging in "onbekende categorie" omdat een bronsysteem nieuwe codes gebruikt.

In al die gevallen kan de data technisch geldig zijn. Toch verandert de betekenis van analyses en voorspellingen.

Hoe merk je data drift?

Data drift zie je door verdelingen doorheen de tijd te volgen. Denk aan aantallen per categorie, gemiddelde waarden, nullpercentages, minimum en maximum, uitschieters, tekstlengtes of verhouding tussen klassen.

Voor machine learning kijk je ook naar de inputvariabelen die een model gebruikt. Als de input vandaag sterk afwijkt van de trainingsdata, kan het model minder betrouwbaar worden, zelfs als het nog zonder fout draait.

Data observability en MLOps-tools kunnen zulke verschuivingen automatisch signaleren. Voor kleinere omgevingen volstaan vaak eenvoudige controles in dashboards of data tests.

Data drift versus schema drift

Schema drift gaat over de vorm van data. Een kolom verdwijnt, krijgt een nieuwe naam of verandert van datatype. Data drift gaat over de inhoud. De kolom blijft bestaan, maar de waarden gedragen zich anders.

Voorbeeld: als `order_status` plots `status` heet, is dat schema drift. Als `order_status` blijft bestaan maar het aandeel `geannuleerd` stijgt van 3 naar 18 procent, is dat data drift.

Beide kunnen tegelijk voorkomen. Een bronsysteem kan nieuwe statuscodes toevoegen en tegelijk een ander klantenpatroon veroorzaken.

Data drift versus model drift

Model drift betekent dat een model minder goed presteert. Data drift kan daar een oorzaak van zijn, maar niet elke data drift leidt automatisch tot model drift.

Een model dat spam herkent, kan slechter worden wanneer spammers andere woorden gebruiken. De inputdata verschuift, en daardoor daalt de modelprestatie. In dat geval zie je data drift en daarna model drift.

Een businessdashboard kan ook last hebben van data drift zonder dat er een AI-model bij komt kijken. Als klantsegmenten veranderen, moeten KPI's en interpretaties mee herbekeken worden.

Wat doe je bij data drift?

Maak drift zichtbaar
Monitor volumes, verdelingen en onverwachte waarden op de belangrijkste velden.

Onderzoek de oorzaak
Drift is niet altijd fout. Ze kan wijzen op echte businessverandering, een nieuw proces of een datakwaliteitsprobleem.

Pas regels of modellen aan
Bij echte verandering moeten validatieregels, segmenten, forecasts of modellen soms herzien worden.

Documenteer de breuk
Wanneer een patroon blijvend verandert, hoort dat in metadata, release notes of het datawoordenboek.

Verwant aan en niet verwarren met

Schema drift
Schema drift verandert de structuur. Data drift verandert de inhoud of verdeling.

Model drift
Model drift gaat over slechtere modelprestatie. Data drift is één mogelijke oorzaak.

Anomaliedetectie
Anomaliedetectie zoekt uitzonderlijke punten. Data drift gaat vaker over een blijvende verschuiving in patroon.

Data observability
Data observability helpt drift zichtbaar maken via monitoring, tests en waarschuwingen.

FAQ over data drift

1. Is data drift altijd slecht?
Nee. Soms toont drift gewoon dat de business verandert. Het probleem is niet de verandering, maar dat niemand ze ziet.

2. Hoe vaak moet je op drift controleren?
Zo vaak als de data gebruikt wordt voor beslissingen. Kritieke modellen vragen strakkere monitoring dan maandrapporten.

3. Kan data drift ook in simpele dashboards spelen?
Ja. Een dashboard kan technisch blijven werken en toch misleidend worden wanneer categorieën, volumes of klantgedrag verschuiven.