Data leakage

Wat is data leakage?

Data leakage ontstaat wanneer een machine learning-model tijdens training informatie krijgt die het in productie niet zou hebben. Het model lijkt dan erg goed, maar alleen omdat het per ongeluk naar het antwoord mocht kijken.

Een churnmodel mag bijvoorbeeld klantgedrag gebruiken van vóór de opzegdatum. Als je er ook een veld in stopt dat pas na opzegging gevuld wordt, zoals cancel_reason, lekt de toekomst in de training.

Data leakage is gevaarlijk omdat evaluaties er prachtig uitzien. Pas na livegang merk je dat het model zwak presteert.

Hoe ontstaat data leakage?

• Future leakage. Features bevatten informatie uit de toekomst.

• Preprocessing voor de split. Je normaliseert, vult lege waarden of selecteert features op de volledige dataset voordat je train-test split maakt.

• Groepen lopen door elkaar. Records van dezelfde klant zitten deels in training en deels in test.

• Doelvariabele zit verstopt in een feature. Een veld is bijna rechtstreeks afgeleid van het label.

Voorbeeld

Een model voorspelt of facturen te laat betaald worden. In de dataset staat ook days_overdue. Tijdens productie is dat veld nog niet bekend op het moment dat je wil voorspellen. Gebruik je het toch bij training, dan leert het model vooral het antwoord lezen.

De testscore wordt hoog, maar het model is onbruikbaar voor vroege waarschuwingen.

Data leakage versus overfitting

Overfitting betekent dat een model te sterk op trainingsvoorbeelden past en daardoor slecht generaliseert. Data leakage betekent dat de data-opzet zelf oneerlijke informatie geeft.

Ze kunnen samen voorkomen, maar leakage is vaak fundamenteler. Zelfs een eenvoudig model kan geweldig scoren als het antwoord verstopt zit in de input.

Hoe voorkom je data leakage?

1. Split eerst. Doe preprocessing die leert uit data alleen op de trainingsset, en pas de geleerde stappen toe op validatie en test.

2. Denk in productietijd. Vraag per feature: is dit bekend op het moment van voorspellen?

3. Gebruik tijds- of groepssplits. Bij klanten, patiënten of toestellen moeten verwante records vaak samen blijven.

4. Review features met domeinkennis. Veel leakage herken je alleen als je het proces kent.

Waar moet je op letten bij data leakage

• Te goede scores zijn verdacht. Een sprong naar bijna perfecte prestaties vraagt controle.

• Automatische feature engineering kan lekken. Laat tools niet blind over de volledige dataset rekenen.

• Cross-validation lost leakage niet vanzelf op. De splitstrategie moet bij het probleem passen.