Data sampling

Wat is data sampling?

Data sampling betekent dat je met een deel van een dataset werkt in plaats van met alles. Je neemt een steekproef om sneller te analyseren, testen, profileren of trainen.

Sampling is nuttig wanneer de volledige dataset groot, traag of duur is. Een analist kan bijvoorbeeld eerst 100.000 rijen bekijken in plaats van 500 miljoen.

De sample moet wel passen bij de vraag. Een verkeerde sample geeft een snel antwoord dat niet klopt.

Soorten samples

• Random sample. Elke rij heeft dezelfde kans om gekozen te worden.

• Stratified sample. Je bewaart de verhouding tussen groepen, zoals land, klasse of klantsegment.

• Time-based sample. Je kiest een periode, bijvoorbeeld de laatste drie maanden.

• Systematic sample. Je neemt bijvoorbeeld elke honderdste rij, zolang de volgorde zelf geen patroon veroorzaakt.

Wanneer gebruik je data sampling?

1. Data profiling. Je wil snel zien welke waarden, lege velden en uitschieters voorkomen.

2. Queryontwikkeling. Je test logica op een kleiner volume voordat je de volledige run start.

3. Machine learning. Je gebruikt samples om modellen sneller te verkennen of klassen beter te balanceren.

4. Audits en controles. Je controleert een deel van de records, met een methode die verdedigbaar is.

Data sampling versus filtering

Een filter kiest records die aan een inhoudelijke voorwaarde voldoen, bijvoorbeeld alle orders uit België. Een sample kiest een deel van de records om een grotere populatie te benaderen.

Dat verschil telt. Filter je op België, dan analyseer je België. Sample je willekeurig, dan probeer je iets te zeggen over de volledige dataset.

Sampling en data leakage

Bij machine learning moet sampling zorgvuldig gebeuren. Als je eerst de volledige dataset bewerkt en pas daarna splitst, kan informatie uit de testset in training lekken. Dat maakt het model op papier beter dan in productie.

Bij tijdsreeksen is random sampling vaak misleidend. Je wil meestal trainen op het verleden en testen op latere data, omdat productie ook zo werkt.

Waar moet je op letten bij data sampling

• Controleer representativiteit. Vergelijk verdelingen in sample en volledige dataset.

• Mis geen zeldzame gevallen. Fraude, defecten of churn kunnen verdwijnen in een kleine random sample.

• Leg de methode vast. Een sample zonder methode is moeilijk te herhalen of te verdedigen.

• Gebruik een seed bij experimenten. Dan kan je dezelfde sample opnieuw maken.