Anomaliedetectie

Wat is anomaliedetectie?

Anomaliedetectie is het automatisch opsporen van datapunten die niet passen in het normale patroon. Een factuur die tien keer hoger ligt dan alles wat die leverancier ooit stuurde, een machine die warmer draait dan anders, een import die plots halfleeg binnenkomt: dat zijn anomalieën.

Vergelijk het met een ervaren boekhouder die in een stapel facturen meteen blijft hangen bij die ene die niet klopt. Anomaliedetectie doet hetzelfde, op duizenden metingen per dag.

Welke soorten afwijkingen zijn er?

Grofweg drie:

• Uitschieters in één meting. Een waarde die op zichzelf al vreemd is: een terugbetaling van 40.000 euro in een webshop waar een gemiddeld order rond de 80 euro ligt.

• Afwijkende patronen in de tijd. Een waarde die op zich normaal oogt, maar niet op dat moment. Honderd bestellingen per uur is gewoon op een maandagmiddag, verdacht om drie uur 's nachts.

• Afwijkend gedrag van een entiteit. Geen enkele meting is apart vreemd, maar het geheel wel. Denk aan een machine waarvan het brandstofverbruik stijgt terwijl de motortemperatuur daalt: elke meting valt binnen normaal, de combinatie niet.

Hoe werkt anomaliedetectie?

Regels en drempels. Je schrijft zelf op wat niet mag: een koelcel boven zeven graden, een betaling boven een vast plafond, een verplicht veld dat leeg is. Simpel te bouwen, simpel uit te leggen, en vaak ruim voldoende.

Statistiek. Hier laat je de data de grens bepalen. Je berekent gemiddelde en spreiding, en alles wat er ver buiten valt krijgt een vlag. Voor tijdreeksen splits je de reeks in seizoen, trend en rest. Wat na aftrek van seizoen en trend overblijft, hoort toeval te zijn. Een grote uitschieter in die rest is een echte afwijking, geen drukke decembermaand.

Machine learning. Heb je gelabelde voorbeelden, zoals bevestigde fraudegevallen, dan train je een model dat leert hoe die gevallen eruitzien. Dat is supervised learning. Meestal heb je die labels niet en werk je unsupervised: het model leert hoe normale data eruitziet en markeert wat afwijkt. Een gekende techniek is het isolation forest: splits de data herhaaldelijk op willekeurige plaatsen; punten die je met weinig splitsingen kan afzonderen, zijn de afwijkende.

Regels of machine learning?

Begin bij regels. Als "normaal" stabiel en gekend is, volstaat een drempel: de koelcel mag nooit boven zeven graden, punt. Een drempel is transparant, kost niks en je team begrijpt meteen waarom een alarm afging.

Drempels lopen vast zodra normaal beweegt. Een webshop met een zomerdip en een eindejaarspiek heeft geen zinnige vaste grens voor zijn aantal bestellingen. Dan heb je statistiek of machine learning nodig die het seizoenspatroon mee inrekent.

Machine learning loont ook wanneer de afwijking in een combinatie van signalen zit. Fraudeurs blijven bewust onder elke aparte drempel; het patroon over tientallen transacties samen verraadt hen. Dat soort verbanden schrijf je niet meer uit in regels.

Wanneer gebruik je anomaliedetectie?

1. Facturatie en betalingen. Een dubbele betaling, een gewijzigd rekeningnummer bij een gekende leverancier, een bedrag dat uit de toon valt: automatische controle vangt wat een steekproef mist.

2. Machines en sensordata. Trillingen of temperatuur die afwijken van het gewone profiel kondigen vaak een defect aan. Zo plan je onderhoud voor de dure stilstand.

3. Datakwaliteitsbewaking. Een kolom die plots halfleeg is, een import die dubbele records binnenschuift, een tabel die stopt met verversen. Dit is de kern van data observability.

4. Verbruik en kosten. Een energiepiek in een gebouw dat 's nachts leeg hoort te zijn, of een cloudfactuur die plots de hoogte inschiet.

Waar moet je op letten bij het gebruik van anomaliedetectie?

Gevoeligheid versus valse alarmen. Stel je het systeem streng af, dan mis je echte gevallen. Stel je het los af, dan regent het meldingen en leert je team ze wegklikken. Vanaf dan is het systeem waardeloos, ook voor de terechte alerts. Plan de eerste weken tijd in om bij te stellen.

Seizoenspatronen geven vals alarm. Een verkooppiek eind november is geen anomalie, dat is Black Friday. Detectie die geen rekening houdt met weekdag en seizoen, verwittigt je elk jaar opnieuw voor gewone drukte.

Normaal verschuift. Je bedrijf groeit, klanten veranderen hun gedrag. Een referentiekader dat op oude data blijft steunen, geeft vanzelf meer valse alarmen of mist echte gevallen. Dit is hetzelfde mechanisme als model drift: herijk je definitie van normaal regelmatig.

Een alert zonder eigenaar is dode letter. Spreek per alerttype af wie hem onderzoekt en wat er gebeurt bij een echte vondst. Meldingen die in een kanaal vallen waar niemand verantwoordelijk is, sterven een stille dood.

FAQ over anomaliedetectie

1. Heb ik machine learning nodig om te starten?
Nee. Voor metingen met een stabiele, gekende grens volstaan drempels en eenvoudige statistiek. Machine learning wordt pas nuttig wanneer normaal meebeweegt of de afwijking in een combinatie van signalen zit.

2. Hoeveel historische data heb ik nodig?
Genoeg om het normale patroon te kennen. Zonder seizoenseffect kunnen enkele weken volstaan. Zit er een week- of jaarpatroon in, dan wil je meerdere volledige cycli.

3. Bewijst een alert dat er fraude of een defect is?
Nee. Anomaliedetectie levert kandidaten, geen conclusies. Een afwijking is een reden om te gaan kijken; de beoordeling blijft mensenwerk.