Overfitting en underfitting

Wat is overfitting en underfitting?

Overfitting en underfitting zijn de twee manieren waarop een machine learning-model slecht bij zijn trainingsdata past. Overfitting is wanneer het model de trainingsdata te nauw leert, inclusief de toevallige eigenaardigheden en foutjes erin, en daarna struikelt op nieuwe data. Underfitting is het omgekeerde: het model is te simpel om het echte patroon te vatten, dus het presteert zelfs slecht op de data waarop het getraind is.

Een model dat goed geleerd heeft, zit tussen die twee in. Het pikt het echte patroon op en negeert het toevallige detail, zodat het overeind blijft op data die het nooit eerder zag. Dat vermogen om te presteren op nieuwe gevallen heet generalisatie, en dat is de hele reden waarom je een model traint.

Denk aan twee studenten die zich voorbereiden op een examen. De ene leert de antwoorden van vorig jaar woord voor woord van buiten en is de kluts kwijt zodra de vragen veranderen: dat is overfitting. De andere leest de leerstof amper door en onthoudt niets concreets, dus struikelt op elke vraag: dat is underfitting. Je wil de student die de stof echt begrepen heeft.

Hoe herken je ze?

De verklikker is het verschil tussen hoe het model scoort op zijn trainingsdata en hoe het scoort op data die je apart hield. Die apart gehouden data haal je uit een train-test split: je zet een deel opzij en meet het model er pas op het einde tegen af, zodat de score echt nieuwe gevallen weerspiegelt.

• Underfitting. Zwak op de trainingsdata en zwak op de testdata. Het model mist het patroon overal.

• Overfitting. Sterk op de trainingsdata, maar merkbaar slechter op de testdata. Dat groeiende verschil is het kenmerk.

• Goede fit. Degelijk op allebei, met maar een klein verschil ertussen.

Hetzelfde verschil zie je terug in de begrippen bias en variance. Een underfit model heeft veel bias: strakke aannames die er consequent naast zitten. Een overfit model heeft veel variance: het slaat alle kanten op naargelang de precieze trainingsdata die het zag. Je krijgt ze niet allebei tegelijk op nul, dus een model afstellen draait grotendeels om het evenwicht tussen die twee.

Waarom een model over- of underfit

Het komt neer op hoeveel vrijheid het model heeft, vergeleken met hoeveel data en echt signaal het heeft om uit te leren.

Underfitting duikt op wanneer het model te simpel is voor de taak: een rechte lijn die een gebogen trend probeert te volgen, te weinig kenmerken in de data, training die te vroeg stopt, of een regularisatie die zo hoog staat dat ze het model plat drukt. Overfitting duikt op aan het andere uiterste: een model dat flexibel genoeg is om van buiten te leren, te lang getraind, of overladen met meer kenmerken dan de data aankan. Met te veel vrijheid en te weinig data begint het model de toevallige uitschieters te leren in plaats van het patroon.

Hoe voorkom je ze?

Een handvol gewoontes houdt een model in het gezonde midden.

• Cross-validation. In plaats van te vertrouwen op één train-test split, laat je het apart gehouden deel rouleren over verschillende delen en middel je de resultaten. Een model dat er alleen bij één gelukkige split goed uitzag, valt zo door de mand.

• Regularisatie. Voeg een straf toe op complexiteit, zodat het model eenvoudigere oplossingen verkiest. Early stopping is een verwante aanpak: de training stopt zodra de score op het apart gehouden deel niet meer verbetert.

• Meer en betere data. Overfitting neemt af als het model meer voorbeelden heeft om uit te generaliseren, en juistere labels helpen ook.

• Stel de complexiteit bij. Underfitting vraagt een krachtiger model of rijkere kenmerken; overfitting vraagt een eenvoudiger model of minder kenmerken.

Overfitting versus model drift

Allebei laten ze je achter met slechte voorspellingen op echte data, maar ze gebeuren op een ander moment. Overfitting is een fout tijdens de training: het model ging sowieso niet generaliseren, en je had het op de testset betrapt voor de lancering. Model drift komt later. Een model dat prima werkte, wordt stilaan minder juist omdat de wereld die het voorspelt veranderd is: prijzen bewegen, klanten gedragen zich anders, er komt een nieuw product bij. Overfitting los je op voor je het model in gebruik neemt. Voor drift blijf je waakzaam nadat je het in gebruik nam.

Waar moet je op letten bij overfitting en underfitting?

Data leakage vleit de score. Als informatie uit de testset in de training sluipt, ziet het model er geweldig uit bij het testen en stelt het teleur in productie. Houd de split zuiver en beslis erover voor je de data aanraakt.

Een piepkleine testset liegt. Generalisatie beoordelen op een handvol apart gehouden rijen geeft een wisselvallig, onbetrouwbaar cijfer. Houd de testset groot genoeg om te vertrouwen.

Jagen op trainingsaccuraatheid is de val. Een model dat bijna perfect scoort op zijn eigen trainingsdata is vaak overfit, niet uitmuntend. De score op het apart gehouden deel is degene die telt.

Je kan te ver doorslaan. Stapel je te veel regularisatie op of gooi je te veel kenmerken weg om overfitting te bestrijden, dan kantel je regelrecht in underfitting. Het doel is evenwicht, niet het uiterste.