Confusion matrix

Wat is een confusion matrix?

Een confusion matrix is een tabel die toont hoe de voorspellingen van een classificatiemodel zich verhouden tot de echte labels. Ze laat niet alleen zien hoeveel voorspellingen juist waren, maar ook welke fouten het model maakte.

Bij een binair model, bijvoorbeeld fraude of geen fraude, krijg je vier vakken: true positives, false positives, true negatives en false negatives. Die vakken vertellen veel meer dan één algemene score.

De naam klinkt wat ongelukkig, maar het idee is helder: waar verwart het model de ene klasse met de andere?

Hoe lees je een confusion matrix?

Stel dat een model fraude voorspelt.

• True positive. Het model zegt fraude, en het was fraude.

• False positive. Het model zegt fraude, maar het was geen fraude.

• True negative. Het model zegt geen fraude, en dat klopt.

• False negative. Het model zegt geen fraude, maar het was wel fraude.

Die laatste twee foutsoorten hebben vaak een heel andere kost. Een false positive geeft misschien extra manueel werk. Een false negative laat echte fraude door.

Wanneer gebruik je een confusion matrix?

• Bij classificatiemodellen. Denk aan churn, fraude, defectdetectie, spam of lead scoring.

• Bij ongelijke klassen. Als maar 1 procent fraude is, kan accuracy misleiden. De matrix toont wat er met die zeldzame klasse gebeurt.

• Bij threshold-keuzes. Verlaag je de drempel, dan vind je meer positives maar krijg je vaak ook meer false positives.

• Bij businessgesprekken. De matrix maakt fouten concreet genoeg om kosten en risico's te bespreken.

Confusion matrix versus accuracy

Accuracy is het aandeel juiste voorspellingen. Dat is handig wanneer klassen ongeveer even vaak voorkomen en fouten even zwaar wegen.

Bij zeldzame gebeurtenissen is accuracy vaak te grof. Een model dat altijd geen fraude zegt, kan heel hoge accuracy halen als fraude zeldzaam is. De confusion matrix toont dan meteen dat het model geen enkele fraudezaak vindt.

Daarom bereken je uit de matrix vaak precision en recall. Die metrics kijken specifieker naar de positieve klasse en de fouten daarrond.

Waar moet je op letten bij een confusion matrix

• Kies de positieve klasse bewust. Bij fraude is fraude positief. Bij churn is afhaken positief. Die keuze bepaalt hoe je precision en recall leest.

• Koppel fouten aan kosten. Een false positive en false negative zijn zelden even erg.

• Bekijk meerdere thresholds. Eén matrix hoort bij één drempel. Een andere drempel kan een betere businessafweging geven.

• Gebruik testdata die de realiteit benadert. Een matrix op scheve of gelekte data geeft valse zekerheid.

FAQ over confusion matrices

1. Werkt dit alleen voor twee klassen?
Nee. Bij meerdere klassen wordt de matrix groter: elke echte klasse wordt afgezet tegen elke voorspelde klasse.

2. Is een confusion matrix een metric?
Niet precies. Het is een tabel waaruit metrics zoals precision, recall en accuracy worden berekend.

3. Waarom heet het 'confusion'?
Omdat de matrix toont welke klassen het model met elkaar verwart.