ROC-curve en AUC

Wat betekent ROC-curve en AUC?

Een ROC-curve toont hoe een classificatiemodel presteert bij verschillende thresholds. Op de ene as staat de true positive rate. Op de andere as staat de false positive rate.

AUC staat voor Area Under the Curve. Het vat de ROC-curve samen in één getal tussen 0 en 1. Hoe hoger de AUC, hoe beter het model positieve voorbeelden meestal boven negatieve voorbeelden rangschikt.

ROC-curve en AUC worden vaak gebruikt wanneer een model een score of kans geeft, en je nog moet kiezen vanaf welke score je actie onderneemt.

Waarom thresholds ertoe doen

Een fraudemodel geeft bijvoorbeeld per transactie een risicoscore. Zet je de threshold laag, dan vang je meer fraude, maar krijg je ook meer valse alarmen. Zet je hem hoog, dan zijn alarmen preciezer, maar mis je meer fraude.

De ROC-curve toont dat spanningsveld over alle mogelijke thresholds.

ROC-AUC versus precision en recall

ROC-AUC kijkt naar true positives en false positives in verhouding tot alle echte negatieve gevallen. Bij sterk scheve datasets kan dat te optimistisch voelen, omdat er enorm veel negatieve gevallen zijn.

Bij class imbalance is een precision-recall curve vaak nuttiger. Die focust op de positieve klasse: hoeveel gevonden cases zijn echt, en hoeveel echte cases vind je terug?

Voor fraudedetectie, medische screening en churnmodellen wil je daarom vaak beide bekijken.

Hoe gebruik je AUC?

AUC helpt modellen vergelijken zonder meteen één threshold te kiezen. Een model met hogere AUC rangschikt cases meestal beter.

Maar AUC kiest de businessbeslissing niet. De threshold hangt af van kosten: wat kost een vals alarm, en wat kost een gemiste case?

Wanneer is ROC-AUC minder geschikt?

1. De positieve klasse is zeldzaam. Precision-recall kan dan concreter zijn.

2. Je werkt met vaste capaciteit. Als een team maar honderd cases per dag kan opvolgen, is top-k performance vaak relevanter.

3. Scores moeten gekalibreerd zijn. AUC zegt iets over rangorde, niet of een score van 0,8 echt 80 procent kans betekent.

Waar moet je op letten bij ROC-curve en AUC

• Rapporteer de context. Een AUC zonder class distribution zegt weinig.

• Kies later een threshold. Een goede rangorde is nog geen operationele beslissing.

• Gebruik de confusion matrix op de gekozen threshold. Dan zie je de echte aantallen fouten.

• Vergelijk op dezelfde testset. Anders vergelijk je modellen en data tegelijk.