Class imbalance

Wat is class imbalance?

Class imbalance betekent dat de klassen in een machine learning-dataset ongelijk verdeeld zijn. Eén klasse komt veel vaker voor dan de andere.

Bij fraudedetectie is dat normaal: de meeste transacties zijn geen fraude. Bij churn zijn de meeste klanten misschien niet vertrokken. Bij kwaliteitscontrole zijn de meeste producten niet defect.

De zeldzame klasse is vaak net wat je zoekt. Daarom maakt class imbalance evaluatie lastig.

Waarom accuracy misleidt

Stel dat 1 procent van transacties fraude is. Een model dat altijd "geen fraude" voorspelt, haalt 99 procent accuracy. Toch vindt het geen enkele fraudezaak.

Bij class imbalance kijk je daarom verder dan accuracy. Precision en recall, de confusion matrix en soms ROC-curve en AUC of precision-recall curves geven een eerlijker beeld.

Wat kan je doen aan class imbalance?

• Andere metrics gebruiken. Kijk naar recall, precision, F1-score en de confusion matrix.

• Threshold aanpassen. Je kan de grens voor "positief" lager of hoger zetten.

• Resampling. Je kan de zeldzame klasse oversamplen of de dominante klasse undersamplen.

• Class weights. Sommige algoritmes kunnen fouten op de zeldzame klasse zwaarder wegen.

• Meer relevante data verzamelen. Extra voorbeelden van de zeldzame klasse helpen vaak meer dan trucjes.

Class imbalance en cross-validation

Bij cross-validation moet elke fold genoeg voorbeelden van de zeldzame klasse bevatten. Daarom gebruik je vaak stratified cross-validation.

Pas op met resampling vóór de split. Als je synthetische of gedupliceerde voorbeelden eerst maakt en daarna splitst, kan bijna dezelfde rij in training en test terechtkomen. Dat is data leakage.

Class imbalance versus data skew

Class imbalance gaat over labels in een classificatieprobleem. Data skew gaat breder over scheve verdeling in data of verwerking.

Een dataset met 1 procent fraude heeft class imbalance. Een Spark-job waarbij één klant 80 procent van de events heeft, heeft data skew. Beide vragen dat je niet alleen naar gemiddelden kijkt.

Waar moet je op letten bij class imbalance

• Begin met de businesskost. Is een gemiste fraude erger dan een vals alarm?

• Kijk naar aantallen, niet alleen scores. Een kleine recall-wijziging kan veel cases betekenen.

• Gebruik een passende testset. De testverdeling moet lijken op productie, tenzij je bewust anders meet.

• Leg de threshold vast. Het model geeft vaak een score, de business kiest de actiegrens.