Model drift

Wat is model drift?

Model drift betekent dat een AI-model met de tijd minder goed wordt in het maken van voorspellingen, omdat de wereld waar het op werd getraind verandert. Een model leert op basis van historische data. Maar als die data niet langer lijkt op wat er vandaag gebeurt, raken de voorspellingen uit koers.

Er zijn twee belangrijke vormen: data drift en concept drift.

Data drift

Data drift gebeurt wanneer de inputdata zelf verandert.
De variabelen blijven hetzelfde, maar hun verdeling of waarden verschuiven.
Het model verwacht een bepaald patroon, maar krijgt iets anders te verwerken.

Voorbeeld: Stel dat je een model hebt dat voorspelt welke mails spam zijn. Het model is getraind op oude data waarin spamberichten vaak woorden bevatten als “lottery” of “win money”. Een jaar later gebruiken spammers nieuwe woorden en emoji’s om dezelfde boodschap te verstoppen. De inhoud van de mails is dus veranderd. De input ziet er anders uit dan bij de training, waardoor het model veel spam mist.

Mogelijke oorzaken:

• Nieuwe dataverzamelingsmethodes of systemen

• Veranderingen in gebruikersgedrag

• Seizoenseffecten of externe factoren

• Technische fouten in databronnen

Concept drift

Concept drift treedt op wanneer de relatie tussen input en output verandert.
De data zelf blijft op papier gelijk, maar de betekenis verschuift.

Voorbeeld: Een model voorspelt of iemand met de auto rijdt of het openbaar vervoer neemt, op basis van weerdata. Het model heeft geleerd dat bij regenachtig weer de meeste mensen de auto nemen. Maar een paar jaar later zijn er meer elektrische fietsen met regenkledij en overdekte fietspaden. Het regent nog steeds even vaak, maar de betekenis van regen voor iemands vervoerskeuze is veranderd. De relatie tussen input (weer) en gedrag (vervoersmiddel) is dus verschoven.

Mogelijke oorzaken:

• Nieuwe markttrends of gewoontes

• Wijzigingen in beleid of regelgeving

• Onvoorziene gebeurtenissen die gedrag beïnvloeden

Model drift is een natuurlijk verschijnsel. De wereld verandert, en dus moet een goed model kunnen meebewegen.
Regelmatige hertraining en continue monitoring zorgen ervoor dat voorspellingen relevant blijven.