Model serving

Wat is model serving?

Model serving is het beschikbaar maken van een getraind machine learning-model zodat andere systemen het kunnen gebruiken. Dat kan via een API, batchjob, realtime endpoint of ingebouwde functie in een applicatie.

Training maakt het model. Serving gebruikt het model voor inferentie: een voorspelling, score, classificatie of aanbeveling op nieuwe input.

Een churnmodel kan bijvoorbeeld elke nacht alle klanten scoren in batch. Een fraudemodel kan elke transactie meteen via een API beoordelen.

Batch serving versus realtime serving

Batch serving verwerkt veel records tegelijk op vaste momenten. Dat past goed bij segmentatie, maandelijkse risicoscores of aanbevelingen die niet per seconde veranderen.

Realtime serving beantwoordt losse requests meteen. Dat past bij fraudecontrole, personalisatie op een website of een AI-assistent die direct antwoord nodig heeft.

Realtime vraagt meer aandacht voor latency, schaal en beschikbaarheid. Batch vraagt meer aandacht voor planning, data freshness en herstartbaarheid.

Wat hoort bij model serving?

• Modelversie. Je moet weten welk model welke voorspelling maakte.

• Inputvalidatie. Nieuwe data moet passen bij wat het model verwacht.

• Featurelogica. Features in serving moeten overeenkomen met features tijdens training.

• Monitoring. Je volgt latency, fouten, dataverdeling en modelprestatie.

• Rollback. Bij problemen moet je terug kunnen naar een vorige versie.

Model serving versus model registry

Een model registry bewaart en beheert modelversies, metadata en promotie naar omgevingen. Model serving draait het gekozen model en levert voorspellingen.

De registry is de catalogus en controlelaag. Serving is de runtime.

Training-serving skew

Training-serving skew ontstaat wanneer de data of featurelogica tijdens serving anders is dan tijdens training. Een feature wordt anders berekend, een veld komt later binnen of een categorie bestaat in productie maar niet in training.

Dat kan prestaties snel onderuit halen. Daarom horen feature stores, contracten of gedeelde transformaties bij serieuze model serving.

Waar moet je op letten bij model serving

• Meet latency en foutpercentages. Een goed model dat te traag antwoordt, is operationeel onbruikbaar.

• Log input en output verantwoord. Je wil kunnen debuggen zonder privacyregels te schenden.

• Monitor drift. Nieuwe input kan anders verdeeld zijn dan trainingsdata.

• Maak deployment herhaalbaar. Serving hoort in MLOps, niet in losse handmatige stappen.

FAQ over model serving

1. Is model serving hetzelfde als een API?
Nee. Een API is één manier om een model te serveren. Batch scoring is ook model serving.

2. Moet elk model realtime draaien?
Nee. Veel bedrijfsmodellen werken beter en goedkoper in batch.

3. Wanneer gebruik je een model registry?
Zodra je meerdere modelversies, omgevingen of teams hebt. Dan wil je weten welk model live staat en waarom.