Inferentie (inference)

Wat is inferentie?

Inferentie is het moment waarop een getraind AI-model effectief werk levert: je geeft het nieuwe input en het model berekent een output. Een vraag aan een chatbot, een factuur die automatisch een categorie krijgt: telkens draait er ergens inferentie.

Het woord komt uit de statistiek en betekent letterlijk "afleiden". Het model leidt uit jouw input een antwoord af op basis van de patronen die het tijdens de training geleerd heeft.

Vergelijk het met een rijopleiding: training is de opleiding zelf, inferentie is elke rit die daarna volgt. De opleiding is ooit af, de ritten blijven komen. En elke rit verbruikt brandstof.

Training versus inferentie

Tijdens training leert een model patronen uit een grote dataset. Het stelt zijn interne gewichten keer op keer bij tot de voorspellingen goed genoeg zijn. Dat gebeurt in een afgebakende periode, op zware GPU-clusters, en meestal bij de modelbouwer zelf.

Bij inferentie liggen die gewichten vast. Het model leert niets meer bij: elke aanvraag is een voorwaartse berekening door het netwerk, met de kennis die er al in zit. Wil je dat het model iets nieuws kent, dan moet je het opnieuw trainen of fine-tunen.

Training is een eenmalige investering, en als je met bestaande modellen werkt draag je die niet eens zelf. Inferentie is de terugkerende kost die meegroeit met je gebruik. Voor een KMO die AI via een API gebruikt, is de inferentiefactuur zowat de hele AI-factuur.

Wat kost inferentie?

Cloud-API's rekenen per token, de stukjes tekst waarin een taalmodel leest en schrijft. Input en output hebben elk hun tarief, uitgedrukt per miljoen tokens, en output is een stuk duurder: elke output-token moet het model apart berekenen, stap per stap.

Om een idee te geven: bij Anthropic kost het goedkoopste model momenteel ongeveer een dollar per miljoen input-tokens en vijf dollar per miljoen output-tokens. De topmodellen zitten daar een factor vijf tot tien boven. Anthropic rekent zelf voor dat 10.000 supportgesprekken verwerken met dat kleine model, aan gemiddeld 3.700 tokens per gesprek, rond de 37 dollar kost.

Dat lijkt verwaarloosbaar, tot je het vermenigvuldigt: volledige documenten in elke prompt en duizenden aanroepen per dag doen de factuur gewoon meegroeien. Je kan die kost wel drukken: batchverwerking van niet-dringende taken levert bij Anthropic de helft korting op, en met prompt caching hergebruik je herhaalde context aan een fractie van de prijs.

Draai je op eigen servers, dan verdwijnt de kost per aanroep, maar betaal je voor GPU-tijd. Die machine kost ook geld als ze niets doet. Daarom loont eigen infrastructuur vooral bij een hoog en voorspelbaar volume.

Waar laat je inferentie draaien?

Via een cloud-API. Je stuurt je aanvraag naar OpenAI, Anthropic of een model in Azure of AWS, en je betaalt per gebruik. Geen infrastructuur, altijd toegang tot recente modellen. De keerzijde: je data passeert langs de leverancier. Moet de verwerking binnen een bepaalde regio blijven, dan bieden de meeste aanbieders regionale opties aan, vaak met een toeslag van rond de tien procent.

Op eigen servers. Open modellen kan je zelf hosten, on-premises of op gehuurde cloud-GPU's, met serving-software zoals vLLM of NVIDIA Triton. Je data blijft binnen je eigen omgeving en bij een constant hoog volume kan het goedkoper uitkomen. Daar staat tegenover dat je GPU's nodig hebt, plus iemand die de boel onderhoudt en bijschaalt wanneer het druk wordt. Kies je voor een serverless variant die naar nul schaalt bij stilte, dan krijg je koude starts: de eerste aanvraag na een rustige periode wacht tot de rekenkracht weer opgestart is.

Op het toestel zelf. Kleine modellen draaien intussen vlot op een laptop, smartphone of machine aan de productielijn. Runtimes zoals Foundry Local van Microsoft zetten daarop in: je data verlaat het toestel niet, de toepassing werkt offline en er is geen kost per aanroep. De beperking: kleinere modellen, en één gebruiker per toestel. Als server voor tientallen gelijktijdige gebruikers is dit niet bedoeld.

Latency en throughput

Twee begrippen bepalen of AI in je proces bruikbaar is. Latency is hoe lang één aanvraag duurt. Bij taalmodellen kijk je vooral naar de tijd tot de eerste token: hoe snel begint het antwoord op je scherm te verschijnen. Throughput is hoeveel tokens of aanvragen je systeem per seconde in totaal verwerkt.

Die twee staan op gespannen voet. NVIDIA beschrijft het in zijn benchmarkdocumentatie: hoe meer gelijktijdige aanvragen een systeem bundelt, hoe hoger de totale doorvoer, maar hoe langer elke individuele gebruiker wacht.

Praktisch betekent dat: bepaal per toepassing wat telt. Een chatbot in je klantenservice moet binnen een paar seconden beginnen antwoorden, dus daar stuur je op latency. Een documentenstroom die 's nachts draait, mag traag starten zolang alles tegen de ochtend klaar is: daar telt throughput, en pik je de batch-korting mee.

FAQ over inferentie

Waarom is output duurder dan input?
Genereren vraagt meer rekenwerk dan lezen. Het model verwerkt je input in één beweging, maar bouwt de output token per token op, en elke stap is een aparte berekening.

Moet ik ooit zelf een model trainen?
Meestal niet. Vrijwel alle bedrijfstoepassingen draaien op bestaande modellen, eventueel aangevuld met fine-tuning of Retrieval-Augmented Generation (RAG). De beslissing die wel telkens terugkomt: waar laat je de inferentie draaien en wat mag die kosten.

Telt inferentie mee voor de GDPR?
Stuur je persoonsgegevens mee in een prompt, dan verwerk je die gegevens en gelden dezelfde regels als voor elke andere dataverwerking. Kijk dus na waar je leverancier de inferentie draait en wat er contractueel met je data gebeurt.