Servicetiers (model-APIs)

Wat zijn servicetiers?

Een servicetier bepaalt hoe de aanbieder je aanvraag bedient, niet welk model ze beantwoordt. Zelfde model, zelfde gewichten, zelfde antwoord: wat verandert is je plaats in de wachtrij en wat de tokens kosten. Dat zeggen we er meteen bij, want servicetier wordt verward met modelklasse. De modelklasse is Haiku tegenover Opus, de trede die je kiest op de ladder van grootte en prijs. De servicetier is datzelfde model aan catalogusprijs, met een toeslag voor snelheid, of aan halve prijs als je even kan wachten.

Je zet ze per aanvraag, in een veld. OpenAI en Google nemen een waarde service_tier mee in de oproep, Anthropic heeft datzelfde veld met twee waarden, en op Microsoft Foundry hangt de tier aan de deployment, waar een aanvraag ze kan overschrijven. Je prompt, je model en je output blijven wat ze waren, en dat maakt het de goedkoopste knop die de API te bieden heeft.

De namen lopen niet gelijk bij de aanbieders, en dat is handig om te weten voor je twee offertes naast elkaar legt. Wat OpenAI nu Fast mode noemt, heet Priority bij Google en priority processing bij Microsoft. Wat OpenAI en Google Flex noemen, bestaat niet bij Anthropic, waar Priority Tier een aangekochte verbintenis is en geen toeslag per aanvraag.

Wat je bij elke tier inruilt

• Standaard. Catalogusprijs, best effort, en wat je krijgt als je niets meegeeft. Microsoft schrijft er zonder omwegen bij dat wie constant veel volume op Global Standard draait, meer schommeling in de latency kan zien. Dat is de eerlijke omschrijving van elke standaardtier.

• Sneller, met een toeslag. OpenAI heeft priority processing op 30 juli 2026 hernoemd naar Fast mode en rekent er het dubbele van de standaardprijs voor: GPT-5.6 Terra gaat van 2 en 12 dollar per miljoen input- en outputtokens naar 4 en 24, en dat levert tot 2,5 keer de snelheid op GPT-5.6 Sol. De Priority-tier van Google staat op 1,8 keer standaard. Microsoft zet er geen factor maar een latencydoel per model tegenover, bijvoorbeeld 99 procent van de aanvragen op gpt-5.6-terra boven de 70 tokens per seconde.

• Gereserveerde capaciteit, met een verbintenis. Voorspelbare latency kan je ook vooraf kopen: provisioned throughput units op Microsoft Foundry, Provisioned Throughput op Vertex AI, en Priority Tier bij Anthropic, een aantal input- en outputtokens per minuut op een modelversie voor 1, 3, 6 of 12 maanden, met 99,5 procent uptime als doel. Kijk wel na wat er nog te koop is voor je er een plan op bouwt, want Anthropic verkoopt geen nieuwe Priority Tier-verbintenissen meer.

• Goedkoper, als je wat kan wachten. Flex is een gewone synchrone oproep aan de halve prijs. OpenAI rekent flextokens af aan batchtarieven en noemt het nog altijd beta met beperkte modelbeschikbaarheid, en Google verkoopt zijn Flex aan de helft van Standard voor werk dat het wachten verdraagt.

• Het goedkoopst, als er niemand wacht. De batchtier is halve prijs met resultaten binnen een venster, en het is een ander soort oproep: je stuurt een bestand met aanvragen in en haalt een bestand met antwoorden op. Batch inference is een onderwerp op zich; op deze ladder is het de onderste trede.

In welke tier een werklast thuishoort

Een vraag sorteert bijna alles: zit er nu iemand op dit antwoord te wachten, met het scherm open? Is dat zo, dan hoort het op standaard, en gaat het pas een trede hoger als je kan zeggen wat die paar seconden waard zijn. Is dat niet zo, dan hoort het op flex of batch, en blijft alleen de vraag over hoelang je kan wachten.

De fout die een klein bedrijf echt geld kost, is niet de verkeerde tier kiezen, het is nooit kiezen. De interactieve tier is de standaard, dus het eerste prototype draaide daarop, en de nachtelijke job die iemand er in maart bij gezet heeft draait er ook op, want dat is wat de wrapper doet. De classificatierun en de wekelijkse evalronde zijn meestal de grootste helft van de factuur, en niemand kijkt naar een van beide.

Een maand volume in drie stukken

Een groothandel draait drie dingen op GPT-5.6 Terra. Prijzen van de prijslijst van OpenAI op 4 september 2026, in dollar per miljoen tokens: standaard 2 en 12, flex en batch 1 en 6, Fast mode 4 en 24.

• Een chatassistent op de website. 40.000 aanvragen per maand aan 3.000 input- en 400 outputtokens, dus 120 miljoen en 16 miljoen: 240 plus 192, of 432 dollar.

• Een nachtelijke job die tickets sorteert en productteksten schrijft. 300.000 aanvragen aan 1.200 en 150, dus 360 miljoen en 45 miljoen: 720 plus 540, of 1.260 dollar.

• Een wekelijkse evalronde. 20.000 aanvragen aan 2.000 en 300, dus 40 miljoen en 6 miljoen: 80 plus 72, of 152 dollar.

Alles op standaard komt op 1.844 dollar. Sorteer het nu. De nachtelijke job gaat naar batch aan 360 plus 270, dus 630. De evalronde gaat naar flex aan 40 plus 36, dus 76. De chat blijft waar hij staat. De maand landt op 1.138 dollar, en er is niets veranderd aan de prompts of aan het model.

Die 706 dollar die vrijkomt, gebruik je voor het stuk waar snelheid wel telt. Fast mode verdubbelt de chatassistent naar 864, dus de maand komt op 1.570, nog altijd onder de 1.844 die je vroeger betaalde. Het werk waar niemand naar kijkt heeft de snelheid betaald op het werk waar mensen wel naar kijken.

De interactieve tier tegenover de batchtier: wie zit te wachten?

Op de interactieve tier wacht er een mens. Het antwoord moet komen terwijl iemand naar een knipperende cursor kijkt, dus houdt de aanbieder rekenkracht klaar voor jouw piek en zit die paraatheid in elke token verrekend. Alles rond die oproep gaat daarvan uit: token streaming zodat de eerste woorden vroeg verschijnen, nieuwe pogingen met backoff, een reservemodel voor als de aanbieder traag is.

Op de batchtier wacht er een wachtrij. De aanbieder plant je werk in tijdens zijn rustige uren en geeft je de helft van wat hij daarmee bespaart. In ruil geef je het uur op en hou je alleen het venster over, en die 24 uur is een doel en geen belofte. Een nachtelijke job op batch heeft dus een antwoord nodig voor de ochtend dat hij niet klaar is: de cijfers van gisteren met een vermelding erbij, of een kleinere run op flex om het gat te dichten.

Waar moet je op letten bij servicetiers

Je factuur zet hetzelfde model op meerdere lijnen. Een model aan vier prijzen wil zeggen dat GPT-5.6 Terra vier keer aan een ander tarief op je maandfactuur staat, en dat je totaal met geen enkele prijs per miljoen tokens klopt. Dat is correct en geen fout in de facturatie. Label je oproepen vooraf per tier en per werklast, want de factuur alleen zegt je niet welke job waar gedraaid heeft.

Een goedkopere tier kan je aanvraag weigeren, dus schrijf de fallback. OpenAI stuurt op flex een 429 resource unavailable terug als er geen capaciteit vrij is, en rekent die niet aan. Time-outs worden ook waarschijnlijker, dus zet de timeout van je client hoger. Beslis per job wat er dan gebeurt: wachten en opnieuw proberen, of terugvallen op standaard aan de volle prijs. Microsoft schaft de automatische terugval van flex op Foundry af vanaf 25 september 2026, en daarna krijgt een model dat flex niet ondersteunt een 400 in plaats van stilletjes te werken.

Een duurdere tier kan je stil terugzetten naar standaard. OpenAI en Microsoft zeggen allebei dat er bij te snel oplopend verkeer een deel van je fast-aanvragen aan standaardsnelheid bediend wordt en aan standaardtarief aangerekend, waarbij het veld service_tier in het antwoord zegt wat je gekregen hebt. Microsoft noemt de drempel: meer dan 50 procent extra tokens per minuut binnen een kwartier. Log dus het veld dat terugkwam, niet de parameter die je verstuurd hebt.

Tiers vermenigvuldigen met caching en routing. Prompt caching zet het herhaalde begin van je prompt op een fractie van de inputprijs, en model routing stuurt elke aanvraag naar de juiste trede van de ladder van grootte en prijs. De tier is een percentage op wat die twee je overlaten, dus kies eerst het model, cache wat zich herhaalt, en zet de tier als laatste. OpenAI zegt erbij dat flextokens de cachingkorting er nog altijd bovenop krijgen.