Reasoning effort

Wat is reasoning effort?

Reasoning effort is een instelling die je per call meegeeft en die bepaalt hoeveel intern werk een model doet voor het begint te antwoorden. Staat ze laag, dan komt het antwoord er meteen uit. Zet je ze hoger, dan werkt het model het probleem eerst voor zichzelf uit: een aanpak proberen, vaststellen dat ze niet klopt, een andere nemen, en pas dan schrijven wat jij te zien krijgt.

Dat interne werk bestaat uit gewone tokens. Het model voorspelt nog altijd token per token, het mag er alleen eerst een paar duizend aan zichzelf besteden. Providers noemen die reasoning tokens of thinking tokens, en de meeste API's geven ze niet terug. OpenAI is daar in de documentatie duidelijk over: reasoning tokens zijn niet zichtbaar via de API, ze nemen plaats in in het context window en ze worden aangerekend als output tokens.

Vergelijk het met een collega die een vraag krijgt op een vergadering. Antwoorden op de man af gaat snel. Eerst vijf minuten aan een bord staan levert meestal een beter antwoord, maar die vijf minuten passeren wel op de urenstaat.

Hoe elke provider de knop aanbiedt

Over het mechanisme zijn de drie grote providers het eens. Over de knop zelf niet, dus wat je bij de ene afstelt, neem je niet mee naar de andere.

OpenAI: niveaus met een naam

OpenAI werkt met een parameter reasoning.effort waarin je een niveau kiest. De gedocumenteerde waardes gaan van none en minimal over low, medium en high tot xhigh en max, afhankelijk van het model dat je aanspreekt. De afweging staat er in één zin: een lager niveau gaat voor snelheid en minder tokenverbruik, bij een hoger niveau denkt het model vollediger door. Azure OpenAI heeft dezelfde parameter, en Microsoft schrijft erbij dat een hoger niveau betekent dat het model langer over de vraag doet en doorgaans meer reasoning tokens produceert.

De standaardwaarde ligt niet vast over modelgeneraties heen. Microsoft Learn wijst erop dat bepaalde nieuwere modellen standaard op none staan. Een applicatie die nooit expliciet een niveau meegaf en op het oude gedrag rekende, doet dus plots iets anders na een modelupgrade.

Anthropic: een budget in tokens

Anthropic vraagt geen niveau maar een getal. Je zet extended thinking aan met een thinking-object en een waarde voor budget_tokens, het maximum aantal tokens dat Claude aan intern redeneren mag besteden. Dat budget moet lager liggen dan de max_tokens van de call, dus het optrekken raakt meteen ook het plafond van je hele antwoord.

Een budget is een bovengrens, geen bedrag dat opgemaakt wordt. Anthropic schrijft dat Claude het toegekende budget niet noodzakelijk volledig gebruikt, zeker niet boven 32k. Het getal verdubbelen levert je dus niet betrouwbaar het dubbele aan denkwerk op.

Google: niveaus met een dynamische standaard

Bij Gemini redeneren de modellen standaard en bepalen ze zelf hoeveel, wat Google dynamic thinking noemt. Met de parameter thinking_level neem je dat over en kies je minimal, low, medium of high, opnieuw naargelang het model. Sommige modellen komen met thinking aan, andere met thinking uit, dus de standaard is een eigenschap van het model en niet van het platform.

Wat die onzichtbare tokens kosten

Dit is het stuk dat mensen bij de eerste factuur verrast. Reasoning tokens worden op alle grote platformen aangerekend als output tokens, of je ze nu ooit te zien krijgt of niet. Google zegt het onomwonden: staat thinking aan, dan is de prijs van een respons de som van de output tokens en de thinking tokens.

Een samenvatting van het denkwerk verandert daar niets aan. Anthropic geeft je een samenvatting van wat Claude gedacht heeft in plaats van de ruwe tekst, en rekent de volledige thinking tokens aan van de oorspronkelijke vraag, niet de tokens van die samenvatting. De documentatie gaat verder: de thinking-blokken helemaal weglaten verlaagt de latency, niet de kost. Google schrijft hetzelfde over zijn thought summaries, waar de prijs op de volledige gedachten slaat die het model moest genereren.

Maak het concreet. Een classificatie die één woord teruggeeft, produceert misschien vijf zichtbare output tokens. Draai diezelfde call op een hoog niveau en het model besteedt er mogelijk tweeduizend reasoning tokens aan om te kiezen tussen twee categorieën die er duimendik op lagen. Je betaalt dan ongeveer 2.005 output tokens in plaats van 5, voor een antwoord waar nooit twijfel over bestond. Vermenigvuldig dat met alle tickets van een maand en het bedrag valt niet meer weg in de afronding.

Er zit nog een tweede kost in, en die is minder zichtbaar. Reasoning tokens nemen plaats in in het context window, dus een lange denkbeurt eet ruimte op die je prompt en je antwoord ook nodig hebben. OpenAI raadt aan om minstens 25.000 tokens vrij te houden voor redeneren en output wanneer je met deze modellen begint te experimenteren.

Reasoning effort versus chain-of-thought prompting

Chain-of-thought prompting is een schrijftechniek: je formuleert je prompt zo dat het model stap voor stap werkt in het antwoord dat je leest. Reasoning effort is een parameter: je laat de prompt met rust en vertelt het platform hoeveel privaat denkwerk het mag doen voor het antwoord begint.

Dat verschil is praktisch. De stappen van chain-of-thought staan in de respons, dus je leest ze, je logt ze en je legt ze voor aan wie moet nakijken. Reasoning tokens komen er meestal niet uit, dus je hebt het voordeel zonder het spoor. En omdat redenerende modellen al nadenken voor ze antwoorden, levert "denk stap voor stap" er nog bovenop zetten vooral een langer en omslachtiger antwoord op.

De vergelijking met temperature ligt dichter. Het zijn allebei knoppen op dezelfde call, ze worden allebei vaak bijgedraaid voor iemand nagekeken heeft of de prompt zelf het probleem is, en geen van beide voegt kennis toe die het model niet heeft. Temperature verandert welke token gekozen wordt. Reasoning effort verandert hoeveel tokens het model verbruikt voor het aan die keuzes begint.

Waar moet je op letten bij het gebruik van reasoning effort

Standaard op het maximum
De klassieker: het hoogste niveau één keer instellen, overal, en er nooit meer naar omkijken. Extractie, classificatie, routering en opmaak zijn taken met één juist antwoord en niets om over te wikken. Op een hoog niveau worden ze trager en duurder, en niet beter.

Denken dat meer effort altijd een beter antwoord geeft
De curve vlakt af. Vanaf een bepaald punt heeft het model zijn aanpak al gevonden en gaat het extra budget naar het hercontroleren van werk dat de eerste keer al klopte. Behandel effort als iets dat je meet op een testset, zoals elke andere parameter, en niet als een kwaliteitsschuif die je zo ver mogelijk naar rechts duwt.

Latency in toepassingen waar iemand zit te wachten
Een chatvenster waar elk antwoord twintig seconden duurt, is een slechter product dan een dat na twee seconden iets teruggeeft, ook al zijn die trage antwoorden een fractie beter. Stuur liever per taak: laag voor het gewone geval, hoog voor die handvol vragen die het echt nodig hebben.

Verrassingen wanneer je op schaal draait
Het aantal reasoning tokens verschilt van de ene inferentie tot de andere, want het model beslist zelf hoeveel van de ruimte het gebruikt. Een workload die gemiddeld netjes oogt, kan nog altijd losse calls bevatten die veel verder doorlopen dan dat gemiddelde. Log het aantal reasoning tokens dat de API teruggeeft naast je gewone verbruikscijfers, zodat je het ziet voor de factuur het toont.