Temperature (LLM-parameter)

Wat is temperature?

Temperature is een parameter die bepaalt hoe creatief of hoe behoudend een taalmodel zijn antwoord formuleert. Bij elke token die het model kiest, rangschikt het de kandidaat-tokens op waarschijnlijkheid. Temperature regelt hoe scherp die rangschikking is. Laag betekent: kies bijna altijd de meest waarschijnlijke token. Hoog betekent: geef ook minder waarschijnlijke tokens een eerlijke kans.

Anthropic schrijft in de documentatie dat temperature "de hoeveelheid willekeur regelt die in de respons wordt geïnjecteerd". De waarde loopt bij Claude van 0,0 tot 1,0, met 1,0 als standaard. OpenAI hanteert een bereik van 0 tot 2, eveneens met 1 als standaard. Dezelfde knop, andere schaal, dus de waardes zijn niet één-op-één overdraagbaar tussen providers.

Je kan temperature zien als de hand op het stuur tijdens een wedstrijd. Temperature 0: de rijder houdt altijd de meest ingesleten lijn aan, voorspelbaar maar weinig spectaculair. Hoge temperature: er mag improvisatie in, je krijgt variatie, maar ook meer kans op slippertjes.

Wat verandert er bij hoog versus laag?

Bij lage temperature (0 tot 0,3) kiest het model bijna deterministisch. Vraag twee keer hetzelfde en de kans is groot dat je hetzelfde antwoord krijgt. De tekst klinkt stabiel, zakelijk, soms wat stijf. Perfect voor classificatie, extractie en antwoorden die consistent moeten zijn over calls heen.

Bij middentemperature (0,5 tot 0,8) zit je in het evenwichtsgebied. Genoeg variatie om natuurlijk aanvoelend Nederlands te geven, niet zoveel dat het model van onderwerp verandert. De meeste RAG- en assistent-scenario's draaien hier.

Bij hoge temperature (0,9 en hoger) gaat het model bewust onorthodoxer denken. Dat kan goed uitpakken bij brainstorms, creatieve copy en alternatieve formuleringen. Het kan ook foute paden inslaan, feiten verzinnen en van de opdracht afwijken.

Wanneer welke waarde?

Temperature 0 tot 0,2
Classificatietaken, extractie van gestructureerde data, code-generatie waar je reproduceerbaarheid wil, factuele antwoorden op basis van context.

Temperature 0,5 tot 0,8
Chatbots en assistent-toepassingen, samenvattingen, vertaaltaken, de meeste RAG-pipelines.

Temperature 0,9 tot 1,0 (of hoger bij OpenAI)
Creatieve copy, brainstorms, varianten genereren, speelse of associatieve tekst.

Een nuttige werkwijze: begin altijd met de standaardwaarde, meet kwaliteit op een testset, en pas pas aan als je een specifieke reden hebt. Het is zelden de knop die je het eerst moet draaien.

Temperature versus top-p

Veel API's kennen ook een parameter top-p (nucleus sampling). Terwijl temperature de rangschikking verbreedt of verscherpt, knipt top-p het aantal kandidaat-tokens af op basis van cumulatieve waarschijnlijkheid. Anthropic en OpenAI raden beide aan om er één te tunen, niet beide tegelijk. Twee knoppen die elkaars effect overlappen, maken debugging onmogelijk.

Valkuilen

Temperature 0 is niet helemaal deterministisch
Zelfs bij temperature 0 kan je kleine variaties in output zien, door floating-point-verschillen in GPU-berekeningen en implementatiedetails. Anthropic maakt dat expliciet in de documentatie. Reken er niet op dat je uitvoer bit-voor-bit reproduceerbaar is zonder extra maatregelen zoals een seed.

Schalen verschillen per provider
Temperature 1,0 bij Anthropic is al de maximumwaarde. Bij OpenAI is het de standaard en loopt de schaal verder door tot 2. Een prompt van provider A naar provider B overzetten en de temperature klakkeloos meenemen, levert vaak ander gedrag op.

Hoge temperature maskeert model- of promptzwakte
Als een model bij lage temperature rare antwoorden geeft, is dat een prompt- of modelprobleem. Temperature opkrikken maakt dan enkel de variatie groter, niet de kwaliteit. Fix de prompt, kies een beter model, of herbekijk de context die je meegeeft.