Chain-of-thought prompting

Wat is chain-of-thought prompting?

Chain-of-thought prompting, kortweg CoT, komt neer op één trick: vraag een taalmodel om eerst uit te leggen hoe het denkt, voor het een antwoord geeft. Dat klinkt triviaal, maar voor alles wat redenering vraagt (berekeningen, beslissingen met meerdere stappen, logische puzzels) is het het verschil tussen "die bot raakt het kwijt" en "die bot klopt meestal".

De simpelste vorm is één zin achter je vraag plakken: "Laten we dit stap voor stap aanpakken." Of in het Engels het bekende "Let's think step by step." Geen voorbeelden, geen extra setup. Het model begint tussenstappen uit te schrijven en komt aan het einde tot een antwoord dat hij zonder die aansporing niet zou geven.

De techniek werd in 2022 opgepikt door onderzoekers bij Google (Wei et al.) en populair gemaakt door een vervolgpaper (Kojima et al.), dat aantoonde dat zelfs dat ene zinnetje al forse sprongen oplevert op rekenvragen. Op één klassieke rekenbenchmark ging het percentage juiste antwoorden van rond 18 naar boven de 78 procent. Eén zin.

Vergelijk het met hoofdrekenen tegenover uitrekenen op papier. Vraag iemand "hoeveel is 23 × 47?" en je krijgt een gok. Vraag daarna "schrijf het eens uit stap voor stap" en het antwoord klopt ineens wél. Taalmodellen werken in principe hetzelfde.

Twee manieren om het te gebruiken

Zero-shot
De variant met één zin. "Leg eerst uit hoe je denkt, geef daarna je antwoord." De meeste gevallen zitten hier: geen voorbeelden nodig, het model kiest zelf zijn redeneerspoor.

Few-shot
Je geeft het model twee of drie uitgewerkte voorbeelden (vraag, redenering, antwoord) voordat je de echte vraag stelt. Het imiteert de stijl van de voorbeelden. Nuttig als je een specifieke manier van redeneren wil afdwingen, bijvoorbeeld een vaste checklist of een vast stramien.

In de praktijk is zero-shot meestal genoeg. Few-shot kost vooral extra tokens. Start zero-shot, ga pas naar few-shot als je een consistente structuur nodig hebt die het model uit zichzelf niet treft.

Waarom werkt het?

De plezierige uitleg: elk token dat een model genereert, is een beetje rekenruimte. Het model moet zijn volledige redenering in de tokens persen die hij krijgt. Direct naar het antwoord springen betekent alle denkwerk in één token proppen. Tussenstappen geven het model letterlijk meer plek om na te denken.

Een tweede effect: fouten worden zichtbaar. Gaat de redenering in stap 2 de mist in, dan zie je dat, en soms corrigeert het model zichzelf in stap 3. Zonder tussenstappen krijg je alleen het foute eindantwoord en heb je geen idee waar het mis ging.

CoT heeft een ondergrens: kleinere of oudere modellen gebruiken de extra ruimte niet effectief en geven hetzelfde foute antwoord mét of zonder aansporing. Bij moderne modellen (GPT-4 en hoger, Claude 3 en hoger) gaat de winst snel omhoog.

Wanneer zet je CoT aan?

Niet altijd. CoT kost tokens, dus geld en latency. Vuistregel: gebruik het als het antwoord redenering vraagt, laat het af als het model enkel iets moet opzoeken of classificeren.

Typische winners

• Financiële en operationele berekeningen. Btw-calculaties, margeberekeningen, capaciteitsplanning. Alles waar één misrekening het hele antwoord kapot maakt.

• Beslissingen met meerdere stappen. "Gegeven deze vijf feiten over de klant, welke volgende actie past?" Zonder CoT krijg je een gok. Met CoT zie je het redeneerspoor en kan je het controleren.

• Code-analyse en debugging. Vraag niet "wat is de bug?", vraag "loop stap voor stap door deze functie en zeg per regel wat de toestand is". De fout komt bovendrijven.

• Juridische, medische of compliance-gevoelige antwoorden. Waar je de redenering ook moet kunnen verantwoorden, niet alleen het resultaat.

Typische verliezers
Eenvoudige classificatie ("is deze e-mail spam of niet?"), korte feitelijke vragen, pure retrieval uit context. Daar verspil je met CoT vooral tokens.

CoT en de nieuwste reasoning-modellen

OpenAI's o1-reeks, Claude met extended thinking en Gemini Thinking hebben chain-of-thought ingebouwd. Ze redeneren intern eerst, jij ziet pas het eindantwoord. In dat geval hoef je niet expliciet om CoT te vragen, het gebeurt vanzelf.

Is CoT-prompting daarmee voorbijgestreefd? Nee. Voor alle standaardmodellen zonder ingebouwde reasoning blijft het de goedkoopste kwaliteitsboost die je kan doen. En ook bij reasoning-modellen helpt het je eigen prompt scherper te maken: welke tussenstappen zou jíj nemen? Die oefening verbetert bijna altijd het resultaat, ongeacht welk model erachter draait.

Praktische vuistregel: als een antwoord telkens dichtbij maar nét fout zit, vraag om een redenering. Negen op de tien keer zie je nu wáár het mis liep, en kan je bijsturen. Dat is CoT in één zin.