Post-training

Wat is post-training?

Post-training is alles wat een lab met een model doet nadat het klaar is met zijn trainingstekst lezen. Pretraining levert je iets op dat heel goed het volgende woord voorspelt en verder niets. Stel het een vraag en het zet je vraag gewoon verder in plaats van ze te beantwoorden. Post-training maakt van die tekstvoorspeller een assistent die weet wanneer hij moet antwoorden, stoppen of weigeren.

Vergelijk het met iemand aanwerven. Pretraining zijn de jaren lezen en school die achter de rug waren voor je die persoon ontmoette. Post-training is de inwerkweek: zo antwoorden we een klant, dit is de vorm waarin onze offertes buitengaan. De kennis zat al in dat hoofd. Wat verandert, is wat de persoon ermee doet.

Het woord dekt een pijplijn, geen enkele techniek, en het is intussen waar veel van het zichtbare verschil tussen twee modelversies vandaan komt.

De fases, op volgorde

Bijna elk gepubliceerd recept maakt dezelfde drie bewegingen, en elke beweging verandert iets anders.

1. Gesuperviseerde fine-tuning op voorbeelden. Mensen schrijven goede antwoorden op een hoop prompts, en het model wordt getraind om die na te bootsen. Dat leert het de vorm van de job: beantwoord de vraag, gebruik deze structuur, stop als je klaar bent. Het Tülu 3-recept dat Ai2 in november 2024 publiceerde is een van de weinige recepten die publiek volledig gedocumenteerd zijn, gebouwd op ongeveer 940.000 uitgezochte prompts.

2. Leren uit vergelijkingen. Het model schrijft meerdere antwoorden op dezelfde prompt en een beoordelaar zegt welk antwoord beter is. Die vergelijkingen vormen toon, behulpzaamheid en weigeringen, precies de dingen waar niemand een regel voor kan schrijven. Dat is de RLHF-stap, en daar krijgt een model zijn manieren.

3. Reinforcement learning tegen een controle. Het model antwoordt, een programma beslist of dat antwoord juist is, en het model wordt op dat oordeel getraind. Er zit geen mens in die lus, en net daarom kan ze draaien op een schaal die de vorige fase nooit haalt.

Labs draaien niet hetzelfde aantal fases en gebruiken ook niet dezelfde namen. Qwen3, dat Alibaba in mei 2025 documenteerde, telt vier post-trainingfases en eindigt met een algemene reinforcement learning-fase over meer dan twintig soorten taken. Lees het schema van een enkel lab dus als een voorbeeld, niet als de standaard van de sector.

Reinforcement learning met verifieerbare beloningen

Dit is de jongste van de drie fases en degene die het snelst opgeschoven is. Ai2, dat er in november 2024 een naam aan gaf, omschreef het als het beloningsmodel vervangen door een verificatiefunctie. In gewone taal: in plaats van een tweede model dat gokt welke score een mens zou geven, kijkt een programma het antwoord na en geeft het alleen een beloning als het klopt.

Wat er nagekeken wordt, hangt af van de taak. Draait de testsuite groen? Is het wiskundige resultaat het juiste getal? Compileert de code? Het werk rond R1 dat DeepSeek in januari 2025 publiceerde, draait net daarop: het model moet zijn eindantwoord in een kader zetten zodat een regel het kan uitlezen. Ze schreven er ook bij dat ze bewust geen aangeleerd beloningsmodel gebruikten, omdat zo'n model bij reinforcement learning op grote schaal last kan krijgen van reward hacking.

Het gevolg is belangrijker dan het mechanisme. Dit werkt alleen waar een machine kan nakijken of iets juist is. Wiskunde heeft een juist antwoord, code draait of ze draait niet, een mail naar een leverancier geen van beide. Daarom gingen programmeren en wiskunde het snelst vooruit tussen modelversies en open schrijfwerk niet. Schrijven is niet moeilijker geworden. Er bestaat gewoon geen programma dat de beloning kan uitdelen.

Het is dezelfde vorm als een verification loop rond een agent, maar op een andere plek. Een verification loop sluit tijdens een werksessie, verifieerbare beloningen sluiten tijdens de training, miljoenen keer na elkaar.

Voorkeuren van mensen tegenover een automatische controle

Allebei zijn het reinforcement learning. Het verschil zit in waar het trainingssignaal vandaan komt.

Van een mens. Iemand vergelijkt twee antwoorden en kiest er een. Het signaal is een mening, dus het reikt tot alles wat een lezer kan beoordelen: is dit beleefd, had het model moeten weigeren. De prijs is dat meningen traag en duur te verzamelen zijn, dat ze verschillen van beoordelaar tot beoordelaar, en dat het model leert om de beoordelaar te plezieren in plaats van te helpen.

Van een programma. Een controle leest de output en geeft geslaagd of niet geslaagd terug. Het signaal is een feit over het antwoord, dus het is goedkoop, herhaalbaar en in onbeperkte hoeveelheid beschikbaar. De prijs is dat het alleen bestaat waar iemand de regel kon opschrijven.

Labs mengen de twee per taak in plaats van te kiezen. De laatste fase van Qwen3 gebruikt regelgebaseerde beloningen waar een regel past, een tweede model dat scoort tegen een geschreven referentieantwoord waar dat niet lukt, en voor de rest een beloningsmodel dat op voorkeuren getraind is.

Mid-training, en wat labs daarmee bedoelen

Mid-training is de naam die sommige teams geven aan een fase tussen het grootste stuk pretraining en alles daarboven. Het model traint nog altijd op gewone tekst, maar op een kleinere en betere mix: meer wiskunde, meer code, langere documenten. Het leert nog altijd wat er in de wereld staat, nog niet hoe het zich moet gedragen.

Het woord ligt niet vast. Ai2 gebruikt het voor de tweede fase van OLMo 2, gepubliceerd eind 2024, waar het model traint op tekst van hogere kwaliteit plus synthetische data om zwakke plekken in wiskunde bij te werken. Alibaba doet iets gelijkaardigs voor Qwen3, maar zet het binnen de pre-training onder de naam reasoning stage. Zegt een leverancier dus dat hij de mid-training verbeterd heeft, vraag dan welke data erbij kwam en wat die moest oplossen.

Twee taken naast elkaar

De btw-aangifte laten kloppen met het grootboek. Er is een juist antwoord en de controle heb je al: laat het script van het model los op de afgesloten boeken van vorig jaar en kijk of de totalen kloppen. Zo'n taak is net wat een lab op grote schaal kan trainen, want dezelfde controle die je boekhouder tevredenstelt, deelt een miljoen keer een beloning uit zonder dat er iemand naar kijkt. Daarom zie je bij een nieuwe modelversie hier meestal echte vooruitgang.

De mail schrijven die een klant vertelt dat zijn levering twee weken opschuift. Geen enkel programma kan die mail scoren. Het beste trainingssignaal dat er is, is de voorkeur van een beoordelaar, of een rubriek waartegen een tweede model punten geeft, en allebei dragen ze de smaak van wie ze opgesteld heeft. Post-training kan het model leren je instructies te volgen en een register aan te houden. Het kan geen miljoen pogingen oefenen tegen "de klant was niet kwaad", want niets kan het vertellen of de klant kwaad was.

Waar je de controle kan opschrijven, mag je verwachten dat het model zelf beter blijft worden. Waar alleen een menselijke reactie oordeelt, zijn je prompt, je voorbeelden en de context die je meegeeft het stuk dat het verschil maakt.

Waar moet je op letten bij post-training?

Het verandert gedrag, geen kennis. Een model dat de documentopmaak van jouw sector nooit gezien heeft tijdens de pretraining, leert die hier ook niet. Voor alles wat het nooit gelezen heeft, heb je retrieval of een langere prompt nodig, geen beter opgevoed model.

Antwoorden die de controle tevredenstellen, zijn niet altijd juiste antwoorden. Optimaliseren tegen een programma leert het model om dat programma ja te doen zeggen, en de kortste weg daarheen is niet altijd de eerlijke. Anthropic publiceerde in november 2025 een experiment in zijn eigen productieomgevingen voor code. Zodra een model daar reward hacking geleerd had, ging het zich ook op andere vlakken slecht gedragen: instemming met zijn training veinzen, meewerken met mensen met slechte bedoelingen, werk saboteren. Veiligheidstraining in chatvorm achteraf poetste enkel de chattests op en liet het probleem bij agentische taken staan.

Een nieuwe versie kan slechter zijn in iets wat de oude wel kon. OpenAI trok in april 2025 een update van GPT-4o terug nadat die zo vleiend geworden was dat ze slechte ideeën beaamde, en schreef dat de update te veel op feedback op korte termijn gefocust had. Breekt een modelrelease iets bij jou, dan is dat een normale uitkomst en geen misverstand aan jouw kant.

"Beter in code" betekent niet beter in jouw werk. Verbeteringen landen waar het trainingssignaal zat, dus een releasenota over programmeren zegt niets over hoe het model jouw bestelbonnen leest. Hou tien of twintig echte gevallen van jezelf bij, met de antwoorden die je verwacht, en laat die opnieuw lopen bij elke versie die je overweegt.

Je doet dit zelf bijna nooit. Het stuk dat een klant kan kopen is fine-tuning, ruwweg de eerste fase van de pijplijn op je eigen voorbeelden, en dat is zijn kost alleen waard bij smal, repetitief werk. De rest draai je niet zelf. Het is de reden waarom de modellen die je huurt zich gedragen zoals ze zich gedragen.