Distillatie (model distillation)

Wat is distillatie?

Distillatie is een techniek waarbij een groot AI-model een kleiner model traint. Het grote model heet de teacher, het kleine de student. De teacher krijgt duizenden voorbeeldvragen voorgeschoteld, en zijn antwoorden vormen het leermateriaal waarop de student traint.

Het kernidee: de student leert niet de wereld zelf kennen, hij leert het gedrag van de teacher nadoen. Vergelijk het met een leerjongen die meeloopt met een ervaren vakman. De leerjongen ziet hoe de vakman elke klus aanpakt en neemt die aanpak over, zonder zelf twintig jaar ervaring op te bouwen.

In de oorspronkelijke vorm, in 2015 beschreven door onderzoekers bij Google, kijkt de student naast het eindantwoord van de teacher ook naar hoe zeker die was over de alternatieven. Dat maakt het leersignaal rijker dan een simpel goed of fout.

De winst zit in de verhouding tussen kwaliteit en kost. Een goed gedistilleerd model haalt op een afgebakende taak een flink deel van de kwaliteit van een Large Language Model, maar het draait op een fractie van de hardware, antwoordt sneller en kost per aanvraag veel minder. Distillatie is daarmee een van de belangrijkste technieken achter Small Language Models.

Hoe gebeurt distillatie in de praktijk?

Buiten de grote AI-labs komt distillatie meestal neer op vier stappen.

1. Verzamel voorbeeldvragen. Echte prompts uit je toepassing werken het best: de facturen die je wil classificeren, de mails die je wil samenvatten.

2. Laat het grote model antwoorden. Zo bouw je een set synthetische data op: duizenden vraag-antwoordparen van hoge kwaliteit, zonder dat iemand ze met de hand hoeft te schrijven.

3. Fine-tune het kleine model op die paren. Distillatie gebruikt fine-tuning als motor. Het verschil zit in het leermateriaal: dat komt van de teacher in plaats van uit handgeschreven voorbeelden.

4. Vergelijk student en teacher. Test beide modellen op dezelfde voorbeelden en meet hoeveel kwaliteit je inlevert tegenover wat je wint aan snelheid en kost.

De modelleveranciers bouwen die werkwijze in hun eigen platform in. Bij OpenAI bewaar je de antwoorden van een groot model en gebruik je ze rechtstreeks als trainingsset voor een kleiner model. Google test op zijn cloudplatform Vertex AI een distillatiedienst waarbij je alleen prompts aanlevert: de Gemini-teacher genereert zelf de antwoorden en de student traint ook op zijn redeneerstappen mee.

Bekende gedistilleerde modellen

Drie voorbeelden van leveranciers die openlijk beschrijven hoe ze distilleren.

• Gemini Flash van Google. Google beschrijft zelf dat Gemini 1.5 Flash getraind werd door het grotere 1.5 Pro via distillatie: de kennis en vaardigheden die er het meest toe doen, overgezet naar een kleiner en sneller model.

• Phi van Microsoft. De vroege Phi-modellen leunden sterk op distillatie van GPT-4, gecombineerd met zorgvuldig samengestelde en synthetische trainingsdata. Bij Phi-4, een model van 14 miljard parameters, meldt Microsoft dat de student zijn teacher op wetenschaps- en wiskundevragen zelfs voorbijsteekt, dankzij de kwaliteit van die datamix.

• De R1-distills van DeepSeek. Het lab DeepSeek gebruikte 800.000 voorbeelden uit zijn grote redeneermodel R1 om zes kleinere open modellen bij te trainen, gebaseerd op Qwen en Llama, van anderhalf tot zeventig miljard parameters.

Distillatie versus fine-tuning versus kwantisatie

De drie technieken duiken vaak in dezelfde gesprekken op, maar ze doen elk iets anders.

Fine-tuning verandert het gedrag van een bestaand model met jouw data. Het model blijft even groot, het leert er een stijl, een vast format of domeinkennis bij.

Kwantisatie maakt hetzelfde model compacter door de parameters in minder bits op te slaan. Er komt geen training aan te pas en het gedrag blijft grotendeels gelijk, het model vraagt alleen minder geheugen.

Distillatie levert een nieuw, kleiner model op dat het gedrag van een groter model nadoet. Het resultaat is een aparte, kleine dubbelganger die het grote model op die ene taak vervangt.

De drie sluiten elkaar niet uit. Een gangbaar traject: distilleer eerst naar een klein model, fine-tune dat daarna op je eigen voorbeelden en kwantiseer het resultaat zodat het op je hardware past.

Waar moet je op letten bij distillatie

De teacher is het plafond
Een student wordt zelden beter dan zijn leermeester op dezelfde taak. Uitzonderingen zoals Phi-4 bestaan, maar die vragen een uitzonderlijk zorgvuldige datamix. Reken er als vuistregel niet op.

Fouten reizen mee
Hallucineert de teacher of zit er bias in zijn antwoorden, dan traint de student daar braaf op verder. Controleer een steekproef van het gegenereerde leermateriaal voor je de training start.

De student is smaller dan hij lijkt
Binnen het domein van het leermateriaal presteert de student sterk, daarbuiten valt hij sneller door de mand dan zijn teacher. Test dus ook vragen die net buiten het verwachte lijstje vallen.

Licentie- en gebruiksvoorwaarden
Veel API-leveranciers beperken wat je met hun output mag doen. OpenAI verbiedt in zijn gebruiksvoorwaarden het gebruik van output om modellen te ontwikkelen die met OpenAI concurreren, en Google hanteert een gelijkaardige bepaling voor de Gemini-diensten. Distilleren binnen het platform van de leverancier zelf is doorgaans wel voorzien, dat is net de dienst die ze verkopen. Bij open modellen bepaalt de licentie wat mag: DeepSeek geeft R1 bijvoorbeeld uit onder een MIT-licentie die distillatie uitdrukkelijk toelaat, terwijl afgeleiden van Llama de Llama-voorwaarden volgen. Lees de voorwaarden van je leverancier na voor je begint en haal er bij twijfel juridisch advies bij.

FAQ over distillatie

Is een gedistilleerd model even goed als het origineel?
Op de afgebakende taak waarvoor het getraind is, komt het vaak dicht in de buurt. Over de volle breedte niet: algemene kennis en redeneervermogen buiten het leermateriaal blijven het terrein van het grote model.

Heb ik een datacenter nodig om zelf te distilleren?
Nee. De antwoorden van de teacher genereer je via een API, en een klein open model fine-tunen lukt met technieken als LoRA op een enkele GPU. De grootste investering zit in goede voorbeeldvragen verzamelen en het resultaat grondig testen, eerder dan in hardware.

Mag ik output van ChatGPT of Gemini gebruiken om mijn eigen model te trainen?
Dat hangt af van de voorwaarden van de leverancier. Trainen op hun output om een concurrerend model te bouwen is doorgaans niet toegestaan, distilleren binnen hun eigen platform wel. Controleer de actuele voorwaarden voor jouw situatie.

Wat is het verschil tussen distillatie en synthetische data?
Synthetische data is de bredere term voor kunstmatig gegenereerde trainingsdata, voor eender welk doel. Distillatie is er een toepassing van: de synthetische voorbeelden komen van een teacher en dienen om een kleiner model te trainen.

Is elk klein taalmodel gedistilleerd?
Nee. Distillatie is een van de manieren om aan een sterk klein model te geraken. Andere kleine modellen worden van bij de start rechtstreeks op een eigen datamix getraind.