Fine-tuning

Wat is fine-tuning?

Fine-tuning is het verder trainen van een al bestaand AI-model op een eigen dataset. Je vertrekt niet van nul, maar van een pretrained model dat al taal of beeld begrijpt, en leert het bij op jouw specifieke taak, toon of domein. Het model past zijn gewichten aan op basis van de nieuwe voorbeelden.

Je kan het vergelijken met een ervaren copywriter die je aanneemt en dan inwerkt op jouw merkstijl. De basisvaardigheden zijn al aanwezig, wat je bijleert is de manier waarop jullie het doen. Dat gaat veel sneller dan iemand opleiden die nog nooit een zin heeft geschreven.

Fine-tuning wordt vooral gebruikt bij LLM's, maar evengoed bij beeld-, spraak- en classificatiemodellen. De techniek is een vorm van transfer learning: kennis uit een breed voortraject overdragen naar een smaller gebruik.

Wanneer gebruik je fine-tuning?

1. Consistente toon en stijl. Wanneer klantencommunicatie altijd in dezelfde huisstijl moet klinken, leer je het model dat via honderden voorbeelden van goedgekeurde teksten.

2. Vaste output-structuur. Als je output nodig hebt in een strikt JSON-formaat of een specifiek template, is een fine-tuned model veel betrouwbaarder dan een prompt-instructie alleen.

3. Jargon en domeinkennis. Juridische taal, medische terminologie of interne bedrijfscodes die een generiek model niet goed beheerst.

4. Kostenoptimalisatie op schaal. Een kleiner fine-tuned model kan op repetitieve taken evenveel kwaliteit leveren als een groter generiek model, tegen een fractie van de prijs per oproep.

5. Gevoelige of beperkte data. Wanneer je een open source model zelf kan hosten en bijtrainen op data die de deur niet uit mag.

Soorten fine-tuning

Full fine-tuning
Alle gewichten van het model worden aangepast. Geeft de beste kwaliteit, maar vraagt veel GPU-geheugen en tijd. Voor grote modellen al snel onbetaalbaar voor individuele teams.

LoRA (Low-Rank Adaptation)
In plaats van alle gewichten aan te passen, traint LoRA een kleine extra laag bovenop het model. Je krijgt 90 procent van de kwaliteit tegen 1 procent van de kost. De standaardkeuze voor de meeste bedrijfstoepassingen sinds 2023.

QLoRA
LoRA gecombineerd met quantisatie van het basismodel. Laat je toe om zelfs modellen van 70 miljard parameters te fine-tunen op één enkele GPU met 48 GB geheugen. De doorbraak van laagdrempelige fine-tuning.

Instruction tuning
Een specifieke vorm waarbij je het model leert om instructies beter op te volgen, vaak gecombineerd met reinforcement learning from human feedback (RLHF). Zo werden ChatGPT en Claude zelf oorspronkelijk getuned.

Fine-tuning versus RAG versus prompt engineering

De drie technieken worden vaak door elkaar gebruikt, maar lossen andere problemen op.

Prompt engineering past de instructie aan die je aan het model geeft. Goedkoop, snel, geen training. Eerste keuze wanneer je klein wil beginnen.

RAG voegt kennis toe door relevante documenten uit een index op te halen en mee te geven in de prompt. Ideaal wanneer de kennis vaak verandert of wanneer je bronverwijzing nodig hebt.

Fine-tuning verandert gedrag. Je leert het model een stijl, een toon, een vast output-format of een specifieke taak. Ideaal voor consistente output over veel oproepen heen.

In de praktijk combineer je vaak alle drie: prompt engineering voor de algemene instructie, RAG voor de actuele feiten, fine-tuning voor de toon en het format. Voor de meeste bedrijfscases kom je zonder fine-tuning al heel ver.

Valkuilen

Slechte trainingsdata
Fine-tuning versterkt de patronen in je voorbeelden, fouten inclusief. Zorg voor een zorgvuldig gecureerde dataset met duidelijke input-output paren en voldoende diversiteit.

Catastrophic forgetting
Een te agressief getuned model kan algemene vaardigheden verliezen die het voorheen wel had. Controleer op een bredere testset dan alleen je eigen use case.

Kosten van herhaalde training
Elke keer het basismodel een nieuwe versie krijgt, moet je beslissen of je je fine-tune opnieuw doet. Plan dat in met een terugkerend budget in plaats van eenmalig.

Gevoelige data in gewichten
Gegevens die je tijdens training aan het model geeft, komen in de gewichten terecht en zijn niet makkelijk te verwijderen. Denk vooraf na over persoonsgegevens, auteursrechten en wat er gebeurt als iemand zijn data wil laten schrappen.

Wettelijk kader

De Europese AI Act legt specifieke verplichtingen op aan wie een model fine-tunet voor hoog-risico-toepassingen. Je wordt dan beschouwd als provider en moet onder meer documenteren welke data gebruikt werd, hoe de kwaliteit getest is en hoe bias gemonitord wordt. Ook de GDPR blijft van kracht: persoonsgegevens in de trainingsset vereisen een rechtsgrond en in sommige gevallen een DPIA.