Few-shot prompting

Wat is few-shot prompting?

Few-shot prompting komt neer op voordoen in plaats van uitleggen. Je zet een paar uitgewerkte voorbeelden in je prompt (input plus het antwoord dat je wil) en daarna pas je echte vraag. Het model pikt het patroon op en zet het verder.

"Shot" is jargon voor voorbeeld. Zero-shot is een prompt zonder voorbeelden, one-shot heeft er één, few-shot een handvol. Onderzoekers noemen het onderliggende mechanisme in-context learning: het model leert niets blijvend bij, het volgt gewoon het patroon dat op dat moment in de prompt staat.

Vergelijk het met een nieuwe collega inwerken. Je kan een procedure van drie pagina's schrijven over hoe een offerte eruit moet zien. Je kan ook drie goedgekeurde offertes doorschuiven met de boodschap "zo doen wij dat". Die tweede aanpak werkt sneller en de vorm klopt meteen. Bij taalmodellen is het niet anders.

Zero-shot, one-shot en few-shot

Stel: je wil binnenkomende klantenmails automatisch sorteren in drie bakjes: facturatie, technisch of commercieel.

Zero-shot
Je geeft alleen de instructie: "Classificeer deze mail als facturatie, technisch of commercieel." Vaak lukt dat al aardig. Maar de vorm van het antwoord durft al eens variëren: de ene keer krijg je netjes "technisch", de andere keer "Dit lijkt me een technisch probleem, want...". Voor een mens is dat hetzelfde antwoord, voor het script dat het label moet verwerken niet.

One-shot
Je voegt één voorbeeld toe: de mail "Ik kreeg twee keer dezelfde factuur voor april" met daaronder het label "facturatie". Het model ziet nu hoe een antwoord eruit hoort te zien: alleen het label, niets errond.

Few-shot
Je geeft één voorbeeld per categorie:

• "Ik kreeg twee keer dezelfde factuur voor april" krijgt het label "facturatie".

• "Sinds de update crasht de app als ik een rapport open" krijgt "technisch".

• "Kunnen jullie ook een koppeling met ons boekhoudpakket bouwen?" krijgt "commercieel".

Daaronder plak je de echte mail. Het model heeft nu voor elke categorie een referentiepunt en antwoordt in exact dezelfde vorm: één woord, zonder uitleg. Precies wat een geautomatiseerde flow nodig heeft.

Waarom voorbeelden vaak beter werken dan uitleg

Een taalmodel voorspelt telkens het meest waarschijnlijke vervolg op de tekst die het al zag. Staan er drie voorbeelden in je prompt die allemaal dezelfde vorm hebben, dan is het meest waarschijnlijke vervolg nog een antwoord in diezelfde vorm. Het model bootst na wat er staat: de structuur, de lengte, de toon, tot het hoofdlettergebruik toe.

Instructies beschrijven wat je wil, voorbeelden tonen het. Voor alles wat met vorm en stijl te maken heeft, is tonen betrouwbaarder. "Schrijf bondig en zakelijk" is voor interpretatie vatbaar; drie bondige, zakelijke voorbeeldantwoorden zijn dat niet. Google stelt in zijn prompting-richtlijnen zelfs dat je instructies mag schrappen als je voorbeelden de taak duidelijk genoeg tonen.

Wat maakt een goed voorbeeld?

De kwaliteit van je voorbeelden bepaalt rechtstreeks de kwaliteit van je output. Vier zaken bepalen of een voorbeeld helpt of stoort:

• Representatief. Voorbeelden moeten lijken op de input die je in het echt verwacht. Zijn je voorbeeldmails properder geschreven dan wat er werkelijk binnenkomt, dan valt het model in productie door de mand.

• Ook randgevallen. Neem minstens één lastig geval op: een mail die over twee categorieën tegelijk gaat, of eentje die nergens in past. Met alleen makkelijke voorbeelden leert het model alleen de makkelijke gevallen.

• Consistente vorm. Zelfde structuur, zelfde opmaak, zelfde soort label in elk voorbeeld. Wijkt één voorbeeld af, dan duikt die afwijking vroeg of laat op in je output.

• Foutloos. Een fout voorbeeld besmet de rest. Zet je per ongeluk een facturatiemail bij "technisch", dan kopieert het model die fout braaf mee.

Anthropic raadt drie tot vijf voorbeelden aan als vertrekpunt, duidelijk afgebakend met markering zoals tags, zodat het model je voorbeelden niet verwart met je instructies of met de echte vraag.

Few-shot of fine-tuning?

Zie het als een trap met drie treden, telkens meer moeite voor meer controle.

Zero-shot
Geen voorbereiding, geen extra kost. Volstaat voor eenvoudige taken en eenmalige vragen. Altijd eerst proberen.

Few-shot
Een half uur werk om goede voorbeelden te kiezen. De voorbeelden reizen wel met elke aanroep mee, en elke aanroep verbruikt tokens.

Fine-tuning
Je traint een bestaand model verder op een dataset van tientallen tot duizenden voorbeelden. Dat kost tijd, geld en onderhoud, maar de kennis zit daarna in het model zelf en je prompt wordt weer kort. Fine-tuning loont pas als few-shot aantoonbaar tekortschiet: wanneer een heel specifieke stijl op grote schaal exact moet kloppen, of wanneer je zoveel voorbeelden nodig hebt dat elke aanroep te duur wordt.

Vuistregel: begin zero-shot, voeg voorbeelden toe zodra de vorm of de consistentie hapert, en denk pas aan fine-tuning als je met een tiental goede voorbeelden nog altijd niet raak schiet.

Few-shot gecombineerd met chain-of-thought

Voor taken die redenering vragen kan je few-shot stapelen met chain-of-thought prompting. Bij die techniek vraag je het model om eerst zijn redenering uit te schrijven en dan pas te antwoorden. In de few-shot-variant toon je die redenering in je voorbeelden: elk voorbeeld bevat de vraag, de tussenstappen en het antwoord.

Het model neemt dan niet alleen de vorm van je antwoord over, maar ook de manier van redeneren. Dat is handig wanneer je een vaste checklist wil afdwingen: eerst de btw controleren, dan de korting, dan pas het totaal. Voor de meeste taken is het overbodig. Start met gewone voorbeelden en voeg redenering pas toe wanneer de antwoorden wel de juiste vorm maar de verkeerde inhoud hebben.

Waar moet je op letten bij het gebruik van few-shot prompting

Het model kopieert je patroon soms te letterlijk. Krijgen twee van je drie voorbeelden het label "facturatie", dan plakt het model dat label ook vaker op twijfelgevallen. Zijn al je voorbeeldantwoorden drie zinnen lang, dan wordt elk antwoord drie zinnen, ook als er meer te zeggen valt. Bekijk je voorbeeldset dus ook op wat die onbedoeld suggereert.

De volgorde speelt ook mee. Modellen hechten doorgaans meer gewicht aan wat het laatst in de prompt staat, dus het laatste voorbeeld kleurt het antwoord het hardst. Wissel de volgorde eens om tijdens het testen en kijk of de output verschuift.

En hou de kost in het oog. Voorbeelden tellen bij elke aanroep mee in je tokens en nemen plek in binnen het context window. Vijf voorbeelden van elk tweehonderd woorden lijken onschuldig, tot je toepassing duizenden aanroepen per dag doet.

FAQ over few-shot prompting

1. Hoeveel voorbeelden zijn genoeg?
Drie tot vijf is een goed vertrekpunt. Meer voorbeelden helpen zelden evenredig veel verder; test met je eigen data wat het verschil maakt. Heb je er meer dan een tiental nodig om betrouwbare output te krijgen, bekijk dan of fine-tuning niet de betere weg is.

2. Tellen die voorbeelden elke keer mee in de kost?
Ja. De voorbeelden zijn deel van je prompt en gaan bij elke aanroep opnieuw mee. De grote aanbieders bieden wel prompt caching aan, waardoor herhaalde stukken prompt goedkoper worden, maar helemaal gratis wordt het nooit.

3. Werkt few-shot ook in het chatvenster van ChatGPT of Claude?
Ja. Plak je voorbeelden in je bericht, gevolgd door je echte vraag. Hetzelfde mechanisme, zonder API. Voor eenmalige klussen is dat vaak de snelste manier om consistente output te krijgen.

4. Mag ik het model zijn eigen voorbeelden laten schrijven?
Dat kan een goede start zijn: vraag het model om extra voorbeelden te genereren op basis van je eerste set, of om je bestaande voorbeelden te beoordelen op variatie. Controleer ze wel zelf voor je ze gebruikt, want een fout voorbeeld neemt het model klakkeloos over.