Zero-shot prompting

Wat is zero-shot prompting?

Zero-shot prompting is een taalmodel een taak laten uitvoeren zonder dat je één uitgewerkt voorbeeld meegeeft. Je schrijft de instructie in gewone taal, en het model antwoordt meteen, op basis van wat het al tijdens de pretraining leerde.

Het woord shot betekent voorbeeld. Zero-shot betekent nul voorbeelden. Je toont het model niet hoe de taak gedaan wordt. Je beschrijft ze en vertrouwt erop dat het model genoeg gelijkaardige taken in zijn trainingsdata zag om uit te vissen wat je wil.

Een zero-shot prompt ziet eruit als de vraag zelf: Classificeer deze review als positief of negatief en antwoord met één woord: [reviewtekst]. Geen voorbeeldreviews, geen demonstraties, alleen de instructie en de invoer. Voor gewone taken is dat vaak alles wat een capabel model nodig heeft.

Zero-shot versus few-shot

De tegenhanger is few-shot prompting, waarbij je een handvol voorbeelden in de prompt zet om het exacte patroon te tonen dat je wil. Allebei steunen ze op hetzelfde onderliggende gedrag, in-context learning: het model past zich op het moment zelf aan de prompt aan, zonder enige hertraining. Het verschil zit erin of je het demonstraties meegeeft.

Zero-shot houdt de prompt kort en goedkoop, want voorbeelden kosten tokens en nemen plaats in in het context window. Het steunt volledig op de voorkennis van het model. Few-shot spendeert die tokens net om een specifiek outputformaat vast te pinnen, een subtiele labelregel, of een bepaalde stijl die makkelijker te tonen dan te beschrijven is.

Een simpele vuistregel werkt goed: begin zero-shot. Grijp pas naar few-shot als het outputformaat begint af te wijken, de labels subtiel zijn, of de taak makkelijker te demonstreren dan uit te leggen is.

Hoe schrijf je een goede zero-shot prompt?

Zonder voorbeeld om na te bootsen moet de instructie al het gewicht dragen, dus het loont om expliciet te zijn.

• Benoem het outputformaat. Als je één woord nodig hebt, een JSON-object of een vaste reeks labels, zeg dat gewoon. Zonder voorbeeld gokt het model naar de vorm, en die gok wisselt van oproep tot oproep.

• Noem de randvoorwaarden. Lengte, toon, wat weg te laten, wat onder elke categorie valt. Hoe duidelijker de grenzen, hoe stabieler de antwoorden.

• Geef het model een rol of context. Zeggen dat het als een supportmedewerker moet handelen, of eraan herinneren wat de invoer is, scherpt het antwoord. Een herbruikbare prompt template maakt dit herhaalbaar over veel oproepen.

Zero-shot en chain-of-thought

Voor taken die verschillende redeneerstappen vragen, kan een gewone zero-shot prompt te snel naar een antwoord springen en het fout hebben. Een bekende truc is een korte instructie als Laten we stap voor stap denken toevoegen voor het model antwoordt. Onderzoekers ontdekten dat dit alleen al, zonder enig voorbeeld, modellen aanzet om zich door het probleem heen te redeneren en hun accuraatheid op vragen met meerdere stappen omhoog tilt. Het is zero-shot chain-of-thought prompting: nog altijd geen voorbeelden, alleen een instructie om het rekenwerk te tonen.

Gebruik het waar de taak echt stappen heeft, zoals een berekening of een regel die in volgorde toegepast moet worden. Voor eenvoudige classificatie of extractie verspilt het extra redeneren tokens en maakt het de output moeilijker te verwerken.

Waar moet je op letten bij zero-shot prompting?

Het outputformaat dwaalt af. Met niets om na te bootsen antwoordt het model de ene keer met een enkel label en de andere keer met een volle zin. Als een volgende stap een vaste vorm verwacht, schrijf die vorm dan uit of stap over naar few-shot.

Het gaat ervan uit dat het model de taak kent. Zero-shot steunt op de pretraining, dus nichetaken, domeinspecifieke of ongewone taken kunnen falen waar een paar voorbeelden ze wel over de streep hadden getrokken.

Er is geen voorbeeld om een verkeerde lezing bij te sturen. Als het model een subtiele instructie verkeerd begrijpt, is een uitgewerkt voorbeeld vaak de snelste oplossing, en zero-shot heeft er per definitie geen.

Test op echte invoer. Een zero-shot prompt kan perfect lijken op het ene geval dat je probeerde en wankelen op de rommelige echte gevallen. Probeer hem over een reeks heen voor je erop steunt.