LLM-as-a-judge

Wat is LLM-as-a-judge?

LLM-as-a-judge is de gewoonte om een taalmodel de output van een ander taalmodel te laten beoordelen. Je geeft de jury de vraag, het antwoord en een beschrijving van hoe een goed antwoord eruitziet, en je krijgt een score terug, meestal met een korte uitleg erbij.

De reden dat dit bestaat, is een heel praktisch probleem. Bij een classificatietaak kan je het antwoord aftoetsen aan een gekend label en tellen hoe vaak het juist is. Bij een open antwoord lukt dat niet. Er is geen enkele juiste samenvatting van een rapport, geen enkel juist antwoord aan een klant, en geen enkele juiste manier om een beleidsregel uit te leggen. Is een mens de enige betrouwbare beoordelaar, dan haal je een paar tientallen antwoorden per week, en dat is lang niet genoeg om te zien of een aanpassing aan je prompt iets verbeterd heeft.

De onderzoekers die de aanpak op de kaart zetten, omschreven het als een schaalbare en verklaarbare manier om menselijke voorkeur te benaderen, en die formulering is de moeite om vast te houden. Je meet geen waarheid. Je benadert wat een aandachtige menselijke nalezer gezegd zou hebben.

Hoe je een jury opzet

Er zijn drie vormen, en de juiste vorm kiezen weegt zwaarder door dan het juiste model kiezen.

Paarsgewijs vergelijken. Je geeft de jury twee antwoorden op dezelfde vraag en vraagt welk van de twee beter is. Dit is de betrouwbaarste van de drie, want vergelijken is een pak makkelijker dan een absolute score toekennen. Gebruik het als je kiest tussen twee prompts, twee modellen of twee versies van een systeem.

Eén antwoord scoren. Je geeft de jury één antwoord en een schaal, en ze geeft een score terug. Dit heb je nodig voor opvolging in productie, want daar is niets om mee te vergelijken. Het is ook de vorm waarin scores het meest afdrijven, dus hou je schaal kort. Drie of vier niveaus met een geschreven beschrijving per niveau ligt veel stabieler dan een score op tien.

Scoren met een referentie erbij. Je geeft de jury een correct antwoord naast het antwoord dat beoordeeld wordt. Dat is veel sterker dan het klinkt, zeker bij alles met een feitelijke kern, want de jury moet het antwoord dan niet meer zelf kennen en enkel nog vergelijken.

Welke vorm je ook kiest, de kwaliteit van je instructie aan de jury bepaalt zowat alles. "Geef dit antwoord een score op tien" levert je niets bruikbaars op. "Beoordeel dit antwoord als goed, voldoende of zwak, waarbij goed betekent dat elke bewering gedekt wordt door het meegegeven bronmateriaal" levert je iets op waar je mee verder kan.

De vertekeningen waar je rond bouwt

Het oorspronkelijke onderzoek hierover benoemde een reeks faalpatronen, en die duiken in de praktijk met vervelende regelmaat op.

Positievertekening. Bij een paarsgewijze vergelijking geeft de jury de voorkeur aan het antwoord dat ze eerst ziet. De standaardoplossing is eenvoudig: draai elke vergelijking twee keer met omgekeerde volgorde, en tel het pas als winst als allebei de rondes hetzelfde zeggen.

Lengtevertekening. Langere antwoorden scoren hoger, of die extra lengte nu iets toevoegt of niet. Vergelijk je een bondig systeem met een breedsprakerig systeem, verwacht dan dat het breedsprakerige er beter uitkomt dan het is.

Voorkeur voor eigen werk. Een jury scoort output uit haar eigen modelfamilie doorgaans hoger. Een ander model als jury nemen dan het model dat je evalueert, is een goedkope manier om dat te temperen.

Beperkt redeneervermogen. Bij taken die echt redeneren vragen, rekenwerk, logica over meerdere stappen, een contract aandachtig lezen, heeft de jury dezelfde zwaktes als het model dat ze beoordeelt. Ze kan een fout die ze zelf ook gemaakt zou hebben niet betrouwbaar vangen.

Hoe ver je de score mag vertrouwen

Dit is het eerlijke plafond. Een sterk jurymodel is het ongeveer even vaak eens met de menselijke voorkeur als twee menselijke nalezers het onderling met elkaar eens zijn. Dat klinkt als een beperking, en dat is het ook, maar het is meteen ook het punt: menselijke nalezing is evenmin een gouden standaard. Twee aandachtige mensen die hetzelfde klantenantwoord lezen, zijn het vaak oneens of het goed genoeg was.

Daaruit volgt een regel waar je mee kan werken. Een automatische score is goed genoeg om een verandering op te merken, om twee versies tegen elkaar te rangschikken, en om antwoorden aan te duiden die een mens beter bekijkt. Ze is niet goed genoeg om het laatste woord te hebben over één afzonderlijk geval. Bepaalt een score of een klant zijn geld terugkrijgt, of of een document ongelezen de deur uitgaat, zet er dan een mens tussen.

De praktische manier om vertrouwen op te bouwen, is kalibreren. Neem vijftig antwoorden, laat een mens ze beoordelen, laat de jury ze beoordelen, en kijk waar ze van elkaar afwijken. Die afwijkingen vertellen je meer over je instructie aan de jury dan eender hoeveel sleutelwerk. Herhaal het telkens als je het jurymodel of de instructie wijzigt.

Waar moet je op letten bij LLM-as-a-judge

Laat de jury nooit tegen een vage norm scoren. Een criterium dat je niet in één zin aan een nieuwe collega kan uitleggen, is een criterium dat de jury elke ronde anders zal invullen.

Let op dat de jury haar eigen huiswerk niet verbetert. Als hetzelfde model het antwoord schrijft en het ook scoort, dan heb je een machine gebouwd die je vertelt dat ze het goed doet.

Een score zonder uitleg is lastig om iets mee te doen. Vraag de jury om te zeggen waarom. Ook als je niet elke uitleg leest, heb je ze nodig op de dag dat de scores rare sprongen maken.

Je betaalt een tweede modelaanroep. Beoordelen is niet gratis, en bij een toepassing met veel volume kan de evaluatiefactuur in de buurt van de productiefactuur komen. Dat is een goede reden om steekproeven te nemen in plaats van alles te scoren.

De jury wijzigen maakt je geschiedenis ongeldig. Een nieuw jurymodel of een herschreven instructie geeft je een nieuwe schaal. Vergelijk je deze maand met vorige maand over die wijziging heen, dan meet je je beoordelaar en niet je toepassing.