AI-benchmarks

Wat zijn AI-benchmarks?

Een AI-benchmark is een vaste reeks taken met een vaste manier van scoren, publiek gemaakt zodat iedereen er eender welk model op kan laten draaien en de resultaten kan vergelijken. Een leaderboard of ranglijst is de gerangschikte lijst van die resultaten. Kondigt een lab een nieuw model aan met een grafiek vol balkjes, dan is elk balkje een score op één benchmark.

Benchmarks bestaan omdat het vakgebied een gemeenschappelijke meetlat nodig had. Twee mensen die zeggen "dit model voelt slimmer aan" is geen vergelijking. Dezelfde 500 programmeertaken, onder dezelfde regels, geven een cijfer dat een concurrent volgende maand kan nadoen. Daar zit de hele waarde: een benchmark is een gemeenschappelijk examen, geen beschrijving van jouw werk.

Hoe een benchmark gebouwd en gescoord wordt

Elke benchmark heeft drie onderdelen: een reeks taken, een definitie van een juist antwoord, en een regel die de resultaten omzet in één cijfer. Wat verschilt, is waar de taken vandaan komen en wie beslist wat juist is.

Neem een programmeerbenchmark op basis van echte codebases. Een team van Princeton verzamelde zowat 2.300 echte bugmeldingen uit twaalf open source Python-projecten, samen met de oplossing die een menselijke ontwikkelaar uiteindelijk had doorgevoerd. Het model krijgt de codebase en de bugmelding, schrijft een patch, en die patch wordt beoordeeld door de tests van het project zelf te draaien: de tests die eerst faalden moeten slagen, en de tests die slaagden moeten blijven slagen. Er komt geen menselijke mening aan te pas. De score is het aandeel opgeloste bugs. Toen deze benchmark eind 2023 verscheen, loste het beste model er minder dan 2 procent van op.

Dat is de sterkste soort benchmark, omdat de antwoordsleutel uitvoerbaar is. De zwakste soort is de meerkeuzelijst, waar de antwoordsleutel een letter is en een model kan scoren door patronen te herkennen. Daartussen zitten de benchmarks die door mensen beoordeeld worden, of door een taalmodel als jury.

Vier benchmarks die je op lanceringsgrafieken tegenkomt

SWE-bench Verified is de programmeerbenchmark van hierboven, ingekort tot 500 taken die menselijke nalezers gecontroleerd hebben op duidelijkheid en eerlijke tests.

OSWorld meet computergebruik. Het model krijgt een echt bureaublad met echte programma's, een rekenblad, een browser, een bestandsbeheerder, en een opdracht zoals een instelling aanpassen of gegevens van het ene programma naar het andere overzetten. Een script controleert de eindtoestand van de machine. De benchmark telt 369 taken. Mensen slagen in ongeveer 72 procent ervan. De eerste modellen haalden zowat 12 procent, en de AI Index 2026 van Stanford meldt de beste score nu op ongeveer 66 procent, binnen de zes punten van het menselijke cijfer.

Humanity's Last Exam is een vragenlijst in examenstijl: 2.500 vragen, geschreven door bijna duizend academici en onderzoekers van meer dan 500 instellingen, gekozen om moeilijk te zijn voor modellen. Het examen werd gebouwd omdat modellen boven de 90 procent scoorden op de oudere kennistests, waardoor die geen modellen meer uit elkaar hielden.

Arena-ranglijsten werken anders. Op een site als LMArena typ je een vraag, twee anonieme modellen antwoorden, jij stemt op het betere antwoord, en pas daarna zie je de namen. De stemmen worden samengevoegd tot een rating die werkt als een schaakranking. Dit komt het dichtst bij meten wat mensen verkiezen, en het erft elke vertekening die mensen hebben.

Waarom lanceringsgrafieken een muur van balkjes zijn

Een lanceringsgrafiek toont acht of twaalf benchmarks omdat geen enkele benchmark dekt wat een model doet, en omdat elk lab de reeks kiest waarop zijn model goed oogt. De grafiek is getekend door de partij die gemeten wordt, meestal op basis van runs die het lab zelf deed, met eigen prompts en een eigen aantal pogingen. Epoch AI, een onafhankelijke onderzoeksgroep, houdt een databank bij die resultaten uit elkaar houdt naargelang wie ze draaide: Epoch zelf, de makers van de benchmark, of de modelontwikkelaar. Lanceringsgrafieken bestaan uit die derde soort, en een onafhankelijke herhaling komt niet altijd op hetzelfde cijfer uit.

De andere reden waarom de grafieken blijven groeien, is dat de benchmarks erop blijven sterven. De AI Index zegt het zonder omwegen: evaluaties die bedoeld waren om jaren moeilijk te blijven, zijn binnen de maanden verzadigd. Op Humanity's Last Exam wonnen de topmodellen 30 procentpunten in één jaar. Zodra elk toonaangevend model in de negentig scoort, vertelt een benchmark niemand nog iets, en verschijnt er een nieuwe op de volgende grafiek.

Waar moet je op letten bij AI-benchmarks

Contaminatie. Benchmarktaken staan publiek online en modellen worden getraind op het publieke internet. Belanden de testvragen met hun antwoorden in de trainingsdata, dan heeft het model het examen al gezien. Terminal-Bench, een benchmark met opdrachten voor agents in een commandoregel, zet op zijn site een regel in hoofdletters met de vraag om zijn data nooit in trainingsdata op te nemen, en dat zegt genoeg over hoe reëel het probleem is. Van buitenaf kan je contaminatie niet uitsluiten.

Verzadiging en foute vragen. Een benchmark waarop alle topmodellen 95 procent halen, houdt ze niet meer uit elkaar, en een deel van wat overblijft kan uit slechte vragen bestaan. Een review die de AI Index aanhaalt, vond dat het aandeel ongeldige vragen in populaire benchmarks ging van ongeveer 2 procent tot meer dan 40 procent, afhankelijk van de set. Een model kan punten verliezen omdat het gelijk heeft.

De ranglijst bespelen. In 2025 onderzocht een team onder leiding van Cohere Labs, met onderzoekers van onder meer Princeton, Stanford en MIT, hoe de arena gebruikt werd. Labs konden veel privéversies van een model testen, de scores bekijken en alleen de beste publiceren. Meta testte 27 privévarianten in de maand voor de release van Llama 4. In de simulaties van het team leverde 20 varianten insturen en de beste houden zowat 50 ratingpunten op, het dubbele van de hele afstand tussen de eerste en de zesde plaats in de momentopname van de AI Index van maart 2026. Hetzelfde onderzoek vond dat twee labs elk ongeveer een vijfde van alle arena-gesprekken kregen om van te leren, terwijl tientallen open modellen samen onder een tiende bleven. Trainen op die data duwt je arena-score omhoog zonder je model te verbeteren. De AI Index vat het voorzichtig samen: een plaats op de arena-ranglijst weerspiegelt mogelijk deels aanpassing aan het platform in plaats van algemene capaciteit.

Stemgedrag. De eigen analyse van de arena vond dat de lengte van een antwoord de grootste stijlfactor is in wie een stem wint, met koppen, vette tekst en lijstjes daarachter. Sinds 2024 biedt de ranglijst een gecorrigeerde weergave, en sommige modellen schuiven vijf plaatsen als je die aanzet. Een model dat afgesteld is om stemmers te plezieren, klimt op de grafiek; de entry over sycophancy legt uit waar dat toe leidt.

Smalle taken. Elke benchmark meet één schijf. Een model kan bovenaan staan voor code en middelmatig zijn in het lezen van een Nederlandstalig contract. De entry over jagged intelligence legt uit waarom een hoge score op een moeilijke taak zo weinig zegt over een makkelijke taak ernaast.

Publieke benchmark tegenover je eigen evalset

Het verschil zie je het scherpst als je vraagt welke vraag elk van de twee beantwoordt.

Een publieke benchmark beantwoordt: hoe verhoudt dit model zich tot andere modellen op een vaste, publieke taak, onder de regels van die taak? Het is een instrument om te rangschikken. Het kan je vertellen dat model A in het algemeen sterker is in code dan model B, en dat het verschil tussen de top drie klein is.

Je eigen evalset beantwoordt: doet dit model mijn taak goed genoeg om erop te vertrouwen? Het is een instrument om ja of nee te zeggen. Er zitten jouw facturen in, jouw klantenmails, jouw productnamen, jouw Vlaams, en een definitie van juist die je eigen team geschreven heeft. Niemand buiten je bedrijf kan die set draaien, en precies daarom kon niemand erop trainen.

Een model kan de eerste vraag winnen en op de tweede zakken. Het kan de eerste ook met een paar punten verliezen en toch de beste keuze voor jou zijn, omdat het goedkoper is, sneller, of goed in het ene ding dat jij nodig hebt. Geen enkele benchmarkscore zegt iets over jouw facturen. Alleen een test op jouw facturen doet dat.

Hoe je benchmarks gebruikt als je een model kiest

1. Maak je shortlist met benchmarks. Bekijk twee of drie benchmarks die dicht bij je taak liggen, via een onafhankelijke bron zoals Epoch AI in plaats van de lanceringsgrafiek, en laat alles vallen wat ver achterop hinkt. Beschouw verschillen onder de vijf punten als gelijkspel.

2. Kies met je eigen evals. Laat de shortlist los op vijftig echte gevallen uit je proces, elk met een gekend juist antwoord. De entry over evals beschrijft hoe je die set bouwt. De winnaar op jouw gevallen is de winnaar, wat de ranglijst ook zegt.

3. Draai het opnieuw bij elke release. Een nieuw model claimt een sprong op de grafiek. Je vijftig gevallen vertellen je binnen het uur of die sprong tot bij jouw taak geraakt is.

Een uitgewerkt voorbeeld. Je wil lijnen uit leveranciersfacturen halen, sommige gescand, sommige in het Frans. De lanceringsgrafiek toont model A op 74 en model B op 71 op de programmeerbenchmark. Dat is 15 taken op 500 en heeft niets met facturen te maken, dus allebei halen ze de shortlist. Op jouw 50 facturen heeft A er 41 juist en B 46, en B kost een derde minder per pagina. B is jouw model. De benchmark hield de zwakke opties buiten; jouw eval heeft gekozen.