Reranking

Wat is reranking?

Reranking is een tweede scoringsstap in een zoek-pipeline. Een eerste, snelle zoekactie haalt een brede lijst kandidaten op, en daarna herordent een reranker die lijst zodat de fragmenten die de vraag echt beantwoorden bovenaan komen.

Je kan het vergelijken met een sollicitatie. Een eerste ronde filtert honderden cv's snel op enkele trefwoorden, een tweede ronde leest elk overgebleven cv grondig naast de vacature en bepaalt de echte volgorde. Reranking is die tweede, tragere maar veel nauwkeurigere ronde.

De stap zit bijna altijd tussen een vector database en het uiteindelijke antwoord. De vector search is snel en vindt ongeveer de juiste dingen, de reranker legt de puntjes op de i.

Waarom snelle vector search niet genoeg is

Een klassieke vector search zoekt op betekenis via embeddings: elke tekst wordt een rij getallen en de database zoekt de dichtstbijzijnde buren. Om dat snel te houden op miljoenen fragmenten gebruikt ze een approximate nearest neighbor-algoritme. Approximate is hier het sleutelwoord: de zoektocht is bewust niet exact, want perfect zoeken zou te traag worden.

Het gevolg is dat vector search sterk is in recall maar zwak in de fijne volgorde. Ze brengt je bijna zeker de juiste fragmenten binnen, maar het beste antwoord staat soms op plaats zeven in plaats van plaats een. Een reranker herstelt net die volgorde.

Hoe werkt een reranker?

Het verschil zit in hoe de vraag en het fragment vergeleken worden. Een embedding-model (een bi-encoder) berekent de vector van je documenten op voorhand en apart van de vraag. Elk document wordt dus in een vaste vector geperst nog voor iemand een vraag stelt. Dat is razendsnel, maar er gaat betekenis verloren in die samenvatting.

Een reranker werkt met een cross-encoder. Die krijgt de vraag en een kandidaat sámen als invoer en leest ze in een keer, woord voor woord naast elkaar. Daardoor ziet het model precies hoe goed dat ene fragment op deze vraag past, in plaats van te vertrouwen op een vooraf berekende samenvatting. Het resultaat is een relevantiescore per kandidaat.

Die nauwkeurigheid heeft een prijs. Een cross-encoder moet het volledige model opnieuw draaien voor elke combinatie van vraag en kandidaat. Op miljoenen documenten zou dat uren duren, terwijl vector search hetzelfde in milliseconden doet. Daarom laat je de cross-encoder enkel op een shortlist kijken.

Reranking in een RAG-pipeline

In een RAG-opzet volgt reranking een vast patroon: haal er veel op, herscoor, geef weinig door.

1. Ruim ophalen. De vector search haalt een brede set kandidaten op, bijvoorbeeld de top vijftig. Je mikt hier op recall: liever te veel dan het juiste fragment missen.

2. Herscoren. De reranker leest elk van die vijftig fragmenten samen met de vraag en geeft elk een verse relevantiescore.

3. Weinig doorgeven. Enkel de beste drie tot vijf fragmenten gaan naar het large language model dat het antwoord schrijft. Zo blijft het context window kort en zuiver.

Neem een klantendienst-chatbot met de vraag "kan ik mijn abonnement tijdelijk pauzeren?". De vector search brengt vijftig fragmenten binnen: de annuleringsvoorwaarden, een stuk over prijswijzigingen, twee bijna identieke FAQ-items en ergens daartussen de paragraaf over pauzeren. De reranker duwt net die pauze-paragraaf naar boven, terwijl de bijna-duplicaten zakken, en het taalmodel krijgt zo het juiste stuk als eerste te zien.

De kost blijft beheersbaar omdat je maar een shortlist herscoort en niet de hele kennisbank. Je betaalt de tragere cross-encoder enkel voor vijftig fragmenten per vraag.

Bekende rerankers

Cohere Rerank
Een kant-en-klare rerank-API. Je stuurt een vraag en een lijst kandidaten door en krijgt ze terug van meest naar minst relevant, met een score per stuk. Werkt over veel talen heen, wat handig is voor Nederlandstalige data.

Open cross-encoder-modellen
Via bibliotheken zoals Sentence-Transformers draai je zelf een cross-encoder, bijvoorbeeld een model getraind op vraag-antwoordparen. Je houdt zo je data in huis, tegen wat meer operationeel werk. Zoekdiensten zoals Azure AI Search hebben semantische reranking dan weer als ingebouwde optie.

Waar moet je op letten bij het gebruik van reranking

Latency en kost
Elke rerank-oproep kost tijd bovenop de vector search, en bij een betaalde API betaal je per vraag en per kandidaat. Hoe groter je shortlist, hoe trager en duurder. Test welke grootte (top twintig, vijftig of honderd) nog een merkbaar beter antwoord geeft en stop daar.

Meet of het echt helpt
Reranking is niet gratis, dus je wil aantonen dat het loont. Bouw een set testvragen met de verwachte fragmenten en vergelijk de volgorde met en zonder reranker. Zonder die meting voeg je enkel vertraging toe.

Combineer met hybride zoeken
Reranking en hybrid search (semantisch plus klassiek keyword) lossen elk iets anders op. Keyword-zoeken vangt exacte termen zoals artikelnummers, de reranker verfijnt daarna de volgorde. Samen geven ze vaak het beste resultaat.