Hybrid search

Wat is hybrid search?

Hybrid search is een zoekmethode die twee soorten zoeken tegelijk uitvoert en hun resultaten samenvoegt tot één ranglijst. De eerste soort is klassiek zoeken op trefwoorden, meestal met het BM25-algoritme, dat documenten scoort op basis van de exacte woorden die je intikt. De tweede is semantisch zoeken met vectoren, waarbij je vraag en de documenten worden omgezet in embeddings en op betekenis worden vergeleken.

Elk van de twee heeft een blinde vlek. Daarom laat je ze allebei lopen en combineer je hun uitkomsten in één lijst met zowel de exacte treffers als de inhoudelijk verwante treffers.

Vergelijk het met twee collega's aan wie je dezelfde vraag stelt. De ene onthoudt precies welk document welk artikelnummer bevat, de andere weet waar een tekst ongeveer over gaat. Samen vinden ze meer dan elk apart.

Wat keyword- en vector-zoeken elk laten liggen

Semantisch zoeken met een vector database snapt de bedoeling achter een vraag. Zoek je op verzendkosten, dan vindt het ook een pagina die het over leveringskosten of transportprijzen heeft, ook al staat het woord verzendkosten er nergens. Net omdat het op betekenis werkt, struikelt het over exacte tokens: een artikelnummer, een foutcode, de naam van een persoon of zeldzaam vakjargon. Voor een model is XR-4400 een reeks tekens zonder betekenis, en het haalt er even makkelijk XR-4500 bij.

Klassiek zoeken op trefwoorden doet net het omgekeerde. Het vindt XR-4400 haarfijn terug, want het matcht op de letters zelf, maar het mist synoniemen en context. Wie zoekt op sportschoenen krijgt niets te zien als jouw catalogus die producten labelt als loopschoenen of sneakers.

Hybrid search legt de twee naast elkaar, zodat de sterke kant van de ene de zwakke kant van de andere opvangt.

Hoe worden de twee lijsten samengevoegd?

Uit elke zoekmethode komt een eigen ranglijst, en die twee tot één geheel smeden is lastiger dan het klinkt. De scores zijn namelijk niet vergelijkbaar: BM25 geeft een score zonder bovengrens, terwijl vector-zoeken meestal een getal tussen 0 en 1 teruggeeft. Je kan ze dus niet zomaar optellen.

De meest gebruikte oplossing is reciprocal rank fusion, kortweg RRF. In plaats van naar de scores te kijken, kijkt RRF naar de plaats van een document in elke lijst. Elk document krijgt per lijst een punt volgens de formule 1 gedeeld door (rang plus een constante, in de praktijk vaak rond 60). Die punten worden opgeteld, en een document dat in beide lijsten hoog staat komt zo bovenaan. De positie in de ranglijst telt, niet de ruwe score.

Een tweede aanpak is een gewogen score, soms een alpha-parameter genoemd. Je normaliseert dan de scores en geeft elke methode een gewicht. Helemaal naar de vectorkant is puur semantisch zoeken, helemaal naar de andere kant puur op trefwoorden, en ergens tussenin krijg je de mix. Deze aanpak geeft meer controle, maar vraagt meer afstelwerk dan RRF.

De reranking-stap erna

Na de samenvoeging volgt vaak nog een reranking. Een apart, zwaarder model bekijkt de bovenste pakweg vijftig resultaten opnieuw en herschikt ze op relevantie voor precies deze vraag. Hybrid search zorgt dat de juiste documenten in de shortlist zitten, reranking vist er de beste bovenuit. Azure AI Search zet die stap, daar semantische ranking genoemd, bewust pas na de RRF-samenvoeging.

Wanneer gebruik je hybrid search?

Hybrid search loont waar je documenten vol codes, namen en vakjargon doorzoekt en gebruikers tegelijk in gewone mensentaal vragen stellen.

• Bedrijfsbrede zoek. Een zoekfunctie over handleidingen, contracten, tickets en beleidsdocumenten, waar zowel een productcode als een vage omschrijving tot het juiste document moet leiden.

• RAG op technische documentatie. Bij retrieval-augmented generation bepaalt de kwaliteit van de opgehaalde fragmenten hoe goed het antwoord wordt. Hybrid search haalt zowel de passage met de exacte foutcode als de passage die het probleem in woorden beschrijft.

• Klantenservice en support. Klanten mengen merknamen, artikelnummers en losse omschrijvingen door elkaar. Een zoeker die enkel op betekenis of enkel op trefwoorden werkt, laat de helft liggen.

• Webshops en catalogi. Bezoekers typen zowel exacte modelnummers als brede termen zoals waterdichte wandelschoenen, en beide moeten resultaat geven.

Waar moet je op letten bij hybrid search

Kwaliteit van beide kanten. Hybrid search erft de zwakke plekken van zijn twee helften. Slechte embeddings of een slecht afgestemd keyword-veld belanden gewoon in de eindlijst. Test met echte vragen van je gebruikers voor je live gaat.

Rechten en toegang. De resultaten mogen nooit meer tonen dan de vragensteller zelf mag zien. Filter op rechten-metadata op het moment van zoeken, aan beide kanten van de zoekopdracht.

De balans hangt af van je data. Documenten vol codes leunen meer op de keyword-kant, verhalende teksten meer op de vectorkant. Meet met echte vragen welke mix voor jou werkt.