Parametrische kennis

Wat is parametrische kennis?

Parametrische kennis is alles wat een taalmodel tijdens zijn training in zijn gewichten heeft opgenomen. Er hangt geen bron aan vast. Het model bewaart het document niet waaruit het iets geleerd heeft, alleen het patroon dat het vaak genoeg gezien heeft. Het kan het feit dus wel geven, maar niet tonen waar het vandaan komt.

Contextuele kennis is de andere helft: wat op dit moment in de prompt staat. Een geplakt contract, een opgehaalde paragraaf uit jullie intranet, een rij uit het data warehouse. Die kennis heeft wel een bron, want jij hebt ze zelf meegegeven en je weet wat je meegegeven hebt.

De splitsing komt uit het onderzoek dat in 2020 retrieval-augmented generation introduceerde. Daar staat het parametrische geheugen voor het getrainde model zelf, en het niet-parametrische geheugen voor een doorzoekbare index die het model op het moment van antwoorden leest.

Parametrische kennis versus contextuele kennis

Herkomst

Parametrische kennis komt uit miljarden pagina's tekst die je nooit gezien hebt en die je ook niet kan opvragen. Contextuele kennis komt uit een bestand of een tabel waar jij de eigenaar van bent.

Houdbaarheid

De training stopt op een bepaalde datum. Alles wat daarna veranderde, zit er niet in, en het model merkt dat zelf niet. Contextuele kennis is zo actueel als het document dat je meestuurt.

Controleerbaarheid

Bij contextuele kennis kan je vragen welke zin het antwoord ondersteunt. Bij parametrische kennis bestaat die zin niet. Vraag je er toch naar, dan krijg je vaak een verwijzing die er correct uitziet en niet bestaat.

Aanpasbaarheid

Een feit in een document verander je in twee minuten. Een feit in de gewichten verander je alleen met een nieuwe trainingsronde, en zelfs dan zonder garantie dat de oude versie weg is.

Wat gebeurt er als je bron iets anders zegt dan het model denkt te weten?

Dit is het geval dat zelden getest wordt en waar de twee soorten kennis botsen. In het onderzoek heet dat een context-memory conflict: het opgehaalde document zegt A, de gewichten zeggen B.

De richting van de gepubliceerde resultaten is duidelijk. Modellen leunen sterk naar de opgehaalde tekst. In een benchmark die precies dit meet, lieten de sterkste modellen hun eigen juiste antwoord ruim de helft van de keren vallen zodra het document iets anders beweerde. Twee dingen temperen dat: hoe onwaarschijnlijker de opgehaalde tekst klinkt, hoe meer het model blijft vasthouden aan wat het zelf weet, en hoe minder zeker het model van zijn eigen antwoord was, hoe sneller het toegeeft.

Voor een bedrijfsassistent snijdt dat langs twee kanten. Zolang jouw documenten kloppen, doet het model precies wat je wil. Zet iemand de prijslijst van vorig jaar in de index, dan geeft datzelfde gedrag het verouderde tarief door, netjes met bronvermelding erbij.

De omgekeerde fout valt minder op. Als de opgehaalde passage te dun of naast de kwestie is, valt het model terug op zijn training en antwoordt het toch. Azure OpenAI On Your Data heeft daar een schakelaar voor. In de documentatie van Microsoft staat het zo: als je de instelling om antwoorden tot je eigen data te beperken uitzet, vult het model zijn antwoorden aan met eigen kennis bovenop jouw documenten.

Hoe zie je welke van de twee je krijgt?

Vlotheid zegt niets. Een vraag over de btw-regels in de bouw en een vraag over jullie eigen kortingsafspraak met één klant kosten het model evenveel moeite en klinken even zeker. Alleen de tweede heeft een bron nodig die het model niet heeft.

Drie testen die in de praktijk werken:

1. Vraag de zin op, niet de samenvatting. Een antwoord uit contextuele kennis kan de passage teruggeven. Een antwoord uit de gewichten niet.

2. Pas het document aan en stel dezelfde vraag opnieuw. Verandert het antwoord niet mee, dan werd dat document nooit gelezen.

3. Stel een vraag die alleen jullie bron kan beantwoorden. Een intern projectnummer, een clausulenummer, een klantspecifieke marge. Komt daar een vloeiend antwoord op, dan is het verzonnen.

Waar moet je op letten bij het gebruik van parametrische kennis

Softwarefeiten verouderen het snelst
Vraag naar een functie in Power BI of Fabric en je krijgt vaak de situatie van het moment waarop het model getraind werd. Dat antwoord is niet verzonnen, het is gewoon een oude versie, en daardoor moeilijker te betrappen dan een echte hallucinatie.

Fine-tuning schrijft in de gewichten, niet in een document
Wat je met fine-tuning aanleert, wordt parametrische kennis en krijgt dus dezelfde eigenschappen: geen bron, geen bronvermelding, en niet aan te passen zonder opnieuw te trainen. Voor stijl en vorm is dat een goede keuze, voor prijzen en procedures niet.

Een bronvermelding is geen garantie op een juist antwoord
De citations-functie van Anthropic geeft de exacte zinnen terug waarop een bewering steunt, en de documentatie zegt dat die verwijzingen altijd naar de meegegeven documenten wijzen. Dat betekent dat de passage echt bestaat. Het betekent niet dat de zin die het model erop bouwt een correcte lezing van die passage is.

Parametrische kennis is wel degelijk nuttig
Zonder ze begrijpt het model je vraag niet, volgt het geen instructie en schrijft het geen werkende SQL op een schema dat het nooit gezien heeft. Het doel is niet om ze uit te schakelen. Het doel is om ze taal en redenering te laten doen, en de bedrijfsfeiten aan de contextuele kant te houden waar je ernaar kan wijzen.

FAQ over parametrische kennis

1. Lost RAG dit volledig op?
Nee. RAG zet de feiten aan de contextuele kant, maar het model blijft zijn parametrische kennis gebruiken om de vraag en de passage te interpreteren. Vandaar dat grounding het risico verlaagt en niet wegneemt.

2. Kan je zien hoe oud de parametrische kennis van een model is?
Alleen ruwweg. De aanbieder communiceert een einddatum voor de trainingsdata, maar niet elk onderwerp is tot die datum even goed gedekt. Ga er niet van uit dat een recente wijziging erin zit.

3. Waarom klinkt een fout antwoord even zeker als een juist antwoord?
Omdat het model in beide gevallen hetzelfde doet: het volgende woord kiezen dat het meest waarschijnlijk is. Zekerheid in de toon zegt niets over de herkomst van het feit.