Foundation model

Wat is een foundation model?

Een foundation model is een groot AI-model dat getraind is op een brede waaier aan algemene data, en dat je daarna aanpast voor allerlei specifieke taken. Je traint geen nieuw model voor elk probleem. Je traint, of hergebruikt vaker, één algemene basis en stuurt die richting vertalen, samenvatten, classificeren, beeldbeschrijving, code, of wat je ook nodig hebt.

De basismodellen achter de chatassistenten van vandaag zijn foundation models. Een Large Language Model zoals dat van OpenAI, Anthropic, Google of Mistral is een foundation model dat op tekst getraind is. Vision-modellen die op enorme beeldcollecties getraind zijn, zijn dat ook. Dezelfde basis kan vragen beantwoorden, teksten opstellen, velden uit een factuur halen en supporttickets sorteren, zonder een nieuw model voor elke taak.

De naam komt van het Center for Research on Foundation Models van Stanford, in 2021. Ze kozen het woord bewust: het model is de laag waarop al de rest gebouwd wordt, niet het eindproduct. Wat je gebruikers bereikt, zit meestal bovenop die basis.

Hoe een foundation model gebouwd wordt

Twee fasen tellen. De eerste is pretraining: het model werkt door een enorme hoeveelheid algemene data en leert het volgende stuk voorspellen. Voor een tekstmodel betekent dat telkens opnieuw het volgende woord voorspellen, doorheen boeken, code en webpagina's. Niemand labelt deze data met de hand. De tekst is zijn eigen antwoordsleutel, en net daarom schaalt de aanpak naar volumes die geen labelteam ooit met de hand zou kunnen taggen. Dit heet self-supervised learning.

Na de pretraining heeft het model brede vaardigheid maar geen specifieke taak. De tweede fase is aanpassing: je richt die algemene vaardigheid op een concrete taak.

Hoe je een foundation model aanpast

Er zijn drie gangbare wegen, van goedkoop naar duur.

1. Prompting. Je beschrijft de taak in de prompt, soms met een paar voorbeelden. Er wordt niets hertraind. Dit is in-context learning, en het dekt verrassend veel.

2. Retrieval. Je haalt relevante documenten op en zet ze in de prompt, zodat het model antwoordt vanuit je eigen data. Dit is het patroon achter retrieval-augmented generation.

3. Fine-tuning. Je traint het basismodel verder op je eigen voorbeelden, zodat het zijn gewichten bijstelt voor jouw taak, toon of formaat. Dit is transfer learning aan het werk: de brede pretraining is het startpunt, en je draagt die kennis mee in een nauwer gebruik.

Foundation model versus een taakspecifiek model

Een taakspecifiek model wordt vanaf nul getraind voor één taak: een spamclassificatie, een vraagvoorspeller, een model dat één soort formulier leest. Het kan klein, snel en goedkoop zijn om te draaien, en voor een nauwe, stabiele taak is het vaak de betere keuze.

Een foundation model start algemeen en wordt richting de taak geduwd. Je ruilt wat efficiëntie voor flexibiliteit: één basis dekt veel taken, en je zet een nieuwe toepassing op met een prompt in plaats van met een nieuw trainingsproject. De prijs is de omvang. Foundation models zijn groot, dus elke oproep kost meer en loopt vaak via de API van een externe aanbieder.

Veelvoorkomende types

Foundation models dekken intussen verschillende soorten data. Tekstmodellen drijven schrijven en vraagbeantwoording aan. Beeldmodellen genereren of interpreteren afbeeldingen. Spraakmodellen verwerken audio. Multimodale modellen nemen meer dan één soort invoer tegelijk, bijvoorbeeld een afbeelding lezen en er een vraag over beantwoorden. Wat ze delen, is hetzelfde recept: eerst brede pretraining, dan aanpassing.

Waar moet je op letten bij foundation models?

Je erft de trainingsdata. Welke gaten, verouderde feiten of bias er in de pretraining-data zitten, komen mee. Bias in de brondata wordt bias in de basis, dus een algemeen model is maar zo evenwichtig als wat het las.

Algemeen is niet hetzelfde als correct. Een vlot antwoord kan nog altijd fout zijn. Foundation models stellen verzonnen feiten met volle overtuiging, dus alles wat ertoe doet, heeft controle of grounding in je eigen data nodig.

Kosten en afhankelijkheid. Een groot model per oproep draaien loopt op, en leunen op de API van één aanbieder bindt je aan zijn prijzen, limieten en koers.

Data die het huis verlaat. Prompts naar een extern model sturen betekent je data mee daarheen sturen. Voor persoonlijke of vertrouwelijke gegevens check je waar die belanden, en of je een zelf-gehoste of open-weight optie nodig hebt.

Regelgeving. De Europese AI Act legt specifieke verplichtingen op voor AI-modellen voor algemene doeleinden en voor hoe ze in situaties met een hoger risico gebruikt worden. Bouw je op een foundation model, werk dan vroeg uit welke plichten bij de aanbieder liggen en welke bij jou.