Small Language Model (SLM)

Wat is een Small Language Model (SLM)?

Een Small Language Model of SLM is een compact taalmodel dat dezelfde soort taken aankan als zijn grote broers: tekst samenvatten, vragen beantwoorden, e-mails sorteren, gegevens uit documenten halen. Het verschil zit in de schaal. Waar een Large Language Model honderden miljarden parameters telt en een datacenter nodig heeft, past een SLM op één server met één GPU, of zelfs op een laptop of smartphone.

Een harde grens voor "klein" bestaat niet. Microsoft legt de lat in zijn documentatie grofweg op 10 miljard parameters, al passeren ook modellen van 14 miljard nog als SLM.

Denk aan het verschil tussen een bestelwagen en een vrachtwagen met oplegger. Om een volledig magazijn te verhuizen heb je de vrachtwagen nodig. Voor de dagelijkse leveringen in de stad is de bestelwagen sneller, zuiniger, en hij parkeert gewoon voor de deur.

Bekende SLM-families

De bekendste families komen van Microsoft, Google en Mistral AI.

• Phi van Microsoft. Phi-4 telt 14 miljard parameters, het kleinere Phi-4-mini 3,8 miljard. Microsoft experimenteert ermee in de Edge-browser, waar Phi-4-mini lokaal draait op een videokaart met 5,5 GB geheugen.

• Gemma van Google. Gemma 3 bestaat in vijf formaten, van 270 miljoen tot 27 miljard parameters. Google mikt uitdrukkelijk op laptops, desktops en eigen cloudinfrastructuur.

• Ministral van Mistral AI. De Franse modellen Ministral 3B en 8B zijn gebouwd om op het toestel zelf te draaien: vertalen zonder internetverbinding, lokale analyses, assistenten die offline blijven werken.

SLM versus LLM

De keuze tussen klein en groot draait om vier afwegingen.

Kostprijs
Een LLM gebruik je meestal via een API waar je per token betaalt, en bij grote volumes loopt die teller hard op. Een SLM draait op eigen hardware tegen een vaste kost: je betaalt de server, niet elke aanvraag apart.

Snelheid
Minder parameters betekent minder rekenwerk per token. Een SLM antwoordt sneller en verwerkt meer aanvragen op dezelfde machine. Voor taken die duizenden keren per dag lopen, zoals inkomende e-mails routeren, maakt dat een groot verschil.

Privacy en on-premise
Een SLM kan volledig binnen je eigen omgeving draaien, zonder externe API. Je data verlaat het gebouw niet. Voor klantendossiers, personeelsgegevens of medische data is dat vaak de doorslaggevende reden.

Kwaliteit op brede taken
Hier wint het grote model. Een LLM heeft meer algemene kennis, redeneert beter over complexe problemen en kan beter om met rommelige of onvolledige input. Een SLM levert die breedte in: sterk op een afgebakende taak, zwakker zodra de vraag buiten dat kader valt.

Veel bedrijven combineren daarom beide: een SLM voor de eenvoudige triage in grote volumes, een LLM voor de complexe gevallen die overblijven.

Hoe maak je een taalmodel klein?

Twee technieken keren overal terug: distillatie en kwantisatie.

Distillatie werkt als leraar en leerling. Een groot model beantwoordt een lange reeks voorbeeldvragen en het kleine model traint op die antwoorden. Zo erft het een flink deel van het gedrag, zonder de omvang.

Kwantisatie maakt de parameters zelf compacter. Elke parameter is een getal dat standaard 16 bits geheugen inneemt. Kwantisatie rondt die getallen af naar 4 of 8 bits, waardoor het model ruim drie keer minder geheugen vraagt. Google deed dat met Gemma 3: het model van 12 miljard parameters kromp van 24 GB naar 6,6 GB en draait zo op een laptop-GPU met 8 GB geheugen. Het kwaliteitsverlies blijft beperkt doordat Google die afronding al tijdens de training inbouwt.

Wanneer kies je als KMO voor een SLM?

Een SLM is de logische keuze wanneer de taak afgebakend is en het volume hoog:

1. Documenten classificeren en gegevens extraheren
   Facturen herkennen, bedragen en datums eruit halen, e-mails naar de juiste dienst sturen.

2. Gevoelige data verwerken
   Er vertrekt niets naar een externe API, wat de discussie met je DPO of je sectorregelgever een stuk korter maakt.

3. Hoge volumes tegen vaste kost
   Wie maandelijks honderdduizenden kleine opdrachten draait, weet vooraf wat het kost.

4. Offline of op locatie
   Machines in een werkplaats of toestellen bij klanten: overal waar geen stabiele internetverbinding is.

Waar moet je op letten bij het gebruik van een SLM

Een klein model presteert sterk op standaardgevallen, maar struikelt sneller over uitzonderingen: een factuur in een vreemd formaat, een vraag die net buiten het domein valt. Test daarom ook de rare gevallen voor je live gaat.

Zelf hosten betekent ook zelf onderhouden. Iemand moet de server beheren, updates opvolgen en de prestaties monitoren. Die werklast wordt vaak onderschat, zeker in een klein team.

Nieuwe modelversies volgen elkaar bovendien snel op. Wie zelf host, moet zelf nagaan of een nieuwe versie beter scoort op zijn taak. Een vaste testset met enkele honderden voorbeelden en verwachte resultaten is daarbij de basis.

FAQ over Small Language Models

Heb ik een GPU nodig om een SLM te draaien?
Niet altijd. De kleinste modellen draaien op een gewone CPU. Vanaf enkele miljarden parameters is een GPU wel aan te raden voor werkbare snelheid.

Kan ik een SLM bijtrainen op mijn eigen data?
Ja, en dat is net een van de sterktes. Fine-tuning van een klein model kost een fractie van wat het bij een groot model kost. Controleer wel de licentie per model, want die verschilt: Phi is bijvoorbeeld MIT, andere families hanteren eigen voorwaarden.

Is een SLM hetzelfde als een gekwantiseerd LLM?
Nee. Een SLM is van bij de start klein getraind, kwantisatie is een compressietechniek die je achteraf op elk model kan toepassen. In de praktijk worden beide gecombineerd.

Werkt een SLM even goed in het Nederlands?
Dat verschilt per model. Kleine modellen reserveren minder capaciteit voor talen buiten het Engels. Test dus eerst op je eigen Nederlandstalige voorbeelden voor je beslist.