Voice agent

Wat is een voice agent?

Een voice agent is software die een gesproken gesprek voert. Hij luistert terwijl je praat, leidt eruit af wat je wil, zoekt iets op of noteert iets, en antwoordt hardop. Aan de telefoon, of via de micro van een app.

Dat is het verschil met het keuzemenu dat iedereen kent. Bij een keuzemenu kies je uit een lijst en druk je een cijfer. Tegen een voice agent zeg je "ik belde gisteren over bestelling 40218, is die al vertrokken" en hij gaat ermee aan de slag. OpenAI vat het doel van zijn Realtime API in één zin samen: speech-to-speech agents die luisteren, redeneren, spreken en tools aanroepen.

Technisch is het een chatbot met een micro erbij, maar een beller wacht niet op een draaiend wieltje, kan een antwoord niet herlezen en praat halverwege je zin gewoon door.

Pipeline of speech-to-speech model?

Er zijn twee manieren om er een te bouwen, en wat ze scheidt is snelheid tegenover controle.

De pipeline koppelt drie onderdelen die je al kent. Speech-to-text schrijft op wat de beller zei, een taalmodel bepaalt het antwoord en welk systeem het daarvoor raadpleegt, text-to-speech leest dat antwoord voor. Microsoft noemt zijn variant in Copilot Studio een text LLM voice model en beschrijft net die volgorde. Een speech-to-speech model vervangt die drie door één model dat audio binnenkrijgt en audio teruggeeft, en daarop draaien de real-time voice agents van Microsoft en de Live API van Google.

Speech-to-speech wint op tijd, want niets wacht op een afgewerkte transcriptie en er is geen tweede overdracht naar een synthesizer. Het houdt ook vast wat een transcriptie weggooit: twijfel, klemtoon, het feit dat de beller geïrriteerd is.

De pipeline wint op alles wat je achteraf wil nakijken. Je hebt de exacte tekst bij elke stap, je kan een antwoord laten controleren voor het uitgesproken wordt, en je kan elk onderdeel in een eigen regio zetten. De documentatie van OpenAI toont waar de naad zit: het realtime model heeft niet genoeg informatie om transcriptie en audio precies op elkaar te leggen, dus wie een antwoord halverwege afbreekt, verliest de transcriptie van het niet afgespeelde stuk. Wat in je logs staat, is dan niet exact wat de beller gehoord heeft.

De regio kan de vraag voor je beslissen. Microsoft schrijft dat sinds juli 2026 klanten binnen de EU Data Boundary het tekstgebaseerde voice model in eigen regio kunnen draaien, maar de GPT-Realtime-modellen niet, omdat die verwerking buiten de eigen geografie vragen.

Waar de tijd naartoe gaat

Onderzoekers van het Max Planck Instituut voor Psycholinguïstiek vergeleken gesprekken in tien talen en vonden overal hetzelfde patroon: mensen vermijden door elkaar te praten en houden de stilte tussen twee beurten zo kort mogelijk, met een gemiddelde pauze die per taal binnen zo'n 250 milliseconden van het gemiddelde over alle talen blijft. Wie jou belt, zit al zijn hele leven in dat ritme. Een seconde stilte na een vraag leest dus als "hij heeft me niet begrepen".

Die tijd gaat naar meer plaatsen dan je zou denken. De architectuurgids van Deepgram rekent 200 tot 400 milliseconden voor SIP- en PSTN-overhead voor er iets verwerkt is. Daarna moet het systeem beslissen dat de beller uitgesproken is, daarna moet het model beginnen antwoorden, daarna moet de spraak gemaakt worden. ElevenLabs vermeldt ongeveer 75 milliseconden voor zijn Flash-modellen, maar zegt er meteen bij dat dat enkel de rekentijd van het model is.

Daarom mag geen enkele stap wachten tot de vorige helemaal klaar is. Het taalmodel stuurt zijn antwoord token per token door, zoals het lemma over token streaming uitlegt, en de synthesizer spreekt de eerste zin al uit terwijl het model aan de tweede bezig is. Drie afgewerkte stappen tellen elke wachttijd op; drie overlappende stromen kosten je enkel de traagste.

De moeilijke stukken die je in geen enkele demo ziet

Weten wanneer de beller uitgesproken is. De klassieke aanpak wacht op stilte, wat OpenAI aanbiedt als server-VAD met een instelbare stilteduur; Google raadt minstens 500 milliseconden aan zodat het systeem natuurlijke pauzes midden in een zin verdraagt. Te kort en de agent valt iemand in de rede die nadenkt over zijn bestelnummer, te lang en elke beurt sleept. De semantische VAD van OpenAI luistert naar de woorden in plaats van naar de pauze en leidt uit het gezegde af of de spreker klaar is. Achtergrondgeluid trekt aan dezelfde knop: OpenAI merkt op dat een hogere drempel luidere audio vraagt en daardoor beter werkt in een bestelwagen of een atelier, wat je de beller kost die stil praat.

Onderbroken worden. Een beller die een fout antwoord hoort, praat er meteen doorheen. De Live API van Google annuleert het antwoord dat bezig is, gooit het weg en meldt de onderbreking zodat jouw toepassing de audio stopt, maar de agent moet daarna verder op wat de beller effectief gehoord heeft in plaats van op wat hij geschreven had.

Accenten, en Vlaams tegenover Nederlands. Een model dat vooral op Nederlands uit Nederland getraind is, doet het slechter bij een West-Vlaamse beller, en nog slechter bij jouw productnamen, straatnamen en gemeentenamen. Beoordeel dat niet op een demo van de leverancier: neem twintig opgenomen gesprekken van je eigen lijn en laat die er eerst door lopen.

Namen, adressen en cijfers. Hier sneuvelen de meeste pilots in stilte. Bestelnummers, IBAN's, een huisnummer met een letter, een familienaam die niemand schrijft zoals hij klinkt, een datum die "volgende dinsdag" heet. Laat de beller cijfers intoetsen, en daarom aanvaarden platformen als Copilot Studio nog altijd DTMF-invoer, en laat de agent de waarde herhalen voor hij er iets mee doet.

Welke telefoons geef je aan een voice agent, en welke niet

De gesprekken die de moeite lonen, hebben dezelfde vorm: het antwoord staat al in een systeem, en fout zijn is vervelend maar niet duur.

1. Openingsuren, voorraad en orderstatus buiten de kantooruren. De beller wil één feit en je ERP heeft het. Om acht uur 's avonds krijgt hij anders je voicemail.

2. Kwalificeren en doorschakelen. Uitzoeken waarover het gaat en wie het moet opnemen, en dan doorverbinden mét de context erbij.

3. Een terugbelverzoek opnemen. De agent noteert naam, nummer, onderwerp en een moment dat past, zodat niemand in een wachtrij blijft hangen.

4. Afspraken bevestigen en verzetten. De agent belt zelf, het gesprek is kort, en het scheelt je een no-show.

Wat je hem niet geeft, is alles waar fout zijn een prijs heeft. Een klacht vraagt iemand met de bevoegdheid om het recht te zetten, en een klant die aan een machine mag uitleggen waarom hij kwaad is, wordt kwader. Alles wat contractueel is, een prijs, een leverbelofte, een opzeg, wordt een verbintenis die jouw bedrijf daarna moet nakomen. En alles waar een verkeerd cijfer geld kost, hoort langs een mens, want de agent weet zelf niet dat hij verkeerd verstaan heeft.

Zonder de juiste koppelingen werkt hier niets van: een nummer, dat in de Microsoft-stack van Azure Communication Services komt en de agent over PSTN of SIP bereikt, leesrechten op het systeem waar het antwoord staat, een agenda waarin hij mag schrijven, en een weg terug naar een mens die de transcriptie meeneemt. Teken die overdracht als eerste uit in plaats van als laatste, want het moment waarop een beller een mens vraagt, is het moment waarop je automatisering zichzelf terugbetaalt of je de klant kost.

Wat je moet zeggen, opnemen en bijhouden

Zeg dat het een machine is. Artikel 50 van de Europese AI Act geldt sinds 2 augustus 2026 en vraagt dat mensen weten dat ze met een AI-systeem te maken hebben, tenzij dat vanzelf duidelijk is. Aan de telefoon betekent dat: de agent stelt zich voor als een automatische assistent voor het inhoudelijke deel begint. Een menselijke naam en een natuurlijke stem zonder die zin is precies wat de uitzondering voor "het is duidelijk AI" niet dekt. Het lemma over de transparantieverplichting werkt dat verder uit.

Opnemen is een aparte vraag, en België is strenger dan de GDPR alleen. De Gegevensbeschermingsautoriteit verwijst naar artikel 124 van de wet elektronische communicatie: niemand mag met opzet kennisnemen van informatie die elektronisch wordt doorgestuurd zonder de toestemming van alle betrokkenen. De betrokken partijen moeten voor de opname op de hoogte zijn van de opname en van het precieze doel, en de autoriteit zegt uitdrukkelijk dat het niet enkel om je eigen medewerkers gaat: ook klanten en derden aan de lijn moeten die informatie krijgen.

De audio, de transcriptie en de tekst die je eruit haalt, kunnen op drie verschillende plaatsen belanden. Beslis welke je echt nodig hebt, schrijf op hoelang je elk stuk bijhoudt, en vraag na waar je leverancier ze bewaart.

Hoe weet je of hij werkt?

Containment, of deflectie. Microsoft omschrijft het als het aandeel vragen dat via zelfbediening afgehandeld raakt en dat anders bij een mens terechtgekomen was. Elke leverancier citeert dat cijfer; jij leest het als laatste.

Oplossingsgraad en escalatiegraad. Die lees je samen, en let op de valstrik in de definitie van Microsoft zelf: een sessie telt als opgelost wanneer de beller de vraag krijgt of dat zijn vraag beantwoordde en hij ofwel ja zegt, ofwel helemaal niet reageert. Wie het opgeeft en inhaakt, belandt dus in hetzelfde vakje als wie geholpen is. Hou de afgebroken gesprekken apart in het oog, en behandel een stijgende oplossingsgraad naast een stijgend aantal afhakers als slecht nieuws.

Gemiddelde afhandeltijd en doorschakelgraad. Een agent die meteen opneemt maar zeven op de tien gesprekken doorverbindt, heeft een stap aan je proces toegevoegd. Doorverbinden is prima wanneer de agent eerst iets verzameld heeft.

Geen van die cijfers zegt of de beller kreeg waarvoor hij belde. Het enige dat dat wel doet, is luisteren. Neem tien gesprekken per week, van begin tot einde, ook die het dashboard als opgelost scoorde. Daar vind je de zwakke plekken van de agent en de procesproblemen die je telefoonlijn al jaren verbergt.