Voice AI: Nederlands, latency en privacy
Freek Schouten, Mantawise
Uit de sessie: Klantenservice: Battle of the CS Tools
Freek Schouten van Mantawise bouwt voice agents voor e-commerce, luchthavens en trainingen. In deze clip uit de klantenservicesessie van maart 2026 noemt hij de uitdagingen van voice AI op een rij: minder Nederlandse trainingsdata, overlappende spraak, accenten, de afhankelijkheid van drie modellen en de vraag waar de audio van je klanten blijft.
Voor wie: Je overweegt een voice agent en wilt weten welke technische en privacyrisico's je met je leverancier moet bespreken.
Waarom dit ertoe doet
Een voice agent bestaat uit 3 AI-modellen achter elkaar: spraak naar tekst, een taalmodel en tekst naar spraak. Hapert er één, dan merkt je klant het meteen. Freek noemde eerder in de sessie 700 tot 800 milliseconden als grens voor een soepel gesprek. Spraak is ook gevoeliger dan tekst. De Europese privacytoezichthouders in de EDPB stelden in juli 2021 richtlijnen vast voor spraakassistenten, omdat een stemopname persoonsgegevens bevat en bij herkenning van de spreker zelfs biometrische gegevens. Zet je een voice agent in, dan moet je weten waar de audio wordt bewaard, hoe lang en in welk land. Deze clip geeft je de vragen om aan een leverancier te stellen voordat je tekent.
Belangrijkste inzichten
- Engels werkt volgens Freek nog beter dan Nederlands, maar Nederlands heeft de laatste maanden flink ingehaald.
- Overlappende spraak, accenten, dialecten en homofonen zijn nog lastig voor een voice agent.
- Met 3 modellen achter elkaar hangt je agent af van de uptime en latency van alle 3, binnen 700 tot 800 milliseconden.
- Stemopnames zijn persoonsgegevens; de EDPB-richtlijnen voor spraakassistenten zijn sinds 7 juli 2021 definitief.
- Mantawise slaat audio volgens Freek niet op, en klanten vragen vaker om opslag in Europa of een model als Mistral.
Nederlands, ruis en accenten
Spraakmodellen zijn vooral getraind op Engels. Nederlands hoort volgens Freek bij de talen met minder trainingsdata, al heeft het de laatste maanden een flinke inhaalslag gemaakt in kwaliteit en snelheid. Een tweede probleem is overlappende spraak: als meerdere mensen tegelijk praten, moet de agent snappen welke woorden bij het gesprek horen. Software lost dat steeds beter op. Freek noemt Voice Isolation op de iPhone als voorbeeld: volgens Apple werkt die stand tijdens gewone telefoongesprekken sinds iOS 16.4 en dempt hij achtergrondgeluid. Moeilijke accenten, dialecten en homofonen, woorden die hetzelfde klinken maar iets anders betekenen, blijven lastig. Voor een Nederlandse webshop met klanten uit Vlaanderen of met een regionaal accent is dat een reden om met echte bellers te testen.
Drie modellen, drie keer afhankelijk
Omdat een voice agent drie modellen gebruikt, ben je volgens Freek afhankelijk van de uptime en de snelheid van alle drie. Dat maakt het complexer dan een chatbot, die met één taalmodel werkt. Als één van de drie hapert, loopt de totale reactietijd op. Eerder in de sessie noemde Freek 700 tot 800 milliseconden als de tijd die je hebt voor een natuurlijk gesprek. Die tijd moet je dus verdelen over drie stappen, plus eventuele koppelingen met je ordersysteem. Vraag een leverancier daarom niet alleen naar de gemiddelde reactietijd, maar ook wat er gebeurt als een van de modellen trager wordt of uitvalt.
Een stem is een persoonsgegeven
Freek zet data privacy en security vetgedrukt onderaan zijn slide. Stemgeluid wordt gezien als persoonsgegeven. De EDPB, het overleg van Europese privacytoezichthouders, nam op 7 juli 2021 versie 2.0 aan van de richtlijnen voor virtuele spraakassistenten. Daarin staat onder meer dat herkenning van een gebruiker aan zijn stem biometrische gegevens verwerkt, waarvoor de AVG strengere regels heeft, en dat een DPIA, een risicoanalyse vooraf, waarschijnlijk nodig is. Mantawise zorgt er volgens Freek voor dat audio niet wordt opgeslagen.
Waar staat je data?
Freek noemt twee vragen die klanten steeds vaker stellen. Waar staat de data als hij is opgeslagen (data at rest), en hoe is hij beveiligd onderweg tussen systemen (data in transit)? Steeds meer klanten willen volgens hem dat de data in Europa blijft, of werken met een Europees model zoals Mistral. Omdat er drie modellen in de keten zitten, kunnen er ook drie leveranciers zijn, elk met eigen servers en voorwaarden. De claims over Nederlands en over wat klanten vragen zijn Freeks ervaring. De regels over spraakgegevens komen uit de EDPB-richtlijnen.
Probeer dit deze week
- Test een voice agent met 3 lastige bellers: iemand met een sterk regionaal accent, iemand in een drukke ruimte en iemand die snel praat.
- Vraag je leverancier op 1 A4: welke 3 modellen zitten in de keten, waar staat de audio, hoe lang en in welk land.
- Laat je privacyverantwoordelijke beoordelen of je voor de voice agent een DPIA nodig hebt, en plan die vóór de livegang.
Begrippen
- Latency
- De vertraging tussen het moment dat de beller stopt met praten en het moment dat de agent antwoordt.
- Homofonen
- Woorden die hetzelfde klinken maar iets anders betekenen, zoals 'hart' en 'hard'.
- Data at rest en in transit
- Data die is opgeslagen op een server, tegenover data die onderweg is tussen twee systemen.
- DPIA
- Data protection impact assessment: een verplichte risicoanalyse vooraf bij privacygevoelige verwerkingen.
Verdiep je in de gids
Transcriptie
Uitgeschreven uit de audio van dit fragment. Stopwoorden en herhalingen zijn weggelaten. Waar [onverstaanbaar] staat, is de opname niet te verstaan.
Uitdagingen die je op dit moment ziet bij voice agents zijn enerzijds talen met minder trainingsdata. Je ziet dat Engels echt nog superieur is ten opzichte van een aantal niche data waar Nederlands in die zin helaas ook nog wel tot hoort. Maar je ziet dat dat de laatste maanden een enorme inhaalslag heeft gemaakt. En dat zal ik straks hopelijk ook laten horen dat echt de kwaliteit en de latency ervan steeds meer richting het Engels aan het kruipen zijn. Overlappende spraak is ook wel een issue. Dat er met meerdere mensen tegelijk aan het spreken zijn. Dat die goed moet snappen welk gesprek, welke woorden moet ik wel niet opvangen. En dat zie je dat dat softwarematig steeds beter wordt ondervangen. We kennen allemaal wel de voice isolation mode op je iPhone. En dat is ook een softwarematige isolatie van stem. Dus je kan letterlijk met iemand bellen naast een espresso machine. Dat zal diegene niet meer horen. En dat is ook een vrij recente ontwikkeling die uiteindelijk de voice AI technologie alleen maar ten goede komt. Moeilijke accenten, dialogen, homofonen, dus woorden die hetzelfde klinken, zijn ook nog uitdagingen waar een voice agent het soms lastig mee heeft. En doordat ik net aangaf dat voice AI uit drie AI-modellen bestaat, krijg je ook een automatisch multi-model afhankelijkheid, dus je bent afhankelijk van de uptime en de latency van drie verschillende AI-modellen. Dat creëert wel wat meer complexiteit dan een gewone agent. Daarbij ook automatisch latency-issues. Dus als één van die drie modellen al hapert, dan zal de uiteindelijke latency niet ten goede komen. Dik gedrukt uiteraard data privacy en security. Zeker met voice, want stemgeluid wordt ook gezien als persoonsgegevens. Dus de oplossingen die wij voor onze klanten maken zorgen ook echt voor dat audio bijvoorbeeld niet wordt opgeslagen. Maar ook, waar staat je data at rest? Hoe is het in transit? Ze is meer klanten die echt specifiek residency in Europa willen. Of met een Europees model zoals Mistral willen werken. Zeker omdat je met drie modellen werkt nogmaals. Raakt dat ook op dat vlak. Veel zorgen voor bedrijven ten aanzien van data privacy en security.
Spreker: Freek Schouten, Mantawise
Bronnen
Meer over Klantenservice & Sales
Duur 1:09Salesforce: 100 miljoen leads eindelijk opvolgen
Tachmy Dilmy, eCommerce AI Club
100 miljoen leads in 26 jaar nooit opvolgd, tot AI kwam
Duur 1:37Waarom AI niet kan verkopen zonder domeinkennis
Marja Silvertant, Aiden
LLMs zijn getraind op 30 jaar internet zonder verkoopadvies, dat merk je
Duur 1:37Hoe Mr. Marvis AI trainde op merkspecifieke productnamen
Tijmen van den Elzen, Engaige
AI snapt je productnamen niet, en dat kost je klanten