4 conversational analytics tools getest
Kim Baas, Insight First
Uit de sessie: Specialists: Dashboards
Kim Baas van Insight First vertelt in de Specialists-sessie over dashboards en analytics wat haar team leerde van een hackathon met vier tools waarmee je in gewone taal met je data praat. Je hoort welke eisen in de praktijk verschil maken en waarom de grote namen tegenvielen.
Voor wie: Je overweegt een AI-analysetool voor je webshopcijfers en wilt weten waar je op test voordat je tekent.
Waarom dit ertoe doet
Steeds meer BI-leveranciers en losse startups verkopen een AI-analist die vragen over omzet, conversie of marge direct beantwoordt. Voor een e-commerce manager klinkt dat als minder wachten op het datateam. Het risico zit in de antwoorden: een tool die aannames doet geeft een nette grafiek met een verkeerd getal, en dat getal belandt in een vergadering. Google waarschuwt in de eigen documentatie dat zulke uitvoer 'plausible but factually incorrect' kan zijn en dat je alles moet valideren. Kims test laat zien waar je op let voordat je betaalt: stelt de tool wedervragen, kun je de businesslogica vastleggen, en zie je welke query is gedraaid. Een verkeerde aankoop kost je geld en vertrouwen in je cijfers.
Belangrijkste inzichten
- Insight First testte in juni 2025 vier tools op een demodataset: Looker Studio Pro, een tweede BI-pakket, Dot en Wobby.
- Hun belangrijkste eis was dat de tool wedervragen stelt in plaats van aannames te doen; juist de twee grote BI-pakketten deden veel aannames.
- Dot werkt met text-to-SQL: schema en vraag naar het taalmodel, de query draait in je eigen data warehouse en de data gaat volgens Kim niet naar het model.
- Elke vraag is een query op je warehouse; die kosten zitten niet in de toolprijs en lopen op bij veel gebruik.
- Zonder semantic layer (bijvoorbeeld wat 'verkooppunt' betekent) kunnen twee mensen dezelfde vraag stellen en verschillende antwoorden krijgen.
Wat conversational analytics is
Conversational analytics betekent chatten met je data. Je stelt in Slack, Teams of een eigen scherm een vraag als 'zet de conversieratio week over week' en krijgt een antwoord met grafiek. Volgens Kim bieden de tools 3 dingen: simpele chatvragen, diepe analyses waarbij de tool een paar minuten nadenkt en een plan van aanpak maakt, en het inplannen van terugkerende analyses. Onder de motorkap werkt het bij de tool die haar team koos (Dot) via text-to-SQL. De tool geeft de tabelschema's en jouw vraag aan een taalmodel, het model schrijft een SQL-query en die query draait in jouw data warehouse. Volgens Kim gaat de data zelf dus niet naar het taalmodel. Zij zegt er zelf bij dat dit per tool kan verschillen, dus vraag het na. Een bijkomend effect: elke vraag is een query op je warehouse, en die kosten zitten niet in de prijs van de tool.
De test: vier tools, één demodataset
In juni 2025 deed het team van Insight First een hackathon. Ze testten vier tools op een demodataset: twee BI-pakketten met een ingebouwde agent, waaronder Looker Studio Pro van Google (Google noemt het product inmiddels Data Studio), en twee losse conversational-analytics-tools, Dot en Wobby. Hun eisen: de tool stelt wedervragen in plaats van aannames te doen, de antwoorden zijn goed, je kunt context toevoegen, je kunt analyses opslaan en herhalen, en diepe analyses zijn mogelijk. Het verrassende resultaat volgens Kim: de grote namen vielen tegen en deden veel aannames, terwijl Dot en Wobby al bij weinig informatie kritisch doorvroegen. Haar verklaring is dat een tool die één ding doet dat beter kan dan een pakket dat alles doet. Het team koos 1 van de 4, Dot, maar zegt dat Wobby dichtbij lag en dat dit deels smaak is.
Semantic layer: de echte klus
De grootste les is dat een tool zonder context niet werkt. Je moet de agent trainen met je businesslogica, in vakjargon de semantic layer: metadata over je dataset en afspraken over begrippen. Kims voorbeeld: als iemand om omzet per 'verkooppunt' vraagt, moet de tool weten welke kolom dat is. Zonder die afspraken kunnen twee collega's dezelfde vraag stellen en een ander antwoord krijgen. Dat is precies waar het vertrouwen sneuvelt. Een andere les uit de test: 4 afdelingen kunnen hetzelfde woord anders gebruiken, dus leg het één keer vast.
Feit en eigen oordeel
Neem de uitkomst als ervaringsverhaal, niet als benchmark. De test draaide op demodata, het team stak er naar eigen zeggen geen uren training in en de tools veranderen razendsnel; daarom wil Insight First de test elk half jaar of jaar herhalen. Kim verwacht dat dashboards blijven bestaan voor vaste vragen, en dat een chatagent vooral helpt bij nieuwe vragen en bij de vraag of er iets veranderd is. Haar advies over kant-en-klare aanbevelingen van de tool: kijk er kritisch naar. Tegelijk is de richting breed gedragen: Google heeft Conversational Analytics met data agents voor BigQuery in Data Studio, met een Code Interpreter die vragen in Python omzet.
Probeer dit deze week
- Schrijf 10 vragen op die je team elke maand aan het datateam stelt, met het juiste antwoord erbij, en gebruik die als testset voor elke tool.
- Leg de vijf begrippen vast waar je afdelingen verschillend over denken (omzet, marge, nieuwe klant, kanaal, retour) in één document.
- Vraag elke leverancier of je de gegenereerde query kunt zien, of de data je warehouse verlaat, en wie de querykosten betaalt.
Begrippen
- Conversational analytics
- Vragen over je cijfers stellen in gewone taal en een antwoord met tabel of grafiek terugkrijgen.
- Text-to-SQL
- Een taalmodel zet je vraag om in een SQL-query die in je database draait.
- Semantic layer
- De afspraken en metadata die vastleggen wat begrippen als omzet of verkooppunt betekenen en welke kolom erbij hoort.
- Data warehouse
- De centrale database waarin je bedrijfsdata uit verschillende bronnen samenkomt.
Verdiep je in de gids
Transcriptie
Uitgeschreven uit de audio van dit fragment. Stopwoorden en herhalingen zijn weggelaten. Waar [onverstaanbaar] staat, is de opname niet te verstaan.
We hebben in juni een hackathon gedaan met ons team, omdat je hoort natuurlijk heel veel over, maar er zijn ook heel veel verschillende tools en het gaat ook razendsnel, dus dit is ook iets wat we echt wel op z'n minst elk jaar of elke halfjaar opnieuw moeten doen. Maar we hebben vier tools getest, echt met een demodataset, om te kijken: oké, hoe goed is het nu? Is het kwalitatief goed genoeg om ermee aan de slag te gaan?
Wij hebben een aantal requirements opgesteld, dus wij vonden het heel belangrijk dat de tool wedervragen stelt en geen aannames doet. Ik denk dat dat ook wel uiteindelijk in het testen een van de grootste dingen was waarin je zag dat het wel of niet bruikbaar was. Kwaliteit van de antwoord natuurlijk erg belangrijk. Ruimte voor toevoegen van contexten, dus kun je de agent ook echt zelf trainen? Kan die repeat analyses doen, dus kun je dingen ook opslaan, of moet je ook een keer weer from scratch beginnen? Kan die deep-analyses doen?
Heel veel van die tools hebben drie verschillende functionaliteiten. Enerzijds is het een soort van simpele chatoptie: wat was mijn omzet? Wat was mijn conversieratio? Zet het week over week? Dat soort dingen. Deep-analyse, dus dan gaat die echt ook een paar minuten nadenken. En dan kan je echt een soort correlatievraag bijvoorbeeld stellen, of een meer exploratieve vraag. En dan gaat hij, als het ware alsof hij een data-analyst is, een plan van aanpak maken en echt die analyse uitvoeren. En die mogelijkheid om dit soort analyses dan ook te schedulen.
En niet alle tools bieden ook al deze opties. Wij zagen een beetje een split in verschillende tools, dus single trained tools versus multiple.
Spreker: Kim Baas, Insight First
Bronnen
Meer over Data & Dashboards
Duur 1:47AI Code Generatie: van SQL tot DAX in seconden
Jop van Hooft, eCommerce AI Club
AI schrijft je SQL, Python en DAX in één keer goed, en waarschuwt als je data verandert
Duur 1:50Real-time prijsvergelijking via Google Shopping API
Tachmy Dilmy, eCommerce AI Club
Live Google Shopping prijzen direct in je dashboard, zonder data warehouse ertussen
Duur 1:44Zonder definitielaag geeft AI elke keer een ander cijfer
Jop van Hooft, eCommerce AI Club
Dezelfde margevraag, drie antwoorden van AI. Een definitielaag maakt er één getal van voor iedereen.