Vier tools voor chatten met data getest: wat viel tegen?
Kim Baas, Insight First
Uit de sessie: Specialists: Dashboards
In de Specialists-sessie over dashboards van december 2025 deelt Kim Baas van Insight First wat haar team leerde van een hackathon met conversational analytics tools. Je hoort welke soorten tools er zijn, wat tegenviel en waarom een semantic layer nodig is voor consistente antwoorden.
Voor wie: Je een tool zoekt om met je data te chatten en wilt weten waarop je moet letten.
Waarom dit ertoe doet
Wie kiest voor chatten met data, kiest uit twee soorten tools. Kims team vergeleek twee BI-pakketten met een ingebouwde agent, Looker Studio Pro en ThoughtSpot, met twee standalone tools, Wobby en Dot. Haar verrassing: ze had hoge verwachtingen van de grote namen en vond het niveauverschil groot, waardoor ze de eerste twee niet bruikbaar vond. De standalone tools stelden direct wedervragen en deden minder aannames. De test gebruikte demodata en was een korte inspanning, dus wat ze zegt is een eerste indruk. Het hoofdpunt geldt voor elke tool: zonder vastgelegde businesslogica krijgen twee collega's met dezelfde vraag verschillende antwoorden.
Belangrijkste inzichten
- Kim Baas' team testte 4 tools: Looker Studio Pro en ThoughtSpot (BI-pakketten) en Wobby en Dot (standalone).
- De twee grote namen vielen volgens Kim tegen en deden veel aannames; Dot en Wobby stelden wedervragen.
- Ze testten met demodata en zonder uren training; met meer tijd kan het beeld veranderen.
- Je hebt veel context nodig en een semantic layer: metadata en businesslogica over je dataset.
- Met een semantic layer krijgen 2 mensen met dezelfde vraag hetzelfde antwoord, ook als afdelingen verschillende namen gebruiken.
Single trained of custom getraind
Kim maakt eerst onderscheid. Een agent in Shopify of de agent die volgens haar vorige week in Google Analytics verscheen, is getraind op één specifieke tool, dus het schema is altijd hetzelfde en de antwoorden over die data zijn sterk. Haar team zocht een tool die ze zelf kunnen trainen voor klanten op hun data warehouse, dus voor allerlei datasets. Daarnaast is er een verschil tussen BI-pakketten waarin een agent zit en standalone tools die je aan je data warehouse koppelt.
De vier tools
Ze testte Looker Studio Pro en ThoughtSpot, beide BI-pakketten met een agent, en Wobby en Dot, standalone tools. Looker Studio Pro biedt volgens Google conversational analytics op basis van Gemini en ThoughtSpot noemt zijn agent Spotter. Kims oordeel: de grote namen vielen tegen, de twee gespecialiseerde tools waren veel beter. Zij stelden al met weinig informatie wedervragen terwijl de grote tools veel aannames deden. Ze noemt dat misschien logisch, want wie één ding doet kan dat beter. Slack- en Teams-integratie werkte volgens haar goed. Ze test met demodata en zonder uren training, dus met meer tijd kan het verschil kleiner zijn.
Context en semantic layer
De conclusie is dat je veel context nodig hebt en veel tijd moet steken in het trainen van de agent. Je legt je businesslogica vast in een semantic layer: metadata over je dataset. Een voorbeeld: vier afdelingen noemen het saleskanaal elk anders. Wordt er gevraagd om omzet per 'verkooppunt', dan moet de agent weten dat daarmee die ene kolom bedoeld is. Zo geeft dezelfde vraag van twee mensen hetzelfde antwoord. Volgens dbt Labs verhoogt een semantic layer de nauwkeurigheid van text-to-SQL in zijn eigen test, maar dat is leveranciersonderzoek op een kleine set vragen.
Hoe je dit toepast
Begin met een lijst van je 10 belangrijkste begrippen, zoals omzet, nieuwe klant, retour en kanaal, en schrijf per begrip de definitie en de bijbehorende kolom op. Test een tool eerst met demodata en stel dezelfde vraag aan twee collega's om te zien of de antwoorden gelijk zijn. Controleer ook of de tool bij onduidelijke vragen een wedervraag stelt of gaat gokken. Herhaal de test zodra je een nieuwe versie gebruikt, want Kim zegt zelf dat dit elk half jaar opnieuw moet.
Probeer dit deze week
- Schrijf de 10 begrippen op die in je afdeling anders genoemd worden en leg per begrip de bijbehorende kolom vast.
- Laat 2 collega's dezelfde 3 vragen stellen aan een tool en vergelijk de antwoorden.
- Test of de tool bij een vage vraag een wedervraag stelt of een aanname doet.
Begrippen
- Semantic layer
- Laag met metadata en businesslogica die vastlegt wat begrippen als omzet of verkooppunt betekenen in je data.
- Standalone tool
- Een apart product voor chatten met data, dat je aan je data warehouse koppelt.
- Wedervraag
- De agent vraagt eerst door als je vraag onduidelijk is, in plaats van een aanname te doen.
Transcriptie
Uitgeschreven uit de audio van dit fragment. Stopwoorden en herhalingen zijn weggelaten. Waar [onverstaanbaar] staat, is de opname niet te verstaan.
Dus jullie kennen waarschijnlijk allemaal, werk je al wel met een dergelijke tool, bijvoorbeeld de agent in Shopify, of er is nu een agent gelanceerd vorige week binnen Google Analytics. Dat is dus eigenlijk gewoon een agent die getraind is op één specifieke tool. Dat schema is altijd hetzelfde. Die kan heel goed antwoorden gaan geven specifiek over die data. Wij waren echt op zoek naar een tool die we custom konden trainen voor onze klanten op hun data warehouse. Dus dat betekent in principe dat je gewoon op allerlei soorten datasets die agent moet kunnen loslaten. En dan had je nog een split eigenlijk tussen full BI tools die dit ook aanbieden. Dus eigenlijk een BI pakket waarin een conversational analytics agent zit. Of echt stand-alone conversational analytics tools. En Looker Studio Pro en Thoughtspot hebben wij getest. En dat zijn eigenlijk meer BI pakketten die een agent aanbieden. En Wobby en Dot zijn twee tools die wij hebben getest. Wat echt stand-alone conversational analytics tools zijn waar je je data warehouse aan koppelt. Expliciet ook zo twee van beide smaken gekozen om te kijken wat het verschil daartussen was. Nou, onze learnings daarbij. Ik had best wel hele hoge verwachtingen eigenlijk van ook de grote namen. Dus ThoughtSpot is ook echt een grote partij. Looker Studio Pro is natuurlijk van Google. Wij vonden die best tegenvallen. Een groot niveauverschil met de echt specifieke Wobby en Dot die zich alleen daarop richt. Misschien ook wel logisch, als je één ding heel goed doet. Of als je één ding doet, kun je dat misschien beter doen dan als je heel veel verschillende dingen doet. Maar het was wel dusdanig groot verschil dat wij eigenlijk die eerste twee zelf niet heel bruikbaar vonden. Wellicht als je meer tijd steekt in het trainen ervan. We hebben natuurlijk met demodata getraind. Ook geen uren en uren ingestoken. Maar wellicht kan je dan naar een hoger niveau wel trekken. Maar in de basis vonden wij Dot en Wobby echt veel beter. Al meteen met weinig informatie waren ze kritisch. Stelden wedervraag. Terwijl die grote tools deden best wel veel aannames. Veel interactie en mogelijkheden. Slack en Teams integratie werkte echt wel goed. Dus dat was wel prettig. Alsnog de conclusie is wel. Je hebt best wel veel context nodig. En je moet veel tijd steken in het echt goed trainen van die agents. Het toevoegen van al je business logica. En dat is dan met een duurwoord semantic layer. Dus dat is een soort van je metadata over je dataset, zoals het ware. Maar ook dingen als vier verschillende afdelingen binnen je bedrijf.. kunnen het saleskanaal bijvoorbeeld anders noemen. Dus kun jij je deze omzet weergeven op channel? Kun je deze omzet weergeven op verkooppunt? En dat soort kleine dingetjes, van als iemand vraagt om verkooppunt.. dan bedoelen ze deze kolom. Dat zijn ook allemaal van die dingen die je wilt toevoegen.. Zodat je ervoor zorgt dat als twee mensen dezelfde vraag stellen, ze ook hetzelfde antwoord krijgen.
Spreker: Kim Baas, Insight First
Bronnen
Meer over Data & Dashboards
Duur 1:47AI Code Generatie: van SQL tot DAX in seconden
Jop van Hooft, eCommerce AI Club
AI schrijft je SQL, Python en DAX in één keer goed, en waarschuwt als je data verandert
Duur 1:484 conversational analytics tools getest
Kim Baas, Insight First
Vier AI analytics tools getest, dit zijn de requirements die er echt toe doen
Duur 1:50Real-time prijsvergelijking via Google Shopping API
Tachmy Dilmy, eCommerce AI Club
Live Google Shopping prijzen direct in je dashboard, zonder data warehouse ertussen