Naar de inhoud
Alle video’s

Vier lessen voor je eigen zelflerende feedtest

AI & MarketingDuur: 3:26 minVanaf 34:49 in de opname

Ruben Runneboom, Taskforce

Uit de sessie: Marketing: Advertising in the Age of AI

Na zijn uitleg van de zelflerende titeltest vat Ruben Runneboom van Taskforce de lessen samen die de bouwer van het systeem achteraf meegaf. Het gaat over dataopslag, over waaraan je een verliezer herkent, over testaccount of geosplit en over de drempel voor deelname. Kijk dit voordat je zelf een feedtest opzet.

Voor wie: Je zelf een AI-titeltest of andere feedtest wilt opzetten en de valkuilen vooraf wilt kennen.

Hetzelfde moment

Waarom dit ertoe doet

Een test met AI-titels opzetten lijkt simpel. De keuzes aan het begin bepalen of je er later nog op kunt bouwen. Taskforce begon in een Google-spreadsheet. Google Sheets kan tot 20 miljoen cellen aan, maar met drie titels per SKU, meerdere landen en dagelijkse prestatiecijfers groeit zo'n bestand snel. Wie later naar BigQuery moet verhuizen, bouwt volgens Ruben een groot deel opnieuw. Ook de vraag waaraan je een winnaar herkent, bepaal je beter vooraf. Taskforce koos ROAS en CTR, en zag achteraf vooral extra omzet bovenop de bestaande. En omdat Google voor Shopping-campagnes geen standaard custom experiments ondersteunt, moet je zelf een eerlijke testopzet maken. Deze vier keuzes bepalen of je resultaten iets zeggen.

Belangrijkste inzichten

  • Google Sheets kan tot 20 miljoen cellen aan; kies vooraf of je in een spreadsheet of in BigQuery werkt, want ombouwen kost veel werk.
  • De gratis BigQuery-sandbox geeft 10 GiB opslag en 1 TiB query's per maand, maar tabellen verlopen er na 60 dagen.
  • Leg vooraf vast waaraan je een verliezer herkent: ROAS, POAS, incrementele omzet of CTR; Taskforce koos ROAS en CTR.
  • Google ondersteunt geen standaard custom experiments voor Shopping, dus een geosplit in twee gelijke delen of een apart testaccount is nodig.
  • Medisave liet producten pas meedoen vanaf 5 pond advertentie-uitgaven; jouw drempel hangt af van aantal producten en vertoningen.

Spreadsheet of BigQuery

De eerste tip gaat over waar je de data bewaart. Een spreadsheet is snel opgezet en iedereen kan erin kijken. Google noemt als limiet 20 miljoen cellen of 100 MB per spreadsheet. Bij duizenden SKU's, drie titelvarianten, zoektermkolommen en prestatiedata per periode kom je daar sneller aan dan je denkt, en een groot bestand wordt traag. BigQuery is het datawarehouse van Google Cloud. In de gratis sandbox krijg je 10 GiB opslag en 1 TiB verwerkte query's per maand, maar tabellen verlopen daar na 60 dagen, dus voor een test die maanden loopt heb je een betaald project nodig. Ruben ziet dat steeds meer bedrijven een eigen datawarehouse bouwen. Zijn punt: kies vooraf, want ombouwen halverwege kost veel werk.

Waaraan herken je een verliezer

Een zelflerend systeem heeft een regel nodig om te beslissen. Ruben noemt de opties: een lagere ROAS, de winst per advertentie-euro (POAS), de extra omzet bovenop je normale omzet of een hogere CTR. Een titel die beter aansluit op de zoekvraag levert vaak eerst een hogere CTR op. Taskforce beoordeelde vooraf op ROAS en CTR. Achteraf bleek de incrementele waarde, dus omzet die er zonder test niet was geweest, sterk gestegen. Ruben noemt dat een bijvangst die niet het doel was. De les: leg je beslisregel en je KPI vast voordat je start, anders ga je achteraf zoeken naar het cijfer dat goed uitkomt.

Testaccount of geosplit

Taskforce gebruikte voor Medisave een apart Google Ads-testaccount, dat er al was van eerdere tests. Dat is niet nodig. Je kunt in Nederland ook twee campagnes draaien met een geosplit: je verdeelt het land in twee gelijkwaardige delen en geeft elk deel een eigen variant. Op de slide staat nog een optie: gebruik een account uit Nederland voor België of een Oostenrijks account voor Duitsland, zodat je test zonder je hoofdaccount te raken. Waarom zo omslachtig? Google ondersteunt standaard custom experiments voor Search, Display, Demand Gen en Video, maar niet voor Shopping. Wel kun je Shopping testen tegen Performance Max, met een vaste verdeling van het verkeer die je na de start niet meer kunt wijzigen. Google raadt aan zo'n experiment minstens 4 tot 6 weken te laten lopen. Eén account maakt het volgens Ruben eenvoudiger, zolang de twee delen niet overlappen.

Sta stil bij je drempel

De laatste tip gaat over welke producten mee mogen doen. Een product zonder uitgaven of verkopen levert geen data op, dus je stelt een ondergrens. Bij Medisave was dat 5 pond aan advertentie-uitgaven per product. Eerder in de sessie noemde Ruben ook minimaal 10 sales voordat een variant als winnaar telt. Welke drempel bij jou past, hangt af van het aantal producten, hoe vaak ze op welke zoektermen vertoond worden en of Google een rij varianten laat zien of één product. Die cijfers zijn de keuzes van Taskforce voor deze klant, geen vaste norm. Reken voor je eigen shop uit hoeveel producten boven de drempel uitkomen voordat je bouwt.

Probeer dit deze week

  1. Tel hoeveel SKU's in de laatste 30 dagen meer dan 5 euro advertentie-uitgaven en minstens 1 aankoop hadden; dat is de omvang van je testgroep.
  2. Schrijf in twee zinnen je beslisregel op, bijvoorbeeld minimaal 10 sales en 10 procent hogere ROAS, en laat een collega die tekenen voordat je start.
  3. Zoek in Google Ads onder Campagnes, Experimenten welke testtypes voor jouw campagnes beschikbaar zijn en noteer welke Shopping-campagnes je kunt testen.

Begrippen

POAS
Profit on ad spend: de brutowinst die een advertentie-euro oplevert, in plaats van de omzet zoals bij ROAS.
Incrementele waarde
De extra omzet of winst die er alleen is door de verandering, bovenop wat je zonder test ook had verkocht.
Geosplit
Een test waarbij je een land in gelijkwaardige regio's verdeelt en elke regio een andere variant laat zien.
BigQuery
Het datawarehouse van Google Cloud waarin je grote tabellen opslaat en met SQL doorzoekt.

Verdiep je in de gids

Transcriptie

Uitgeschreven uit de audio van dit fragment. Stopwoorden en herhalingen zijn weggelaten. Waar [onverstaanbaar] staat, is de opname niet te verstaan.

Nu heb ik natuurlijk ook ooit nagedacht over, ja heel leuk zo'n setup, waar kan je tegenaan lopen als je zo'n setup gaat neerzetten. Ik denk dat dat ook wel belangrijk is om van elkaar te kunnen leren in dat systeem. Dus die heb ik ook aan de consultant gevraagd die dit volledig gebouwd heeft. Ik heb eigenlijk op de zijlijn gestaan bij het bouwen hiervan. ja heeft hij ook gewoon goed nagedacht over oké wat zouden tips kunnen zijn om mee te kunnen nemen en hij is even nou ja denk gewoon echt goed na wat je wat ja waar je data gaat opslaan is dat een spreadsheet loopt natuurlijk uiteindelijk tegen wat limieten aan hij dat misschien direct al in de BigQuery omgeving bouwen ik dat BigQuery ook tegenwoordig steeds toegankelijker wordt omdat er gewoon meer bedrijven ja de noodzaak zien om een echt een eigen data warehouse te bouwen. Dus ga je dat in een spreadsheet doen, ga je dat in een BigQuery doen. Dus wees ervan bewust als je ermee gaat beginnen, als je het moet gaan ombouwen, dat het best wel een bitch kan zijn om dat helemaal te gaan ombouwen. Dus denk daarvan voor gewoon echt goed over na. Ja, je moet gewoon goed bepalen waar je op gaat optimaliseren. Hoe herken je een verliezer? Is dat wanneer de ROAS misschien minder is? Of ga je juist meer op POAS zitten? Of ga je juist meer zitten op heb door deze optimalisaties wil je de juist meer incrementele waarde uithalen naast je normale omzet of wil je juist een hogere ctr doorbehalen want ja titel heeft natuurlijk ook juist als je zoveel mogelijk titel kan personaliseren ja dan zul je ook zien dat dit ctr als goed is omhoog gaat dus je moet ja goed je thresholds bepalen waarop je uiteindelijk gaat kiezen waarop je dat wilt gaan beoordelen of te naar succes is of niet dit geval hebben Waarbij dat op voorhand dus op ROAS gedaan en op CTR. Maar uiteindelijk zien we dus dat de incrementele waarde enorm is gestegen. Dus uiteindelijk is dat een mooie bijvangst, een hele mooie bijvangst. Maar dat was niet de eerste instantie de bedoeling van ons experiment. In dit geval hebben wij dus echt een testaccount gebruikt. Is niet per se noodzakelijk. Want je kan natuurlijk ook bijvoorbeeld twee campagnes draaien in Nederland. Waarbij je ook een goede geosplittest maakt. Waarbij je gewoon Nederland in twee gelijkwaardige delen verdeelt. Dus in dit geval hebben we dat dus gedaan met een testaccount. Is niet per se nodig. Zal dus uiteindelijk wel wat invloed hebben op de setup. Want wij hebben bijvoorbeeld nu wel scripts gebouwd die in twee accounts draaien. Die dit allemaal met een account moeten combineren. Maar dat besimpelt het eigenlijk alleen maar. Als je het in één account houdt. Zolang er geen overlap in zit. Dan kan je het in dit geval redelijk goed testen. En kijken wat het voor je business kan betekenen. Ja, laatste tip denk ik die je erbij hebt. Sta stil bij je threshold. Welke grenswaarden ga je bepalen om producten bijvoorbeeld mee te laten doen in zo'n specifieke test? Voor onze klant was het in dit geval bijvoorbeeld wanneer een product vijf pond aan spend heeft gedaan. Maar dat ligt natuurlijk heel erg aan hoeveel producten heb je. hoe vaak worden welke producten op welke zoektermen vertoond zijn. Laat je dan een hele rit aan productvarianten zien of laat je maar één product zien. Dat hangt er heel erg vanaf. Dus daar moet je van tevoren goed over nadenken. Dus dat zijn denk ik voornamelijk die tips die we erover kunnen meegeven.

Spreker: Ruben Runneboom, Taskforce

Bronnen

Meer over AI & Marketing