RAG: zo zoekt ChatGPT op internet, vooral via Bing
Jarik Oosting, SmartRanking
Uit de sessie: Specialists: LLM Ready Website
Jarik Oosting van SmartRanking legt in de Specialists-sessie over de LLM-ready website uit hoe een taalmodel aan actuele informatie komt. Je ziet welke zoekopdrachten ChatGPT maakt van een vraag over een camera en waar die zoekopdrachten terechtkomen. Voor wie wil begrijpen waarom Bing ertoe doet.
Voor wie: Je wilt weten hoe ChatGPT aan actuele prijzen en producten komt en waarom Bing daarbij meetelt.
Waarom dit ertoe doet
Een taalmodel weet niets na zijn cut-off-datum. Voor GPT-5 is dat volgens OpenAI 30 september 2024. Prijzen, voorraad en levertijden van je webshop haalt een model dus live op, via een zoekindex. Komt je pagina niet in die index voor, of staat de informatie er slecht in, dan bestaat je aanbod niet voor dat antwoord. Jarik Oosting zegt dat ChatGPT daarvoor vooral de index van Bing gebruikt. OpenAI noemt Bing zelf als zoekpartner in zijn documentatie voor zakelijke accounts. Veel webshops kijken alleen naar Google. Een Bing Webmaster Tools-account is gratis en laat zien hoe Bing je site ziet.
Belangrijkste inzichten
- Een taalmodel kent geen prijzen of voorraad na zijn cut-off; voor GPT-5 is dat 30 september 2024.
- Met RAG zoekt het model live via een zoekindex en neemt het gevonden informatie mee in het antwoord.
- ChatGPT maakte van 1 vraag over een camera 2 zoekopdrachten: een Nederlandse en een Engelse.
- Volgens Jarik Oosting haalt ChatGPT de meeste informatie uit Bing via een API, onzichtbaar in Bing Webmaster Tools.
- OpenAI noemt Bing als zoekpartner voor Enterprise- en Edu-accounts en beschrijft dat het je vraag herschrijft in zoekopdrachten.
Waarom een taalmodel dom is over je aanbod
Een taalmodel is getraind op documenten tot een bepaalde datum. Algemene vragen beantwoordt het uit die kennis. Vraag je naar een prijs, voorraad of levertijd, dan weet het model dat niet. Vroege modellen gingen dan gokken, omdat ze beloond werden voor een antwoord, en die antwoorden klopten niet. De oplossing heet Retrieval Augmented Generation (RAG): het model zoekt op internet, meestal via de index van een zoekmachine, en neemt wat het vindt mee in het antwoord. Jarik Oosting zegt dat je geen RAG-expert hoeft te zijn, maar wel moet weten dat het zo werkt.
AI Mode en ChatGPT zoeken anders
Zijn voorbeeld is een vraag naar de prijs van een Canon-camera en waar je die snel geleverd krijgt. AI Mode zoekt in de eigen index van Google, met alle data en datacenters van Google erachter. ChatGPT zet je prompt eerst om in zoekopdrachten. In de JSON-respons van ChatGPT zie je die terug: één Nederlandse zoekopdracht met 'Nederland' erachter en één Engelse versie van dezelfde vraag. OpenAI beschrijft dit in zijn helpcentrum: ChatGPT-search herschrijft je vraag in een of meer gerichte zoekopdrachten voor een zoekpartner. Google doet iets vergelijkbaars en noemt het query fan-out.
Bing, Google en scrapers
Er wordt vaak gezegd dat ChatGPT de index van Google gebruikt. Volgens Jarik klopt dat voor een deel. ChatGPT gebruikt ook SERP-API's die resultaten uit Google scrapen, maar dat is duur. De meeste informatie haalt ChatGPT volgens hem uit Bing, via een API-koppeling. Die zoekopdrachten zie je daarom niet terug in Bing Webmaster Tools. OpenAI zegt in zijn documentatie voor Enterprise- en Edu-accounts dat zoekopdrachten zonder accountgegevens met Bing worden gedeeld. Voor gewone accounts noemt OpenAI 'zoekpartners' zonder namen. De verhouding tussen Bing en Google is dus de inschatting van Jarik, geen cijfer van OpenAI.
Wat je ermee doet
Als ChatGPT via Bing zoekt, telt je zichtbaarheid in Bing mee. Later in de sessie raadt Jarik aan om een Bing Webmaster Tools-account aan te maken en de gemelde problemen op te lossen, zoals een ontbrekende H1. Zorg daarnaast dat prijs, voorraad en levertijd als tekst op je productpagina staan, zodat een opgehaalde pagina die feiten ook bevat. Let op: de zoekopdrachten van een model kunnen Engelstalig zijn, ook als de klant in het Nederlands vraagt.
Probeer dit deze week
- Maak een gratis Bing Webmaster Tools-account aan, dien je sitemap in en los de 5 belangrijkste gemelde problemen op.
- Zoek je 3 bestverkopende producten op in Bing en kijk of je productpagina met prijs en voorraad verschijnt.
- Stel dezelfde productvraag in het Nederlands en in het Engels aan ChatGPT en vergelijk welke winkels genoemd worden.
Begrippen
- RAG
- Retrieval Augmented Generation: het model zoekt eerst informatie op en gebruikt die bij het schrijven van het antwoord.
- Cut-off-datum
- De datum tot waar de trainingsdata van een model loopt; daarna weet het model niets meer zonder op te zoeken.
- SERP-API
- Een dienst die zoekresultatenpagina's van bijvoorbeeld Google ophaalt en als data teruggeeft.
- Query fan-out
- Eén vraag opsplitsen in meerdere zoekopdrachten over deelonderwerpen.
Transcriptie
Uitgeschreven uit de audio van dit fragment. Stopwoorden en herhalingen zijn weggelaten. Waar [onverstaanbaar] staat, is de opname niet te verstaan.
Daar is een oplossing voor, dat heet Retrieval Augmented Generation Wat het eigenlijk wil zeggen is dat een LLM op het internet gaat zoeken, vaak via een index van een zoekmachine Informatie van het internet haalt en dat meeneemt in het antwoord dat een LLM geeft En RAG, dat onderwerp is wel heel belangrijk om te weten, je hoeft er geen expert in te zijn geen wetenschapper als het ware die alles over RAG weet, maar weet wel dat RAG een heel belangrijk onderdeel is van LLMs, omdat een LLM eigenlijk dom is. En die RAG is noodzakelijk om een goed antwoord te genereren. Je kan het ook zien als je AI-mode of ChatGPT gebruikt. Stel ik vraag bijvoorbeeld of ze het prijst van een Canon EOS R4, en waar kan ik het snel geleverd krijgen, dan gaat een LLM dit geval AI-mode op het internet zoeken. AI-mode doet dat natuurlijk via de index van Google, en dat is het voordeel van Google, die hebben alle data en een hele goede index en overal datacenters. Via ChatGPT gebeurt het op een heel iets andere manier. Je kunt in ChatGPT in een JSON-respons zien welke queries ChatGPT gebruikt om te zoeken, want wat ChatGPT eigenlijk doet bij RAG is dat jouw prompt als het ware wordt omgezet in zoekqueries, En daarmee gaat ChatGPT in een index van een zoekmachine zoeken. Je ziet hier twee queries bij dezelfde vraag. Dus deze vraag, maar dan in ChatGPT. En kennen de prijs en waar snel geleverd krijgen? Nederland zet hij erbij. En hier zoekt hij nog een keer in het Engels ook naar dezelfde informatie. Er wordt gezegd dat ChatGPT Google's index gebruikt. Dat klopt voor een deel. ChatGPT wijkt af en toe uit naar de index van Google maar het is ook goed om te weten dat ChatGPT nog steeds wel de indexen van Bing ook gebruikt dat wil niet zeggen dat ChatGPT live, zoals wij dat allemaal in Bing zouden doen gaat zoeken in Bing er zit een API koppeling tussen ChatGPT en Bing waarmee ChatGPT eigenlijk informatie ophoudt haalt uit de index, uit het ecosysteem van Bing dus je gaat dat niet terugzien in je Bing Webmaster Tools of wat dan ook dat gebeurt gewoon onder de radar ChatGPT maakt ook gebruik van een aantal SERP-APIs om die informatie vanuit Google te scrapen, maar dat is vrij duur. En dat gebeurt wel voor een deel, maar ChatGPT haalt met name wel die informatie vanuit Bing.
Spreker: Jarik Oosting, SmartRanking
Bronnen
Meer over AI & Marketing
Duur 0:41UGC van de toekomst is nep, en dat is oké
Tachmy Dilmy, eCommerce AI Club
Die user generated video op TikTok? Volledig door AI gemaakt
Duur 0:525 tips om te starten met AI video
Tachmy Dilmy, eCommerce AI Club
Begin klein met AI video, deze 5 tips helpen je op weg
Duur 0:43Van productfoto naar sfeerbeeld met AI
Jan Karel Ekkel, Kees Smit Tuinmeubelen
Van kale productfoto naar sfeerbeeld met AI, live demo bij Kees Smit