Gemini Computer Use: een agent achter je inlogscherm
Tachmy Dilmy, eCommerce AI Club
Uit de sessie: Maandelijkse Meeting okt 2025
Tachmy Dilmy van de eCommerce AI Club laat in oktober 2025 zien wat Gemini Computer Use is: een model dat een scherm bedient als een medewerker, ook als er geen API of koppeling bestaat. Je ziet een demo waarin een afspraak wordt ingepland in een booking-tool. Hij noemt een nauwkeurigheid van ongeveer 70 procent.
Voor wie: Je hebt repetitieve taken in systemen zonder API en wilt weten wat een scherm-bedienende agent nu kan.
Waarom dit ertoe doet
Veel e-commerceteams hebben taken die niemand automatiseert omdat het systeem geen API heeft: producten aanmaken bij een leverancier achter een login, gegevens overtypen uit een portaal, een order handmatig invoeren. Een agent die een browser bedient, maakt die taken in principe automatiseerbaar. Google presenteerde het model op 7 oktober 2025 als public preview, twee dagen voordat deze meeting plaatsvond. Tachmy is eerlijk over de grens: bij ongeveer 70 procent nauwkeurigheid mislukt ongeveer 3 op de 10 taken, en dat is te weinig voor een proces zonder controle. Hij verwacht dat het binnen enkele maanden richting 80 tot 90 procent gaat. Dat is zijn inschatting, geen toezegging van Google. Interessant voor teams met repetitief handwerk in legacy-systemen.
Belangrijkste inzichten
- Gemini 2.5 Computer Use bedient een browser met screenshots en acties, ook achter een login.
- Google maakte het model op 7 oktober 2025 beschikbaar als public preview via de Gemini API.
- Tachmy noemt ongeveer 70 procent nauwkeurigheid. Dat sluit aan bij Google's grafiek met 70% of meer.
- De 200 milliseconden van Tachmy staan tegenover ongeveer 225 seconden mediane latency in Google's grafiek, dus de eenheid is onzeker.
- Gebruik het model voor repetitieve taken zonder API, met controle door een mens.
Wat het model doet
Gemini 2.5 Computer Use is een model van Google DeepMind dat gebouwd is op Gemini 2.5 Pro. Het werkt in een lus. Je geeft een taak, een screenshot en de recente acties, en het model antwoordt met een handeling zoals klikken of typen. Jouw software voert die uit en stuurt een nieuwe screenshot terug. Google zegt dat het model vooral voor webbrowsers is geoptimaliseerd en dat het formulieren kan invullen, dropdowns en filters kan bedienen en achter een login kan werken. Voor besturing van een volledig besturingssysteem is het nog niet geoptimaliseerd. Het model werd op 7 oktober 2025 beschikbaar als public preview via de Gemini API in Google AI Studio en Vertex AI.
De demo in de clip
Tachmy gebruikt een voorbeeld van een afsprakentool voor een huisdierspa. De opdracht is een afspraak in te plannen op een bepaalde datum voor een klant. Links zie je wat het model op het scherm doet, rechts waarom: waar het op klikt en wat het erover heeft nagedacht. Hij vergelijkt het met een medewerker die een repetitief proces doorloopt dat je niet met een script kunt automatiseren. Met een muis en een scherm krijgt de agent een opdracht en gaat die volledig zelfstandig af. Tachmy noemt drie redenen waarom je dat nodig hebt: er is geen API, er is geen koppeling mogelijk, of er zit een zware login in.
Hoe nauwkeurig en hoe snel
Tachmy noemt 70 procent nauwkeurigheid en een reactietijd onder 200 milliseconden. De nauwkeurigheid komt overeen met Google: bij de grafiek in de aankondiging staat de beschrijving '70%+ accuracy' op een Online-Mind2Web-test van Browserbase. Bij de snelheid wijkt Google af. Dezelfde beschrijving noemt ongeveer 225 seconden mediane latency, en dat gaat over een volledige taak, niet over één API-antwoord. Het is mogelijk dat Tachmy de responstijd van één stap bedoelt. We konden dat niet verifiëren. Houd er rekening mee dat deze cijfers van Google komen en dat je eigen taken anders kunnen uitpakken.
Waar je het wel en niet voor gebruikt
Het past bij taken die weinig risico hebben als een stap misgaat: gegevens ophalen, concepten klaarzetten, een voorbeeldproces testen. Voor taken met geldstromen of klantgegevens is controle nodig voordat de uitkomst wordt gebruikt. Tachmy verwacht dat het in enkele maanden beter wordt, en noemt 80 tot 90 procent. Dat is een inschatting. Test daarom nu al op een klein proces, zodat je weet wat je nodig hebt als de nauwkeurigheid hoger is.
Probeer dit deze week
- Maak een lijst van 3 taken waarbij je nu handmatig in een portaal van een leverancier of marketplace werkt zonder API.
- Kies de taak met het laagste risico en test hem 10 keer in Google AI Studio met de Computer Use-demo van Browserbase.
- Noteer hoe vaak het fout ging en bepaal of dat aanvaardbaar is met een controle erachter.
Begrippen
- API
- Een koppelpunt waarmee software met andere software praat zonder dat een mens het scherm bedient.
- Computer Use
- Een model dat een computerscherm bedient met klikken en typen, op basis van screenshots.
- Legacy-systeem
- Een oud of afgesloten systeem zonder moderne koppelingen.
- Latency
- De tijd tussen een opdracht en het antwoord.
Verdiep je in de gids
Transcriptie
Uitgeschreven uit de audio van dit fragment. Stopwoorden en herhalingen zijn weggelaten. Waar [onverstaanbaar] staat, is de opname niet te verstaan.
Google is eigenlijk enorm goed bezig met verschillende APIs die ze aanbieden. Zij hebben een API nu gemaakt die een gebruiker volledig kan simuleren. Dus dan denk aan dat je een product moet aanmaken in een systeem waar geen API voor beschikbaar is. Denk aan dat jij producten inkoopt bij een leverancier van je waar geen directe koppeling voor mogelijk is. Dat je dat echt zelf nog moet doen met de hand, met een gebruiker erachter. Ze hebben een nieuwe API uitgebracht die enorm accuraat werkt. Dus die maakt relatief weinig fouten. En dat is dan 70%. Dus daar zit echt nog wel wat beterslag in. En die reageert best wel snel. Dus in minder dan 200 milliseconden komt een reactie weer terug van die API. En als voorbeeld is hier een filmpje. Dit is een boekingstool. En aan de Gemini API is dus gevraagd. maak een afspraak op een bepaalde datum voor deze klant in dit systeem. Vervolgens zie je aan de linkerkant wat hij daadwerkelijk doet, en aan de rechterkant zie je eigenlijk dat hij erover nagedacht heeft, wat hij dan exact gedaan heeft, waar hij op geklikt heeft. Dus zie dit eigenlijk als een medewerker die dus een repetitief proces doorheen gaat, wat niet geautomatiseerd kan worden met een script. Dan zou je dan Gemini Computer Use voor gebruiken. Het is dan eigenlijk gewoon een gebruiker van een computer geworden, met een muis en een scherm. die dan een opdracht meekrijgt, en daar gewoon volledig autonoom doorheen kan gaan. Dus dit zijn met name interessant om workflows te automatiseren, die voorheen niet geautomatiseerd konden worden, omdat er nog geen API voor beschikbaar is, of nog geen koppeling voor mogelijk is, of omdat er een zware log in zit, en dat soort zaken. Het is enorm leuk om op te volgen ook, en wellicht nog niet bruikbaar met 70% accuraatheid, maar wellicht over een paar maanden zal dat richting die 80-90% gaan.
Spreker: Tachmy Dilmy, eCommerce AI Club
Bronnen
Meer over AI Agents & Shopping
Duur 0:48Desktop Commander, Claude ruimt je bureaublad op
Jop van Hooft, eCommerce AI Club
Claude ruimt zelfstandig je bureaublad op, en controleert zichzelf
Duur 1:35MCP: koppel al je tools aan AI
Jop van Hooft, eCommerce AI Club
Na een jaar MCP kun je nu Shopify, Moneybird en Gmail aan je AI koppelen
Duur 1:46Shopify Agentic Storefronts: het einde van SEO?
Tachmy Dilmy, eCommerce AI Club
Shopify opent je checkout voor AI-bots, is dit het einde van je eigen webshop?