Welke AI-taken draai je lokaal en welke in de cloud?
Tachmy Dilmy, eCommerce AI Club
Uit de sessie: Maandelijkse Update okt 2026
Tachmy Dilmy sluit de sessie van 8 oktober 2026 af met de vraag welk AI-werk op je eigen computer kan blijven. Hij laat zien dat er modellen zijn die kiezen in plaats van lappen tekst schrijven, en welke webshoptaken je daardoor lokaal kunt draaien. Voor wie klantgegevens liever niet naar de cloud stuurt.
Voor wie: Je wilt bepalen welke AI-taken met klant- of financiële gegevens je beter op je eigen hardware houdt.
Hetzelfde moment
- Hoofdstuk van 8:32 min: Lokaal of cloud: kosten, hardware en welke taak waar hoort
Waarom dit ertoe doet
Elke keer dat je een klantmail, factuur of cv naar een cloudmodel stuurt, verlaten die gegevens je bedrijf. Tachmy stelt voor om sorteer- en labelwerk lokaal te doen en de zware taken in de cloud. Vlak voor de clip noemt hij wat lokaal kost: hardware vanaf ongeveer 1.500 tot 2.000 euro, en met 6.000 euro draai je volgens hem al goede modellen. Daarna betaal je vooral stroom. Voor de cloud wijst hij op zakelijke routes zoals Amazon Bedrock of Google Vertex. Amazon schrijft in de Bedrock-FAQ dat je content niet wordt gebruikt om de basismodellen te verbeteren en niet wordt gedeeld met modelleveranciers.
Belangrijkste inzichten
- Nieuwe beslismodellen kiezen een antwoord uit vaste opties, zoals Cloudflare Clef dat sinds 30 september 2026 op Hugging Face staat.
- Labelen, routeren van klantmails, facturen inlezen en productdata categoriseren zijn volgens Tachmy taken voor lokaal.
- Taken met persoonsgegevens houd je lokaal, dan hoef je ook niets te anonimiseren.
- Code schrijven en video maken laat hij bij frontier-modellen in de cloud, via API-sleutels waarop niet wordt getraind; Amazon Bedrock belooft dat in zijn FAQ.
- Lokaal draaien begint volgens de spreker rond 1.500 tot 2.000 euro aan hardware, en met 6.000 euro draai je al goede modellen.
Modellen die beslissen in plaats van schrijven
Een gewoon taalmodel schrijft tekst. Vraag je of een t-shirt rood of blauw is, dan krijg je een zin terug met extra tekst eromheen, terwijl je alleen 'blauw' wilt. Tachmy wijst op nieuwe modellen die één vast antwoord kiezen uit de opties die jij geeft. Zijn slide heet 'Modellen die beslissen, niet schrijven'. Een voorbeeld dat we konden nakijken is Clef van Cloudflare, sinds 30 september 2026 op Hugging Face. Volgens de modelkaart krijgt Clef een situatie en een lijst vragen met toegestane antwoorden en geeft het voor elke optie een kans terug, zonder vrije tekst. Clef zelf heeft 27 miljard parameters en is getest op een zware datacenterkaart; er is ook een kleinere variant, Clef-Flash. Of zo'n model op jouw laptop draait, hangt dus af van je geheugen.
Wat je lokaal kunt doen
Tachmy noemt in de clip vier soorten taken. In de klantenservice laat je een lokaal model een mail als 'mijn jas die past niet, kan ik dit ruilen?' naar de juiste route sturen. Op zijn slide wordt die mail een label retour met reden maat, en de naam wordt vervangen door [NAAM]. In finance lees je een pdf-factuur in en haal je bedrag, btw, IBAN en vervaldatum eruit; lokale OCR bestaat al langer, zegt hij. Bij productdata schoon je leveranciersregels op en plaats je producten in de juiste categorie, zoals 'HB-JKT-M-NVY winterjas heren navy m' naar Jassen > Heren, kleur navy, maat M. De voorbeelden op de slide gebruiken verzonnen gegevens. Zijn vuistregel: labelen, analyseren en categoriseren, zeker met persoonsgegevens, doe je lokaal. Dan hoef je ook niets te anonimiseren.
Wat naar de cloud mag
Voor het ontwikkelen op je codebase raadt Tachmy de duurste modellen aan, mits je via speciale API-sleutels werkt waarop de aanbieder niet traint. Ook complexe taken zoals video maken laat hij bij de grote frontier-modellen in de cloud. Vlak voor de clip vertelt hij dat grote retailers en merken volgens hem een mix doen: lokaal experimenteren, en de productie in de cloud via Amazon Bedrock of Google Vertex, met extra beveiliging. Hij zocht naar Nederlandse retailers die alles lokaal draaien, maar vond geen voorbeelden.
Wat lokaal kost
De bedragen in deze sectie zijn schattingen van de spreker. Een instap kost volgens hem 1.500 tot 2.000 euro, en voor 6.000 euro heb je al een machine die goede modellen draait. Daarna betaal je geen rekentijd meer, alleen stroom. Wil je het niveau van de beste modellen, dan kom je bij servers met GPU's van NVIDIA voor 150.000 tot 200.000 dollar. Lokaal is langzamer dan de cloud. Tachmy bestelde zelf een Mac Studio en raadt aan om op een MacBook eerst te proberen welke modellen draaien.
Probeer dit deze week
- Maak een lijst van 10 AI-taken in je bedrijf en zet bij elke taak of er persoonsgegevens in zitten.
- Kies één labeltaak, bijvoorbeeld retourredenen uit vrije tekst, en test op een laptop of een lokaal model die goed sorteert.
- Vraag bij je AI-leverancier na of jouw data wordt gebruikt voor training en leg het antwoord schriftelijk vast.
Begrippen
- Lokaal model
- Een AI-model dat op je eigen computer of server draait, zodat de gegevens je pand niet verlaten.
- Frontier-model
- Een van de grootste en slimste AI-modellen van partijen als OpenAI, Anthropic of Google, meestal alleen via de cloud te gebruiken.
- OCR
- Tekstherkenning: software die tekst uit een scan of pdf haalt, zoals bedragen op een factuur.
- Beslismodel
- Een model dat geen vrije tekst schrijft maar een keuze maakt uit opties die jij vooraf vastlegt.
Verdiep je in de gids
Transcriptie
Uitgeschreven uit de audio van dit fragment. Stopwoorden en herhalingen zijn weggelaten. Waar [onverstaanbaar] staat, is de opname niet te verstaan.
In het verleden had je de modellen die alleen maar één ding konden en dat was een stukje tekst genereren op basis van jouw vraag. Dus als jij een vraag had, is deze t-shirt rood of blauw? Dan kreeg je gewoon heel vaak een antwoord terug, deze t-shirt is rood, deze t-shirt is blauw. Dan kreeg je nog heel veel onnodige tekst eromheen, terwijl je eigenlijk alleen maar het woord blauw wilde hebben. En daarvan zijn er ook nu nieuwe modellen uit die dus heel snel lokaal ook gedraaid kunnen worden op jouw device. Die dus gewoon één deterministisch antwoord daarvan kunnen maken. Van is het nou blauw of is het nou rood? En dat soort modellen kan je dus ook lokaal gaan draaien. Waarbij ik een aantal voorbeelden daarvan heb proberen te maken. En dat is bijvoorbeeld voor het, in de klantenservice is dat, een soort van beslisboom ingaan. Dat je dus een stuk tekst hebt met een voorbeeld. Mijn jas die past niet, kan ik dit ruilen? Nou, dan kijkt die naar alle informatie die ervoor staat. En dan geeft dat model gewoon aan, ja, dat gaat dus linksaf die route in, of rechtsaf die route in. Het kan ook gewoon voor hele simpele zaken gebruikt worden. Je gebruikt die lokale computer bijvoorbeeld om in de finance een pdf-factuur die eruit komt, dat je die inleest. Nou, lokale OCR is natuurlijk niet hele nieuwe Nifty-technologie, maar ook dat soort zaken hoef je dan niet meer naar de cloud toe te sturen. Maar kan je dus eigenlijk allemaal lokaal draaien we hebben dus ook niet dat je dingen hoeft te anonimiseren en dat soort zaken maar dan blijft eigenlijk alles gewoon lokaal op je eigen device dingen als productdata opschonen in de juiste categorie plaatsen en dat soort zaken ook dat kan je dan veel meer naar lokaal trekken en eigenlijk zijn er dus voor jezelf te bepalen welke use cases je lokaal gaat doen dus zeker dit soort labeling Achtige zaken, analyses, categorisaties. Zeker als er nog wat persoonsgegevens zijn. Waarvan je niet wil dat het naar de cloud gaat. Zorg ervoor dat je die lokaal gaat doen. Maar zeker het developpen op je codebase bijvoorbeeld. Als je daarvan die speciale API-keys kan verkrijgen. Waar ze niet mee trainen. Dan is het daarvoor wellicht handig om de allerduurste modellen voor te gebruiken. En dat je, noem het even, jouw lokale compute gebruikt voor de zaken die je dus niet wil dat ze jouw pand verlaten en waarvan de intelligentieniveaus nu al heel veel kunnen. Dan kan je dat veel beter loslaten op je eigen lokale ontwikkeling en voor alle complexe, grotere zaken, videocreatie en dat soort zaken dat je daarvan die frontier modellen dan gebruikt.
Spreker: Tachmy Dilmy, eCommerce AI Club
Bronnen
Meer over Security & Beleid
Duur 1:20Wat NOOIT te delen met AI
Jop van Hooft, eCommerce AI Club
API-keys worden net zo makkelijk gedeeld als lunchplannen, en dat is gevaarlijk
Duur 1:37Te ruime toegangsrechten bij AI-agents
Joey van Griethuijsen, HumanAgent
n8n's eigen website gaf een AI-agent onnodig toegang tot Entra en Jira
Duur 1:42Data classificatie: hash, postcode en deep links
Jop van Hooft, eCommerce AI Club
Hash je e-mails, bewaar 4 cijfers postcode, deep-link naar Magento