Lokaal of cloud: kleine AI-modellen kunnen nu genoeg
Tachmy Dilmy, eCommerce AI Club
Uit de sessie: Maandelijkse Update okt 2026
Tachmy Dilmy legt uit waarom AI-modellen steeds vaker lokaal kunnen draaien. Kleine modellen zijn slimmer geworden, een model van 20 GB volstaat voor een aardige chat en spraak-naar-tekst past in 164 MB. Hij zet er de nadelen van de cloud naast: weigeringen, verplichte modelwissels en datalekken.
Voor wie: Je wilt weten waarom lokaal draaien van AI-modellen nu realistisch is en welke nadelen de cloud heeft.
Waarom dit ertoe doet
Intelligentie wordt goedkoper, maar het tokengebruik stijgt harder, dus je rekening in de cloud kan alsnog oplopen. Tachmy ziet daarnaast dat clouddiensten het gedrag kunnen bepalen: modellen weigeren soms werk, een model kan verdwijnen en gegevens kunnen lekken. Lokaal bepaal je dat zelf. Dit hoofdstuk geeft de redenen om lokaal serieus mee te nemen, voordat je beslist wat waar draait.
Belangrijkste inzichten
- Of een model lokaal past hangt af van je geheugen; Gemma 4 31B past op een laptop met 32 GB, en circa 20 GB is nodig voor een aardige chat.
- Het spraakmodel Phonon-2 is 164 MB groot en kan meerdere talen naar tekst omzetten.
- Volgens zijn slide is GPT-3.5-niveau 280 keer goedkoper geworden, maar het tokengebruik groeit sneller.
- Cloudmodellen kunnen weigeren, verdwijnen of lekken; lokaal bepaal je dat zelf.
- Het beste model is soms alleen toegankelijk voor geaccrediteerde bedrijven, aldus Tachmy.
Kleine modellen zijn goed genoeg geworden
Of je een model lokaal kunt draaien hangt vooral af van je geheugen, zegt Tachmy. Kleine modellen zijn slimmer geworden en alle grote partijen brengen naast gesloten ook open modellen uit, zoals Google met Gemma 4. Een model met 31 miljard parameters past op een laptop met 32 GB, en je hebt volgens hem zo'n 20 GB nodig voor een aardige chat, wat codeerwerk en deep research. Het spraakmodel Phonon-2 is 164 MB groot en zet meerdere talen om in tekst. Macs zijn duurder geworden door tekorten aan geheugen. Het niveau van de grootste modellen uit 2022 draait nu op een laptop; volgens zijn slide is GPT-3.5-niveau 280 keer goedkoper geworden.
Goedkoper, maar meer tokens
Per token wordt het goedkoper, maar het gebruik neemt sterk toe, ook omdat agents 24 uur draaien en mensen modellen voor dagelijkse zaken gebruiken. Aanbieders maken abonnementen duurder of geven minder. Wie alles naar de cloud brengt, betaalt dus meer.
Afhankelijkheid en privacy
Het beste model is volgens Tachmy soms alleen voor geaccrediteerde bedrijven, en nieuwe Claude-modellen weigeren vaker een opdracht, ook in zijn eigen scrapingwerk. Er bestaan benchmarks voor weigeren. Met een lokaal model kies je zelf wanneer je naar een nieuwe versie gaat; bij de cloud bepaalt de aanbieder wanneer een model eruit gaat en moet je je infrastructuur aanpassen. Daarnaast noemt hij datalekken, de meldingen bij de Autoriteit Persoonsgegevens en gedeelde gesprekken van ChatGPT, Grok en Claude die in een sitemap te vinden bleken. Wie lokaal draait, bepaalt zelf wat er met de data gebeurt.
Probeer dit deze week
- Vraag Claude Code welke modellen je op je eigen laptop kunt draaien en installeer er 1 om mee te experimenteren.
- Noteer welke 3 taken in je bedrijf persoonsgegevens bevatten en die je liever niet naar een clouddienst stuurt.
Begrippen
- Parameter
- Een instelwaarde in een AI-model; het aantal (zoals 31 miljard) geeft grofweg de grootte van het model aan.
- Unified memory
- Het gedeelde geheugen van een Mac dat zowel processor als grafische chip gebruiken, en dat bepaalt hoe groot een lokaal model mag zijn.
- Open model
- Een AI-model waarvan de gewichten openbaar zijn, zodat je het zelf kunt draaien.
Verdiep je in de gids
Transcriptie
Uitgeschreven uit de audio van dit fragment. Stopwoorden en herhalingen zijn weggelaten. Waar [onverstaanbaar] staat, is de opname niet te verstaan.
Yes, dankjewel Jop. Ja, waar we het net gehad hebben over al die agents die in de cloud draaien, had ik aan mezelf ook de vraag gesteld van, hey, je kan alles in de cloud doen, je kan ook steeds meer modellen lokaal draaien op je eigen device en of dat dan een Mac is of een PC, het gaat daar vooral om hoeveel geheugen heb je beschikbaar, hoeveel unified memory en hoeveel daarvan kan je in de cloud doen. gebruiken om een AI-model op te draaien. En wat we zien is dat eigenlijk kleine modellen steeds slimmer zijn geworden, doordat er steeds meer compute tegen aangegooid is. Het is al innovatie op innovatie die nu zeg maar plaatsvindt dat modellen dus kleiner kunnen worden, maar nog steeds veel meer intelligentie kunnen bevatten. Alle partijen die hebben naast een soort van gesloten model gaan ze ook steeds vaker open modellen uitbrengen. Zo heeft Google Gemma 4 modellen. En modellen worden heel vaak geïntroduceerd in een bepaalde, noem het even geheugengroot, hoeveel parameters zitten erin. Dus dan heb je een Gemma 4 31b, staat voor 31 billion, 31 miljard parameters. Dat past dus op een laptop waarbij je 32 gigabyte geheugen vrij hebt. En je hebt altijd op mijn laptop geheugen nodig om jouw OS te draaien. En een gedeelte daarvan kan je dan gaan gebruiken om in te zetten voor een AI-model. Macs zijn de laatste tijd enorm in prijs gestegen door de tekorten aan geheugenprijzen. En dit verklaart ook de enorme stijging in die geheugenprijzen. Doordat AI-modellen lokaal draaien ook steeds populairder aan het worden is. AI-modellen trainen en dat soort zaken. En als je dan kijkt naar hoe groot is dan een model waar je iets mee kan. Je hebt zo'n 20 gigabyte nodig om een GM4-model te draaien, waar je toch een aardige chat mee kan maken, gesprekken mee kan voeren, toch wat codeontwikkeling voor jou kan doen, vragen kan stellen, deep research te laten doen. En 164 MB, dit is het meest recente model wat aangekondigd is, om spraak op te zetten in tekst. Phonon 2 heet, en ik heb het zelf ook gedraaid. Het is bizar dat het met 164 MB, waar het eigenlijk al bijna op ieder device kan draaien wat je thuis hebt zitten, en dat die dan toch heel goed meerdere talen om kan zetten in een tekst, waardoor je dat soort dingen dus niet meer in de cloud hoeft te doen, of met hele zwaardere modellen zoals Whisper. Maar je kan dan eigenlijk een relatief oud device ook gaan gebruiken om niet text-to-speech, maar speech-to-text te gaan doen. Doordat die modellen steeds slimmer worden, zien we ook dat sinds 2002, als je nou vergelijkt, dan is de intelligentie van 2022, waar de grootste modellen toen nog draaiden, kan je nu eigenlijk al op een laptop draaien. Dat betekent dat het, gpt 3.5 hebben we het dan over, het is gewoon 280 keer goedkoper geworden. Dus het berekenen van een token wordt eigenlijk gewoon veel makkelijker en dat verandert. dat wordt gewoon steeds makkelijker om te draaien en daarmee wordt het dus ook goedkoper om dezelfde intelligentie te hebben maar het token gebruik gaat aan de andere kant ook veel meer omhoog we vragen steeds meer aan de modellen als je dan ook ziet naar die ontwikkeling dat agents 24 uur draaien ja vind je het gek dat die token berekening explodeert en je ziet dat bij ieder model, al die partijen overal zie je enorme token groei omdat we het niet alleen maar gebruiken om business zaken te doen maar ook de dagelijkse zaken. Therapy is enorm groot. Adviesvragen in je persoonlijke leven over sportvoeding en dat soort zaken. Daar zie je ook enorme vogelvlucht in. Dus het wordt steeds intelligenter voor dezelfde CPU-power, als je het zo omschrijft. Tegelijkertijd wordt het ook gewoon steeds duurder. Je ziet dat die partijen de abonnementen steeds duurder maken of steeds minder, je moet even waar krijgen voor je geld. Ze maken de modellen slimmer, maar ondertussen ga je wel steeds meer tokens verbranden en een steeds hogere prijs betalen als je alles in de cloud gaat. Er is ook nog wat nadelen natuurlijk, als je alles naar de cloud brengt, in die cloud modellen, dat zie je in die nieuwe modellen die aangekondigd zijn. Gemini 4, van Google, enorm slim, het allerbeste model wat er nu is in de markt. Claude Mythos, maar die modellen zijn er alleen maar voor, voor geaccrediteerde bedrijven. Omdat ze nog bang zijn wat er allemaal mee gedaan kan worden. Je ziet dat nu ook met die nieuwe modellen van Cloud. Ze gaan steeds vaker jouw opdracht weigeren. Een groot gedeelte gaat natuurlijk gewoon door. We maken een 3D-spel over whatever. Dat soort dingen gaan allemaal prima. Maar zit je net op de scheidslijn tussen securitywerk, zelfs in het werk waarin wij zitten. Ik heb nog een softwarebedrijf in Scraping. Daar zie je dus al heel vaak van, ik kan dit niet doen, want dit gaat tegen de, noem maar op, of het dan terms of service is, of wat dan ook. Je ziet gewoon steeds vaker allerlei benchmarks, en er zijn dus ook nieuwe benchmarks ontstaan, en dat is een soort van de weigerbenchmark. Welk model is er dus dusdanig, laat zoveel mogelijk toe. En je ziet vaak dat die modellen als LLM al dingen gaan weigeren, en vaak zie je ook gewoon dat de harness, dus Claude Code is bijvoorbeeld een harness, waarbij je een LLM aanstuurt, zie je ook al gebeuren dat daar ook beveiliging in zit, dat die ook steeds minder vragen wil gaan beantwoorden. En als je dat dus allemaal lokaal gaat draaien, een LLM, dan kan je dat zelf ook gaan bepalen, want als je alles in de cloud doet. Het voordeel is dan ook nog, als je alles lokaal hebt draaien, bepaal je ook zelf wanneer je overgaat naar een nieuwe versie. Het komt wel vaak voor dat je net alles hebt ingericht op een bepaald model, maar dat open en jij dan besluit, oké, dit model gaat eruit, jongens, het is een sunrise en een sunset periode over twee weken moet je je model weer aanpassen dan moet je weer jouw hele infrastructuur aanpassen doordat zij bepalen dat een LLM eruit gaat nog wat nadelen van alles naar de cloud te brengen is natuurlijk alle datalekken die er dan ook kunnen ontstaan autoriteit, persoonsgegevens, krijg je continu meldingen over noem het gemeentes die per ongeluk iets hebben geüpload Cloud die traint, niet alleen Cloud, maar ook heel veel AI bedrijven die trainen ook hun modellen op de gratis varianten die in de cloud gedraaid worden. Als je daarmee je chatberichten hebt. En wat er ook heel vaak gebeurt, dat is zowel bij ZGPT als bij Grok gebeurd. En ook zelfs bij Cloud, dat je, als je dan in de sitemap kijkt van die partijen, dat je gewoon gedeelde gesprekken kan zien die je gevoerd hebt met jouw chat-CPT, die dan gedeeld zijn in een linkje, waarvan je niet per se dat hebt gepubliceerd ergens, maar dat zelfs die data dan ook ergens online staat. En dat zijn dan toch de nadelen van als dat dan echt in de Cloud staat, hoeft het helemaal niet de slechte bedoeling te zijn geweest dat dat uitgelekt wordt, maar dat er dan toch gegevens, noem het even, op straat komen te liggen. En als je dat allemaal lokaal hebt draaien, dan kan je natuurlijk zelf bepalen wat je ermee doet. Hoe ver dat gaat.
Spreker: Tachmy Dilmy, eCommerce AI Club
Meer over Security & Beleid
Duur 1:20Wat NOOIT te delen met AI
Jop van Hooft, eCommerce AI Club
API-keys worden net zo makkelijk gedeeld als lunchplannen, en dat is gevaarlijk
Duur 1:37Te ruime toegangsrechten bij AI-agents
Joey van Griethuijsen, HumanAgent
n8n's eigen website gaf een AI-agent onnodig toegang tot Entra en Jira
Duur 1:42Data classificatie: hash, postcode en deep links
Jop van Hooft, eCommerce AI Club
Hash je e-mails, bewaar 4 cijfers postcode, deep-link naar Magento