Naar de inhoud
Alle video’s

Lokaal of cloud: kosten, hardware en welke taak waar hoort

HoofdstukAI ImplementatieDuur: 8:32 minVanaf 44:18 in de opname

Tachmy Dilmy, eCommerce AI Club

Uit de sessie: Maandelijkse Update okt 2026

Tachmy Dilmy vergelijkt de kosten van lokaal en cloud, laat zien wat een Mac aankan en bepaalt welke taken waar horen. Lokaal voor labelen, categoriseren en data met persoonsgegevens, de cloud voor complex werk. Hij sluit de maandelijkse update af met een oproep om het zelf te proberen.

Voor wie: Je wilt weten welke AI-taken je lokaal kunt doen en wat dat kost.

Hetzelfde moment

Waarom dit ertoe doet

Wie lokaal draait, betaalt eenmalig voor hardware en daarna vooral stroom. Wie de cloud gebruikt, betaalt per token. Tachmy zegt dat het goedkope lokale niveau nog niet bij de frontiermodellen komt, maar voor veel taken genoeg is. Dit hoofdstuk helpt je een eigen verdeling te maken: wat laat je lokaal, wat gaat naar de cloud. Hij raadt aan er een plan voor te maken en klein te beginnen.

Belangrijkste inzichten

  • Volgens Tachmy kost een Mac van 128 GB nu rond de 6.000 euro; instap begint bij 1.500 tot 2.000 euro.
  • Lokaal betaal je eenmalig voor hardware en daarna stroom; het is trager dan de cloud.
  • Kies lokaal voor labelen, categoriseren, OCR en data met persoonsgegevens; de cloud voor complex werk en video.
  • Grote retailers mixen lokaal experimenteren met cloud via Amazon Bedrock of Google Vertex.
  • Maak een plan voor welke taken lokaal draaien en begin klein, bijvoorbeeld met Claude Code op je laptop.

Kosten en hardware

Tachmy trok in zijn grafiek een lijn tussen kosten en wat je lokaal kunt draaien, met een Mac van maximaal 128 GB geheugen. Zo'n Mac kost volgens hem nu rond de 6.000 euro, en instapmodellen beginnen bij 1.500 tot 2.000 euro. Voor de allerhoogste intelligentie ga je naar GPU-systemen van 150.000 tot 200.000 dollar. Lokaal is het een eenmalige investering en betaal je daarna vooral stroom, al is het niet zo snel als de cloud. Grote retailers mixen volgens hem: experimenteren lokaal en uiteindelijk draaien via Amazon Bedrock of Google Vertex, met aparte API-keys waarop niet getraind wordt. Nederlandse retailers die alles lokaal doen, vond hij niet.

Welke taak waar

Er zijn nu modellen die één deterministisch antwoord geven, zoals 'blauw' of 'rood', in plaats van een lange tekst. Die draaien snel lokaal. Voorbeelden: klantenservice labelen in een beslisboom ('mijn jas past niet, kan ik ruilen?' gaat links of rechts), een pdf-factuur inlezen met lokale OCR, productdata opschonen en in de juiste categorie plaatsen. Voor labelen, analyses, categoriseren en data met persoonsgegevens kies je lokaal. Wie speciale API-keys krijgt waarop niet getraind wordt, kan voor ontwikkeling op de eigen codebase de duurste cloudmodellen gebruiken. Complex werk en videocreatie gaan naar de frontiermodellen.

Zelf proberen

Tachmy bestelde zelf een Mac Studio, met een lange levertijd. Heb je een MacBook, probeer dan lokaal te installeren; dat kan met Claude Code, door te vragen welke modellen je kunt draaien. Daarna kun je beslissen of je meer investeert, zodat een agent 24 uur lokaal werkt in een veilige omgeving. Hij sluit de update af en bedankt gastspreker Tom.

Probeer dit deze week

  1. Verdeel 5 taken in je bedrijf over lokaal of cloud, met als reden of er persoonsgegevens in zitten.
  2. Laat een klein lokaal model 50 supportvragen labelen met een vast antwoord (links of rechts) en tel hoeveel je zelf zou veranderen.

Begrippen

OCR
Technologie die tekst uit afbeeldingen of pdf's leest, zoals bij facturen.
Frontiermodel
De slimste en meest geavanceerde modellen van de grote aanbieders, die doorgaans alleen in de cloud draaien.

Verdiep je in de gids

Transcriptie

Uitgeschreven uit de audio van dit fragment. Stopwoorden en herhalingen zijn weggelaten. Waar [onverstaanbaar] staat, is de opname niet te verstaan.

Het heeft natuurlijk niet alleen maar voordelen en nadelen. Het heeft natuurlijk niet alleen maar nadelen. Het is, als je alles lokaal hebt draaien, mis je wel de intelligentie van de frontier modellen, de modellen die het allerslimst zijn. Ik heb hier een soort van grafiekje proberen te maken waarbij ik een lijn heb getrokken hier met de kosten, maar ook een beetje het segment wat je nog lokaal kan draaien. En dan heb ik het even genomen met wat is dan lokaal draaien. Dat is een Mac die je dan aan moet schaffen met max 128 giga heugen. Je kan nog verder gaan, maar dan wordt het echt explosief duur. Zo'n Mac kost nu nog, althans gestegen, rond de 6000 euro. Maar je kan ook al modellen draaien vanaf Macs, dat is het instap, 2000, 3000 euro. Je ziet die intelligentieniveaus daarvan gewoon steeds meer stijgen. Als je ervoor wil betalen, kan je ook de alleroogste intelligentie krijgen. Dan zit je op Claude Opus, GPT-6, Astra wat net uitgekomen is. Alleen je betaalt daar gewoon bij een miljoen tokens enorm veel geld voor. Je kan wel best wat intelligentie dus al lokaal krijgen, door dat gewoon lokaal op je eigen device te gaan draaien. En wil je echt hoog gaan naar deze intelligentieindex, dan ga je echt naar de GPU's toe, naar de devices toe, waarbij je gewoon makkelijk 150.000 dollar, 200.000 dollar voor gaat betalen. Dus dan heb je tegenover een hele andere ballpark, waarbij je dus niet meer in de consumentenprijzen zit, maar dan ga je echt naar waar de grote jongens dan allemaal hun dingen op draaien van NVIDIA. Je ziet ook alle grotere retailpartijen, alle grote merken, Die gaan eigenlijk allemaal een soort van mix doen met een stukje lokaal draaien. De modellen om dingen te experimenteren. Maar uiteindelijk gebeurt ook daar alles in de cloud. Niet met de standaard APIs die je dan hebt, maar dat is dan eigenlijk via Amazon, Bedrock of Google Vertex. Waarbij je speciale API-keys krijgt waar dan niet op getraind wordt. Extra security op zit en dat soort zaken. Daar betaal je dan ook net iets een ander bedrag voor. We gingen nog op zoek naar, zijn er nou Nederlandse retailers die alles echt lokaal proberen? Toen alles, ik had daar geen use cases van gevonden. Mochten jullie die tegenkomen, laat het weten. Zeker interessant om daarmee een keer te spreken. En als je dan kijkt, wat voor investering moet je nou doen? Lokaal versus de cloud. Als je lokaal je dingen wil draaien, heb je natuurlijk gewoon je hardware nodig. Een eenmalige investering van, het begint meestal bij 1500, 2000 euro. En dat loopt dan op tot, zo gek je als je het wil maken. Maar met 6000 euro kan je al best wel wat gave modellen lokaal draaien. Als je dat eenmaal hebt gekocht, heb je dus geen compute meer. Dan betaal je eigenlijk alleen nog maar je stroom. En dan heb je een bepaald intelligentieniveau wat je kan draaien. En dan kan je echt al gave dingen laten ontwikkelen. Palaatjes maken, video's genereren. En dat gebeurt dan eigenlijk allemaal lokaal. Gaat dat dan net zo snel als in de cloud? Nee, natuurlijk niet. Maar je betaalt dan ook geen computer meer. Dus je betaalt ook geen bedrag daar meer voor. Dus ik had een beetje gekeken naar, oké, wat is dan een gave setup voor wat je lokaal doet en wat je dan in de cloud gooit? Dan is er eigenlijk voor elk model, voor elke laptop met een bepaalde geheugenverloten, is er weer een passend model daarvoor. dus dat is ook altijd een beetje afwachten wat er past en hoeveel er hoe snel dat model ook draait op jouw device en dan hangt heel erg af ook van welke nou ja, niet alleen de grootte die je hebt, maar ook het aantal GPU's wat dan weer zit in jouw processor op jouw device en het ik heb er volgens mij hier zitten, ja, dat er ook steeds meer, dat er dus verschillende modellen uit te komen op verschillende doeleinden. En wat je nu ziet is dat er ook een model is waar in het verleden had je de modellen die alleen maar één ding konden en dat was een stukje tekst genereren op basis van jouw vraag. Dus als jij een vraag had, is deze t-shirt rood of blauw? Dan kreeg je gewoon heel vaak een antwoord terug deze t-shirt is rood. Deze t-shirt is blauw. Dan kreeg je nog heel veel onnodige tekst eromheen, terwijl je eigenlijk alleen maar het woord blauw wilde hebben. En daarvan zijn er ook nu nieuwe modellen uit, die dus heel snel lokaal ook gedraaid kunnen worden op jouw device, die dus gewoon één deterministisch antwoord daarvan kunnen maken van is het nou blauw of is het nou rood. En dat soort modellen kan je dus ook lokaal gaan draaien, waarbij ik een aantal voorbeelden daarvan heb proberen te maken. en dat is bijvoorbeeld voor het in de klantenservice is dat een soort van beslisboom ingaan, dat je dus een stuk tekst hebt met een voorbeeld, mijn jas die past niet, kan ik dit ruilen? Nou dan kijkt die naar alle informatie die daarvoor staat en dan geeft dat model gewoon aan, ja dat gaat dus linksaf die route in of rechtsaf die route in. Het kan ook gewoon voor hele simpele zaken gebruikt worden, Je gebruikt die lokale computer bijvoorbeeld om in de finance een pdf-factuur die eruit komt, dat je die inleest. Nou, lokale OCR is natuurlijk niet hele nieuwe Nifty-technologie, maar ook dat soort zaken hoef je dan niet meer naar de cloud toe te sturen. Maar kan je dus eigenlijk allemaal lokaal draaien. We hebben dus ook niet dat je dingen hoeft te anonimiseren en dat soort zaken, maar dan blijft eigenlijk alles gewoon lokaal op je eigen device. dingen als productdata opschonen in de juiste categorie plaatsen en dat soort zaken ook dat kan je dan veel meer naar lokaal trekken en eigenlijk zijn er dus voor jezelf te bepalen welke use cases je lokaal gaat doen dus zeker dit soort labelingachtige zaken analyses, categorisaties zeker als er nog wat persoonsgegevens zijn waarvan je niet wil dat het naar de cloud gaat Zorg ervoor dat je die lokaal gaat doen. Maar zeker het developpen op je codebase bijvoorbeeld. Als je daarvan die speciale API-keys kan verkrijgen waar ze niet mee trainen. Dan is het daarvoor wellicht handig om de allerduurste modellen voor te gebruiken. En dat je, noem het even, jouw lokale compute gebruikt voor de zaken die je dus niet wil dat ze jouw pand verlaten. en waarvan de intelligentieniveaus nu al heel veel kunnen. Dan kan je dat veel beter loslaten op je eigen lokale ontwikkeling en voor alle complexe, grotere zaken, videocreatie en dat soort zaken, dat je daarvan die frontier modellen dan gebruikt. Zeker leuk om mee te experimenteren, om dan vraagstukken, dat je zelf een plan kan gaan maken, wat er lokaal gedaan wordt versus wat er in de cloud gestuurd wordt. Ik heb zelf nu ook echt een hardware investering gedaan, om ook echt zo'n Mac Studio te bestellen. Een wijze lange levertijd, maar ook zeker de moeite waard om, in ieder geval als je een MacBook hebt, probeer het ook gewoon lokaal te installeren. Dat kan tegenwoordig heel makkelijk met een cloudcode, dat je daar aanvraagt welke modellen kan ik lokaal nu draaien. Het is onwijs leerzaam dat je daar ook een beetje ervaring mee op doet. En dan de grote stap te nemen of je daar nog meer investering in doet om nog grotere modellen lokaal te kunnen gaan draaien zodat je een agent niet in de cloud dan gaat draaien maar dat je 24 uur gewoon zelf dingen laat doen en dat gewoon binnen je eigen de veilige omgeving thuis. Of op de zaakbewijsgesproken. Zijn er nog vragen over dit onderwerp? Voordat wij af gaan sluiten. Nee? Dan wil ik je graag bedanken. Tom, sowieso bedankt om als gastspreker langs te komen. Wij zijn er volgende maand weer. Dank u in ieder geval voor het langskomen. En we zien u graag de volgende keer.

Spreker: Tachmy Dilmy, eCommerce AI Club

Meer over AI Implementatie