Naar de inhoud
Alle video’s

Open chatbot misbruikt: wakker worden met een enorme rekening

Security & BeleidDuur: 1:17 minVanaf 42:35 in de opname

Joey van Griethuijsen, HumanAgent

Uit de sessie: Specialist: Security

In de vragenronde na zijn presentatie in de Specialists-sessie over security vraagt Tachmy Dilmy aan Joey van Griethuijsen van HumanAgent hoe een chatbot eigenlijk wordt overgenomen. Er ligt toch geen API-sleutel open op het web? Joeys antwoord gaat over geld: zonder guardrails wordt jouw chatbot een gratis AI-dienst voor een ander.

Voor wie: Je hebt een AI-chatbot live of bijna live en wilt voorkomen dat je een onverwachte rekening van je AI-provider krijgt.

Waarom dit ertoe doet

Een AI-chatbot op je webshop betaal je per gebruik. Elk bericht gaat naar een model bij OpenAI, Anthropic of Google, en jij betaalt de tokens. Als een ander jouw chatbot gebruikt om zijn eigen werk te laten doen, loopt de rekening op zonder dat er een klant bij komt. OWASP noemt dit in de lijst voor 2025 Unbounded Consumption en spreekt van Denial of Wallet: een aanval op je portemonnee. Hoe hard dat kan gaan, laat onderzoek van Sysdig uit mei 2024 zien: wie met gestolen sleutels een taalmodel misbruikt, kan in het slechtste geval 46.080 dollar per dag aan kosten maken. Een budgetlimiet en rate limiting kosten je een uur werk.

Belangrijkste inzichten

  • Een chatbot zonder guardrails die elk bericht direct naar het model stuurt, kan door anderen als gratis AI-endpoint worden gebruikt.
  • Joey noemt het een combinatie van prompt injection en hijacking; de schade is vooral de rekening.
  • OWASP noemt dit LLM10:2025 Unbounded Consumption, met Denial of Wallet als aanval op je kosten.
  • Sysdig berekende in mei 2024 dat misbruik met gestolen sleutels in het slechtste geval 46.080 dollar per dag kan kosten.
  • OpenAI biedt een maandbudget per project als harde limiet; daarna geven verzoeken een 429-fout.

Hoe het misbruik werkt

Tachmy's vraag is terecht: de API-sleutel staat niet in de browser, die zit op de server achter de chatbot. Joey legt uit dat dat ook niet hoeft. Als elk bericht van de gebruiker direct naar bijvoorbeeld OpenAI gaat en het antwoord ongefilterd terugkomt, is de chatbot zelf de toegang. Iemand met veel werk kan het endpoint waar de chatbot mee praat gebruiken voor zijn eigen prompts, de antwoorden ophalen en verder verwerken. Joey noemt het een combinatie van prompt injection en hijacking. Volgens hem komt het voor dat mensen gaan slapen en de volgende dag een enorme rekening hebben. Hij noemt geen concreet geval. Tachmy vult direct na de clip aan met een voorbeeld: een partij die zo content verrijkt en honderdduizend keer een vraag stelt die ze anders met hun eigen API-key hadden gedaan.

OWASP: Unbounded Consumption

In de OWASP-lijst voor LLM-toepassingen van 2025 staat dit risico als LLM10, Unbounded Consumption. Een toepassing laat gebruikers onbeperkt en ongecontroleerd vragen stellen, met financiële schade of uitval als gevolg. Denial of Wallet is de variant waarbij een aanvaller het betalen-per-gebruik-model van cloud-AI uitbuit. De maatregelen die OWASP noemt: begrens de lengte van de invoer, zet rate limits en quota per gebruiker, gebruik time-outs, en monitor het gebruik op afwijkingen. Dat sluit aan bij Joeys eerdere slide, waar hij voor een publieke chatbot HMAC, request limiting en guardrailing noemde.

Hoe hoog de rekening kan worden

Over chatbots die op deze manier zijn misbruikt, zijn weinig openbare cijfers. Wel gedocumenteerd is LLMjacking, beschreven door Sysdig in mei 2024. Daar gebruiken aanvallers gestolen cloudsleutels om taalmodellen op kosten van het slachtoffer te draaien. Sysdig rekende uit dat dit in het slechtste geval 46.080 dollar per dag kan kosten. Dat is een andere route dan in Joeys voorbeeld, want daar gaat het om gestolen sleutels, maar het mechanisme is hetzelfde: jij betaalt per token, een ander bepaalt hoeveel tokens er gebruikt worden. Neem het bedrag dus als bovengrens, niet als typisch geval.

Zet er een rem op

Begin bij je provider. OpenAI laat je per organisatie of per project een maandbudget instellen, als waarschuwing of als harde limiet. Bij een harde limiet geven verzoeken een 429-fout zodra het budget op is. Je chatbot valt dan uit, maar je rekening stopt. Zet daarnaast rate limiting per bezoeker en een maximum op de berichtlengte, en zorg dat de bot alleen vragen doorstuurt die over je webshop gaan. Aan het begin van dezelfde sessie vertelde een clublid dat hij limieten op zijn API-keys zet om onverwachte kosten te voorkomen. Dat is de goedkoopste maatregel van allemaal.

Probeer dit deze week

  1. Stel vandaag bij je AI-provider een harde maandlimiet in voor het project of de sleutel waar je chatbot op draait.
  2. Zet rate limiting op je chatbot, bijvoorbeeld 20 berichten per bezoeker per uur, en een maximum aantal tekens per bericht.
  3. Bekijk het tokengebruik van de afgelopen 30 dagen per dag en zet een alert op een dag die meer dan 2 keer boven het gemiddelde ligt.

Begrippen

Endpoint
Het adres op een server waar een app of chatbot zijn verzoeken naartoe stuurt.
Hijacking
Het overnemen van een dienst om die voor eigen doelen te gebruiken, hier een chatbot die andermans prompts verwerkt.
Denial of Wallet
Een aanval die geen systeem platlegt maar je kosten opjaagt door veel betaalde verzoeken te laten doen.
Rate limiting
Een maximum op het aantal verzoeken dat één gebruiker of adres in een bepaalde tijd mag doen.

Verdiep je in de gids

Transcriptie

Uitgeschreven uit de audio van dit fragment. Stopwoorden en herhalingen zijn weggelaten. Waar [onverstaanbaar] staat, is de opname niet te verstaan.

Ja Joey, vanuit mijn kant, je gaf net aan dat er AI modellen ook echt overgenomen worden, in slechte zin, je hebt een chatbot openstaan, wat voor vulnerability wordt dan gebruik van gemaakt, want staat er dan een API-key open en bloot op het web, dat zal waarschijnlijk niet zo makkelijk zijn. Heb je daar voorbeeld van? Ja, tuurlijk. Dus stel je hebt een chatbot en je hebt er bijvoorbeeld geen guardrailing achter. Dus elk bericht wat de gebruiker verstuurt, dat gaat ook echt direct bijvoorbeeld naar OpenAI toe. En dan komt er een antwoord terug. Dan zou je dus als hacker zijnde, zou je daar gebruik van kunnen maken. Door bijvoorbeeld, stel je hebt heel veel werk liggen, stel je wil heel veel AI gebruiken. Dan zou je die endpoint waar die chatbot mee praat, kunnen misbruiken voor je eigen prompt. Je eigen antwoorden dus ontvangen via jouw chatbot. En die dan vervolgens weer verwerken. Dus eigenlijk is het een combinatie van prompt injection en hijacking. Maar het komt dus wel eens voor dat mensen gaan slapen. En de volgende dag hebben ze ineens een enorme rekening. Omdat er gewoon gigantisch veel data door hun chatbot heen is gegaan.

Spreker: Joey van Griethuijsen, HumanAgent

Bronnen

Meer over Security & Beleid