LLMjacking

Wat is LLMjacking?

LLMjacking is de diefstal van cloudgegevens om de toegang van iemand anders tot taalmodellen te gebruiken. De aanvaller wil je data niet. Hij wil je quota, want modeltoegang kost geld en een gestolen account is gratis.

Het Sysdig Threat Research Team gaf het die naam in mei 2024, nadat ze een aanval vonden waarbij gestolen sleutels gebruikt werden tegen tien verschillende modeldiensten in de cloud. De eerste toegang kwam in dat geval van een kwetsbare Laravel-installatie, uitgebuit via een gekende kwetsbaarheid uit 2021, en daar mag je even bij stilstaan. Het AI-stuk van de aanval was de buit. De weg naar binnen was een ongepatchte webtoepassing, precies zoals dat al twintig jaar het geval is.

Hoe de aanval verloopt

Het patroon is consistent genoeg om als een reeks stappen te beschrijven.

1. De sleutels worden buitgemaakt. Via een kwetsbare toepassing, een sleutel die in een publieke repository beland is, een gelekt configuratiebestand, of een besmette laptop. Niets hiervan is specifiek voor AI.

2. De sleutels worden op elke modeldienst getest. Aanvallers laten een controlescript lopen over meerdere aanbieders om te zien welke de sleutel opent. In het oorspronkelijke geval controleerde het gereedschap tien diensten, waaronder AWS Bedrock, Azure, Google Vertex AI, OpenAI, Anthropic en Mistral.

3. Toegang wordt aangezet waar ze nog niet aanstond. In latere varianten bleven aanvallers niet bij wat beschikbaar was, maar zetten ze zelf extra modellen aan op het account van het slachtoffer, via de API-aanroepen van de aanbieder. Een model dat jij nooit aangezet hebt, is dus geen bescherming.

4. De toegang wordt doorverkocht. Dat is het commerciële stuk. Een reverse proxy staat voor de gestolen accounts en biedt modeltoegang aan betalende gebruikers, terwijl de onderliggende sleutels verborgen blijven. De kopers krijgen goedkope toegang en vaak een interface waar de gewone beperkingen uit gehaald zijn, en het slachtoffer krijgt de factuur.

Wat het het slachtoffer kost

De cijfers die Sysdig publiceerde komen uit 2024, dus lees ze als een momentopname van die periode en niet als een actuele prijs. Ze geven je wel de grootteorde.

Hun eerste inschatting legde het slechtste geval op meer dan 46.000 Amerikaanse dollar per dag aan modelverbruik voor één gecompromitteerd account, berekend op de toenmalige prijzen van Claude 2 aan maximale quota over vier regio's. In vervolgonderzoek trokken ze dat naar boven bij, tot meer dan 100.000 dollar per dag wanneer de duurste modellen van dat moment gebruikt werden.

Het volume telt evenveel als de prijs. In één waargenomen geval werden meer dan 85.000 modelaanvragen vastgesteld, waarvan 61.000 binnen een venster van drie uur. Dit is dus geen traag lek dat bij een maandelijkse controle bovenkomt. Het is een piek die op één nacht een stevige factuur kan opbouwen.

Hoe aanvallers uit het zicht blijven

Er zijn twee ontwikkelingen die je best kent, want ze mikken allebei precies op wat je zou gebruiken om dit te vangen.

Ze zetten de logging uit. Aanvallers werden gezien terwijl ze de logconfiguratie voor modelaanroepen verwijderden, wat de gedetailleerde logging van prompts en antwoorden uitschakelt. Het algemene auditspoor van de cloud blijft de API-aanroepen wel opnemen, dus de handeling zelf blijft zichtbaar, maar het detail van wat er gevraagd werd verdwijnt.

Ze gebruiken de nieuwere API. Toen AWS een nieuwe conversatie-API voor zijn modeldienst uitbracht, namen aanvallers die binnen ongeveer een maand over. De reden was praktisch: aanroepen via die nieuwe interface leverden niet dezelfde logregels op als de oude, dus detecties die op de oude aanroepnaam gebouwd waren, zagen niets.

De les uit allebei is dezelfde. Detectie die op één specifieke logregel steunt, is broos. Detectie die op kost en op volume steunt, valt veel moeilijker te ontwijken, want verbruiken is nu net waar de aanval om draait.

Hoe je het merkt en hoe je het voorkomt

Zet een budgetalarm op je modeluitgaven. Dit is veruit de meest waardevolle maatregel, en meestal ook de snelste om te regelen. Een account dat normaal een paar euro per dag verbruikt en plots honderden euro's, hoort diezelfde dag iemand wakker te maken.

Zet enkel de modellen aan die je gebruikt. Elk aangezet model staat ter beschikking van wie de sleutel heeft. Hou die lijst kort, en let op modellen die aangezet worden zonder dat iemand erom gevraagd heeft.

Hou de logging van modelaanroepen aan, en alarmeer als ze uitgezet wordt. Logging uitschakelen is op zich al een sterk signaal, en het verschijnt in je auditspoor.

Raak af van langlevende sleutels. Managed identities en kortlevende gegevens halen weg wat er gestolen kan worden. Een LLM-gateway helpt daar ook bij, want dan houden je toepassingen zelf nooit een modelsleutel vast.

Let op het ongewone patroon en niet enkel op het volume. Aanvragen uit een regio waar je niet actief bent, op uren waarop niemand werkt, tegen een model dat je team niet gebruikt.

Repareer de gewone kwetsbaarheid. De weg naar binnen was een ongepatchte toepassing. Je modeltoegang is maar zo goed beschermd als het slechtst onderhouden systeem waar een sleutel op staat.

Waar moet je op letten bij LLMjacking

Het eerste teken is vaak de factuur. Als niemand naar de clouduitgaven kijkt tot het einde van de maand, dan heeft een aanvaller weken. Dagelijkse drempels kloppen maandelijkse controles.

Het is niet enkel een kostenprobleem. Je account wordt gebruikt om inhoud te genereren waar jij geen zicht op hebt, onder de naam van je bedrijf. Dat is een risico voor je reputatie en juridisch, bovenop de factuur.

Een ontwikkelabonnement is een echt doelwit. Test- en ontwikkelomgevingen bevatten echte sleutels met echte quota en krijgen een fractie van de aandacht in je opvolging.

Sleutels in een repository blijven de klassieke weg. Je repositories op sleutels laten scannen is saai, goedkoop, en telkens opnieuw net het ding dat het incident had voorkomen.