De term "prompt injection" (promptinjectie) werd in 2022 bedacht om een nieuwe klasse kwetsbaarheden in genAI-toepassingen te beschrijven. Bouwt u AI-agents, bijvoorbeeld agents die delen van marktanalyse automatiseren? Dan biedt het onderzoek hieronder een nuchter vertrekpunt: wat de term omvat, waarom het NCSC waarschuwt voor één bepaalde vergelijking, en wat er werd gemeten bij tests naar het kapen van AI-agents.
Wat promptinjectie betekent in generatieve AI
De term "prompt injection" werd in 2022 bedacht om een nieuwe klasse kwetsbaarheden in genAI-toepassingen te beschrijven. Twee delen van die zin verdienen aandacht.
- "Bedacht in 2022": de naam is van recente datum.
- "Een nieuwe klasse kwetsbaarheden": de term werd bedacht om een nieuwe klasse kwetsbaarheden te beschrijven.
Verder dan dat gaat dit artikel niet met een technische definitie, en het bevat geen voorbeelden van aanvalsinvoer. Het doel is defensief: lezers helpen begrijpen wat de belangrijkste openbare bronnen meten, zodat ze betere vragen kunnen stellen over hun eigen agentopstellingen.
Promptinjectie versus SQL-injectie: waarom de vergelijking omstreden is
SQL-injectie bestaat al bijna 30 jaar en heeft vaak grote gevolgen. SQL-injectieaanvallen werden voor het eerst beschreven in de jaren 90 en bereikten rond 2010 hun hoogtepunt.
| Aspect | SQL-injectie | Promptinjectie |
|---|---|---|
| Wanneer het opdook | Voor het eerst beschreven in de jaren 90 | Term bedacht in 2022 |
| Geschiedenis volgens de beweringen | Bestaat al bijna 30 jaar; aanvallen bereikten rond 2010 hun hoogtepunt | Beschreven als een nieuwe klasse kwetsbaarheden in genAI-toepassingen |
| Impact volgens de beweringen | Heeft vaak grote gevolgen | Niet gekwantificeerd in de hier gebruikte beweringen van het NCSC |
De tabel zet de twee alleen naast elkaar om hun tijdlijnen te laten zien. Lees er niet in dat ze op dezelfde manier werken. In een afzonderlijk nieuwsbericht waarschuwde het NCSC, dat deel uitmaakt van GCHQ, cybersecurityprofessionals ervoor promptinjectie niet te vergelijken met SQL-injectie.
Voor lezers gaat de les over methode, niet over details. Kent u SQL-injectie al, dan suggereert de waarschuwing van het NCSC dat u er niet van moet uitgaan dat die kennis zomaar overdraagbaar is naar promptinjectie. Dit artikel behandelt niet de volledige redenering van het NCSC. Wie die wil kennen, kan het beste het oorspronkelijke materiaal van het NCSC raadplegen.
Hoe CAISI het kapen van AI-agents testte
CAISI beschreef zijn experimenten met het kapen van agents in een technische blog van NIST over evaluaties van agentkaping. Volgens die blog gebruikte CAISI voor deze experimenten AgentDojo, een opensourceframework dat is ontwikkeld door onderzoekers van ETH Zürich.
AgentDojo kent vier gesimuleerde omgevingen:
- Workspace
- Travel
- Slack
- Banking
Dit zijn gesimuleerde omgevingen, geen live systemen. Dat is belangrijk bij het lezen van de cijfers in de volgende sectie: ze komen uit een gecontroleerd testframework, en de blog zegt nergens dat ze resultaten in een specifieke praktijkimplementatie voorspellen.
Volgens dezelfde NIST-blog heeft CAISI zijn verbeteringen aan AgentDojo bovendien open source vrijgegeven. Omdat het framework open is, kunnen andere onderzoekers in principe de tooling bekijken en experimenten opnieuw uitvoeren. Een gepubliceerde evaluatie herhalen is echter iets anders dan beweren dat een systeem veilig is.
Wat de slagingspercentages van aanvallen laten zien, en wat niet
De NIST-blog noemt verschillende cijfers uit het werk van CAISI. Ze staan hier precies zoals ze zijn vermeld:
| Meting gerapporteerd door CAISI | Cijfer |
|---|---|
| Slagingspercentage van aanvallen, sterkste basislijnaanval | 11% |
| Slagingspercentage van aanvallen, sterkste nieuwe aanval | 81% |
| Gemiddeld slagingspercentage over de vijf genoemde injectietaken | 57% |
| Pogingen per injectietaakaanval in de test met herhaalde pogingen | 25 |
| Gemiddeld slagingspercentage van aanvallen na herhaalde pogingen | 80% (was 57%) |
Bij het lezen van deze cijfers springen twee punten eruit:
- Red teaming veranderde het resultaat. Bij de red teaming van CAISI steeg het slagingspercentage van aanvallen van 11% voor de sterkste basislijnaanval naar 81% voor de sterkste nieuwe aanval. Een laag cijfer uit een basislijntest zegt op zichzelf mogelijk weinig over wat een vastberadener poging zou kunnen bereiken.
- Herhaling veranderde het resultaat. CAISI voerde elk van de vijf injectietaakaanvallen 25 keer uit. Na herhaalde pogingen steeg het gemiddelde slagingspercentage van aanvallen van 57% naar 80%. Een cijfer bij één poging en een cijfer bij herhaalde pogingen beschrijven verschillende dingen; wie evaluaties vergelijkt, doet er goed aan na te gaan welke van de twee wordt gerapporteerd.
Deze cijfers beschrijven de experimenten van CAISI in AgentDojo. Ze vormen geen beoordeling van een product, model of leverancier, en dit artikel gebruikt ze ook niet zo.
Lessen uit een grote red-teamingwedstrijd rond AI-agents
De Gray Swan-wedstrijd, beschreven in een onderzoeksblog over een grootschalige red-teamingwedstrijd, daagde deelnemers uit om kapingsaanvallen te bouwen tegen 13 verschillende frontier-modellen.
Volgens die blogpost werd bij meer dan 250.000 aanvalspogingen van ruim 400 deelnemers tegen elk doelmodel minstens één geslaagde aanval gevonden.
Lees die zin met precies de stelligheid waarmee hij is geformuleerd. Hij zegt dat er tegen elk doelmodel minstens één geslaagde aanval werd gevonden. Hij zegt niet hoe vaak aanvallen tegen elk model slaagden, en dit artikel leidt er geen ranglijst uit af. Wat de zin wél ondersteunt, is beperkter: in die wedstrijd bleef geen van de 13 frontier-doelmodellen gevrijwaard van minstens één geslaagde aanval.
Promptinjectie en AI-agents voor marktanalyse: vragen om te stellen
Dit artikel richt zich op mensen die marktanalyse automatiseren met AI-agents. Geen van de bovenstaande bronnen onderzoekt specifiek trading- of marktanalyse-agents. Wat volgt zijn daarom vragen om te stellen, geen bevindingen:
- Op welke test is een beveiligingsclaim gebaseerd? De NIST-blog over agentkaping laat zien dat basislijnaanvallen en sterkere red-teamaanvallen, en enkele en herhaalde pogingen, in het werk van CAISI verschillende cijfers opleverden.
- Is het systeem getest in een gesimuleerde of een echte omgeving? De vier omgevingen van AgentDojo zijn gesimuleerd.
- Beweert iemand dat een product het risico wegneemt? Dit artikel doet zo'n bewering over geen enkel product. De wedstrijdresultaten hierboven bieden geen grond om aan te nemen dat een van de frontier-doelmodellen immuun is.
Een apart punt betreft informatie in bredere zin. Geruchten worden gebruikt om desinformatie te creëren, fraude te plegen, malware te verspreiden, meningen te manipuleren en handelingen te beïnvloeden. Die bron gaat over geruchten in het algemeen, niet over AI-agents of promptinjectie, en hier wordt geen verband tussen die twee beweerd. Ze is opgenomen als algemene herinnering dat informatie die bedoeld is om te manipuleren een beveiligingsprobleem op zich is.
Verder lezen op deze site? Bekijk onze uitleg over wat toezichthouders zeggen over oplichting met AI-tradingbots en ons artikel over de vraag of ChatGPT bruikbaar is voor beleggingsadvies.
Beperkingen van dit artikel
Dit artikel bevat educatieve informatie over promptinjectie en beveiligingsonderzoek naar AI-agents. Het is geen beleggingsadvies en beveelt geen enkel product, model, broker of activum aan. Het legt niet uit hoe aanvallen worden uitgevoerd en oordeelt niet over de vraag of een verdedigingstool werkt. Het behandelt niet de volledige inhoud van de bronnen die het aanhaalt.