Begreppet "prompt injection" (promptinjektion) myntades 2022 för att beskriva en ny klass av sårbarheter i generativa AI-tillämpningar. För dig som bygger AI-agenter, till exempel agenter som automatiserar delar av marknadsanalysen, ger forskningen nedan en nykter utgångspunkt: vad begreppet omfattar, varför NCSC varnar för en viss jämförelse och vad tester av kapning av AI-agenter har mätt.
Vad promptinjektion betyder inom generativ AI
Begreppet "prompt injection" myntades 2022 för att beskriva en ny klass av sårbarheter i generativa AI-tillämpningar. Två delar av den meningen är värda att stanna vid.
- "Myntades 2022": namnet är nytt.
- "En ny klass av sårbarheter": begreppet skapades just för att beskriva en ny klass av sårbarheter.
Den här artikeln ger ingen teknisk definition utöver det, och den innehåller inga exempel på attackindata. Syftet är defensivt: att hjälpa läsaren förstå vad de viktigaste offentliga källorna faktiskt mäter, så att det blir lättare att ställa bättre frågor om de egna agentuppsättningarna.
Promptinjektion kontra SQL-injektion: därför är jämförelsen omstridd
SQL-injektion har funnits i nästan 30 år och får ofta stora konsekvenser. SQL-injektionsattacker beskrevs första gången på 90-talet och nådde sin topp runt 2010.
| Aspekt | SQL-injektion | Promptinjektion |
|---|---|---|
| När det dök upp | Beskrevs första gången på 90-talet | Begreppet myntades 2022 |
| Historik enligt källan | Har funnits i nästan 30 år; attackerna nådde sin topp runt 2010 | Beskrivs som en ny klass av sårbarheter i generativa AI-tillämpningar |
| Påverkan enligt källan | Får ofta stora konsekvenser | Inte kvantifierad i de NCSC-uppgifter som används här |
Tabellen ställer de två bredvid varandra enbart för att visa tidslinjerna. Den ska inte läsas som att de fungerar på samma sätt. I en separat nyhet varnade NCSC, som är en del av GCHQ, cybersäkerhetsexperter för att jämföra promptinjektion med SQL-injektion.
För läsaren handlar lärdomen om metod snarare än detaljer. Om du redan kan SQL-injektion tyder NCSC:s varning på att du inte bör utgå från att den kunskapen går att överföra till promptinjektion. Den här artikeln återger inte NCSC:s fullständiga resonemang. Den som vill ta del av det bör gå till NCSC:s originalmaterial.
Så testade CAISI kapning av AI-agenter
CAISI beskrev sina experiment med kapning av agenter i ett tekniskt NIST-blogginlägg om utvärdering av agentkapning. Enligt inlägget använde CAISI AgentDojo, ett ramverk med öppen källkod som utvecklats av forskare vid ETH Zürich, för dessa experiment.
AgentDojo har fyra simulerade miljöer:
- Workspace
- Travel
- Slack
- Banking
Det här är simulerade miljöer, inte skarpa system. Det spelar roll när du läser siffrorna i nästa avsnitt: de kommer från ett kontrollerat testramverk, och blogginlägget säger inte att de förutsäger resultat i någon specifik verklig driftsättning.
CAISI släppte också sina förbättringar av AgentDojo som öppen källkod, enligt samma NIST-blogginlägg. Eftersom ramverket är öppet kan andra forskare i princip granska verktygen och köra om experimenten. Att köra om en publicerad utvärdering är dock något helt annat än att påstå att ett system är säkert.
Vad attackernas framgångsgrad visar – och vad den inte visar
NIST-blogginlägget redovisar flera siffror från CAISI:s arbete. De återges här exakt som de anges:
| Mätning som CAISI redovisar | Siffra |
|---|---|
| Attackernas framgångsgrad, starkaste baslinjeattacken | 11% |
| Attackernas framgångsgrad, starkaste nya attacken | 81% |
| Genomsnittlig framgångsgrad för de fem listade injektionsuppgifterna | 57% |
| Försök per injektionsuppgiftsattack i testet med upprepade försök | 25 |
| Genomsnittlig framgångsgrad efter upprepade försök | 80% (upp från 57%) |
Två saker sticker ut när man läser siffrorna:
- Red teaming förändrade resultatet. I CAISI:s red teaming steg attackernas framgångsgrad från 11% för den starkaste baslinjeattacken till 81% för den starkaste nya attacken. En låg siffra från ett baslinjetest säger alltså inte nödvändigtvis i sig något om vad en mer målmedveten insats skulle kunna uppnå.
- Upprepning förändrade resultatet. CAISI genomförde var och en av de fem injektionsuppgiftsattackerna 25 gånger. Efter upprepade försök steg den genomsnittliga framgångsgraden från 57% till 80%. En siffra från ett enda försök och en siffra från upprepade försök beskriver olika saker, och den som jämför utvärderingar bör kontrollera vilken av dem som redovisas.
Siffrorna beskriver CAISI:s experiment i AgentDojo. De är inte ett betyg på någon produkt, modell eller leverantör, och den här artikeln använder dem inte på det sättet.
Lärdomar från en stor red teaming-tävling om AI-agenter
Gray Swan-tävlingen, som beskrivs i ett forskningsblogginlägg om en storskalig red teaming-tävling, utmanade deltagarna att bygga kapningsattacker mot 13 olika frontiermodeller.
Enligt inlägget hittades, bland mer än 250,000 attackförsök från över 400 deltagare, minst en lyckad attack mot varje frontiermodell som var måltavla.
Läs den meningen med exakt den styrka den har. Den säger att minst en lyckad attack hittades mot varje målmodell. Den säger inte hur ofta attackerna lyckades mot respektive modell, och den här artikeln drar ingen rangordning av den. Det den stöder är snävare: i den tävlingen gick ingen av de 13 frontiermodellerna som var måltavlor fri från minst en lyckad attack.
Promptinjektion och AI-agenter för marknadsanalys: frågor att ställa
Den här artikeln riktar sig till dig som automatiserar marknadsanalys med AI-agenter. Ingen av källorna ovan studerar specifikt agenter för handel eller marknadsanalys, så det som följer är frågor att ställa, inte forskningsresultat:
- Vilket test bygger ett säkerhetspåstående på? NIST-blogginlägget om agentkapning visar att baslinjeattacker och starkare red team-attacker, liksom enstaka och upprepade försök, gav olika siffror i CAISI:s arbete.
- Testades systemet i en simulerad eller en verklig miljö? AgentDojos fyra miljöer är simulerade.
- Påstår någon att en produkt eliminerar risken? Den här artikeln gör inget sådant påstående om någon produkt. Tävlingsresultaten ovan ger inget stöd för att anta att någon av frontiermodellerna som var måltavlor är immun.
En separat poäng gäller information i bredare mening. Rykten används för att skapa desinformation, begå bedrägerier, sprida skadlig kod, manipulera åsikter och påverka handlingar. Den källan handlar om rykten i allmänhet, inte om AI-agenter eller promptinjektion, och här görs inget påstående om något samband mellan de två. Den finns med som en allmän påminnelse om att information som är avsedd att manipulera är en säkerhetsfråga i sig.
För relaterad läsning på sajten, se vår förklaring av vad tillsynsmyndigheter säger om bedrägerier med AI-tradingbottar och vår artikel om huruvida ChatGPT kan användas för investeringsråd.
Artikelns begränsningar
Den här artikeln innehåller utbildande information om promptinjektion och säkerhetsforskning kring AI-agenter. Den utgör inte investeringsrådgivning och rekommenderar inte någon produkt, modell, mäklare eller tillgång. Den förklarar inte hur attacker genomförs och bedömer inte om något försvarsverktyg fungerar. Den täcker inte hela innehållet i de källor den hänvisar till.