Begrebet "prompt injection" – på dansk promptinjektion – blev skabt i 2022 for at beskrive en ny klasse af sårbarheder i applikationer med generativ AI. Hvis du bygger AI-agenter, også agenter der automatiserer dele af en markedsanalyse, giver forskningen nedenfor et nøgternt udgangspunkt. Den viser, hvad begrebet dækker, hvorfor NCSC advarer mod en bestemt sammenligning, og hvad test af kapring af AI-agenter har målt.
Hvad promptinjektion betyder i generativ AI
Begrebet "prompt injection" blev skabt i 2022 for at beskrive en ny klasse af sårbarheder i applikationer med generativ AI. To dele af den sætning er vigtige.
- "Skabt i 2022": navnet er nyt.
- "En ny klasse af sårbarheder": begrebet blev skabt for at beskrive en ny klasse af sårbarheder.
Artiklen giver ikke en teknisk definition ud over dette, og den indeholder ingen eksempler på angrebsinput. Formålet er defensivt: at hjælpe læseren med at forstå, hvad de vigtigste offentlige kilder måler, så det bliver lettere at stille de rigtige spørgsmål til ens egen agentopsætning.
Promptinjektion og SQL-injektion: hvorfor sammenligningen er omstridt
SQL-injektion har eksisteret i næsten 30 år og har ofte store konsekvenser. SQL-injektionsangreb blev første gang beskrevet i 90'erne og toppede omkring 2010.
| Aspekt | SQL-injektion | Promptinjektion |
|---|---|---|
| Hvornår det dukkede op | Første gang beskrevet i 90'erne | Begrebet skabt i 2022 |
| Historik ifølge påstandene | Har eksisteret i næsten 30 år; angrebene toppede omkring 2010 | Beskrevet som en ny klasse af sårbarheder i applikationer med generativ AI |
| Konsekvenser ifølge påstandene | Ofte store konsekvenser | Ikke kvantificeret i de NCSC-påstande, der bruges her |
Tabellen stiller de to op ved siden af hinanden udelukkende for at vise deres tidslinjer. Den skal ikke læses, som om de fungerer på samme måde. I en separat nyhed advarede NCSC, som er en del af GCHQ, cybersikkerhedsfolk mod at sammenligne promptinjektion med SQL-injektion.
For læseren handler pointen om metode, ikke om detaljer. Hvis du allerede kender SQL-injektion, tyder NCSC's advarsel på, at du ikke bør gå ud fra, at din viden om det kan overføres direkte til promptinjektion. Artiklen gennemgår ikke NCSC's fulde argumentation. Den, der vil have den med, bør læse NCSC's originale materiale.
Sådan testede CAISI kapring af AI-agenter
CAISI har beskrevet sine eksperimenter med agentkapring i en teknisk blog fra NIST om evaluering af agentkapring. Ifølge bloggen brugte CAISI AgentDojo, et open source-framework udviklet af forskere fra ETH Zürich, til disse eksperimenter.
AgentDojo har fire simulerede miljøer:
- Workspace
- Travel
- Slack
- Banking
Der er tale om simulerede miljøer, ikke systemer i drift. Det er værd at huske, når du læser tallene i næste afsnit: De stammer fra et kontrolleret testframework, og bloggen siger ikke, at de forudsiger resultaterne i en bestemt virkelig implementering.
CAISI har desuden udgivet sine forbedringer af AgentDojo som open source, ifølge samme NIST-blog. Fordi frameworket er åbent, kan andre forskere i princippet gennemgå værktøjerne og gentage eksperimenterne. At gentage en offentliggjort evaluering er dog noget helt andet end at påstå, at et system er sikkert.
Hvad angrebenes succesrater viser – og hvad de ikke viser
NIST-bloggen rapporterer flere tal fra CAISI's arbejde. De gengives her præcis som angivet:
| Måling rapporteret af CAISI | Tal |
|---|---|
| Succesrate, stærkeste baseline-angreb | 11% |
| Succesrate, stærkeste nye angreb | 81% |
| Gennemsnitlig succesrate på tværs af de fem angivne injektionsopgaver | 57% |
| Forsøg pr. injektionsopgaveangreb i testen med gentagne forsøg | 25 |
| Gennemsnitlig succesrate efter gentagne forsøg | 80% (op fra 57%) |
To ting springer i øjnene, når man læser tallene:
- Red teaming ændrede resultatet. I CAISI's red teaming steg succesraten fra 11% for det stærkeste baseline-angreb til 81% for det stærkeste nye angreb. Et lavt tal fra en baseline-test siger ikke nødvendigvis i sig selv noget om, hvad en mere målrettet indsats kunne opnå.
- Gentagelse ændrede resultatet. CAISI forsøgte hvert af de fem injektionsopgaveangreb 25 gange. Efter gentagne forsøg steg den gennemsnitlige succesrate fra 57% til 80%. Et tal fra ét enkelt forsøg og et tal fra gentagne forsøg beskriver to forskellige ting, og den, der sammenligner evalueringer, bør tjekke, hvilket af dem der rapporteres.
Tallene beskriver CAISI's eksperimenter i AgentDojo. De er ikke en bedømmelse af noget produkt, nogen model eller leverandør, og artiklen bruger dem ikke på den måde.
Erfaringer fra en stor red teaming-konkurrence om AI-agenter
Gray Swan-konkurrencen, som er beskrevet i et forskningsblogindlæg om en storstilet red teaming-konkurrence, udfordrede deltagerne til at bygge kapringsangreb mod 13 forskellige frontiermodeller.
Ifølge indlægget blev der på tværs af mere end 250.000 angrebsforsøg fra over 400 deltagere fundet mindst ét vellykket angreb mod hver eneste af de frontiermodeller, der var mål.
Læs den sætning for præcis det, den siger. Den fortæller, at der blev fundet mindst ét vellykket angreb mod hver målmodel. Den siger ikke, hvor ofte angrebene lykkedes mod hver model, og artiklen udleder ingen rangordning af den. Det, sætningen understøtter, er mere afgrænset: I den konkurrence var ingen af de 13 frontiermodeller, der var mål, fri for mindst ét vellykket angreb.
Promptinjektion og AI-agenter til markedsanalyse: spørgsmål, du kan stille
Artiklens vinkel er folk, der automatiserer markedsanalyse med AI-agenter. Ingen af kilderne ovenfor undersøger specifikt trading- eller markedsanalyseagenter, så det følgende er spørgsmål, du kan stille – ikke resultater:
- Hvilken test bygger en sikkerhedspåstand på? NIST-bloggen om agentkapring viser, at baseline-angreb og stærkere red team-angreb, og ligeledes enkelte og gentagne forsøg, gav forskellige tal i CAISI's arbejde.
- Blev systemet testet i et simuleret eller et virkeligt miljø? AgentDojos fire miljøer er simulerede.
- Påstår nogen, at et produkt fjerner risikoen? Artiklen fremsætter ingen sådan påstand om noget produkt. Konkurrenceresultaterne ovenfor giver ikke grundlag for at antage, at nogen af de frontiermodeller, der var mål, er immune.
Et særskilt punkt handler om information mere bredt. Rygter bruges til at skabe desinformation, begå svindel, sprede malware, manipulere holdninger og påvirke handlinger. Den kilde handler om rygter generelt, ikke om AI-agenter eller promptinjektion, og der påstås her ingen forbindelse mellem de to. Den er medtaget som en generel påmindelse om, at information, der har til formål at manipulere, er et sikkerhedsproblem i sig selv.
Vil du læse videre her på siden, kan du se vores forklaring af hvad tilsynsmyndigheder siger om svindel med AI-tradingbots og vores artikel om hvorvidt ChatGPT kan bruges til investeringsråd.
Artiklens begrænsninger
Denne artikel indeholder oplysende information om promptinjektion og sikkerhedsforskning i AI-agenter. Den er ikke investeringsrådgivning og anbefaler ikke noget produkt, nogen model, mægler eller noget aktiv. Den forklarer ikke, hvordan angreb udføres, og vurderer ikke, om et forsvarsværktøj virker. Den dækker ikke hele indholdet af de kilder, den henviser til.