Begrepet «promptinjeksjon» (prompt injection) ble laget i 2022 for å beskrive en ny klasse sårbarheter i generative KI-applikasjoner. Hvis du bygger KI-agenter, også agenter som automatiserer deler av markedsanalysen, gir forskningen nedenfor et nøkternt utgangspunkt: hva begrepet dekker, hvorfor NCSC advarer mot én bestemt sammenligning, og hva testing av kapring av KI-agenter faktisk har målt.
Hva promptinjeksjon betyr i generativ KI
Begrepet «promptinjeksjon» ble laget i 2022 for å beskrive en ny klasse sårbarheter i generative KI-applikasjoner. To deler av den setningen er verdt å merke seg.
- «Laget i 2022»: navnet er nytt.
- «En ny klasse sårbarheter»: begrepet ble laget for å beskrive en ny klasse sårbarheter.
Artikkelen gir ingen teknisk definisjon utover dette, og den inneholder ingen eksempler på angrepsinput. Målet er defensivt: å hjelpe leserne å forstå hva de viktigste offentlige kildene måler, slik at de kan stille bedre spørsmål om sine egne agentoppsett.
Promptinjeksjon og SQL-injeksjon: hvorfor sammenligningen er omstridt
SQL-injeksjon har eksistert i nesten 30 år og får ofte store konsekvenser. SQL-injeksjonsangrep ble først beskrevet på 90-tallet og nådde toppen rundt 2010.
| Aspekt | SQL-injeksjon | Promptinjeksjon |
|---|---|---|
| Når det dukket opp | Først beskrevet på 90-tallet | Begrepet laget i 2022 |
| Historikk ifølge påstandene | Har eksistert i nesten 30 år; angrepene nådde toppen rundt 2010 | Beskrevet som en ny klasse sårbarheter i generative KI-applikasjoner |
| Konsekvenser nevnt i påstandene | Får ofte store konsekvenser | Ikke tallfestet i NCSC-påstandene som brukes her |
Tabellen stiller de to ved siden av hverandre bare for å vise tidslinjene. Den skal ikke leses som at de fungerer på samme måte. I en egen nyhetssak advarte NCSC, som er en del av GCHQ, fagfolk innen cybersikkerhet mot å sammenligne promptinjeksjon med SQL-injeksjon.
For leseren handler lærdommen om metode, ikke detaljer. Kjenner du allerede SQL-injeksjon, tyder NCSCs advarsel på at du ikke bør ta for gitt at det du vet om den, gjelder for promptinjeksjon. Artikkelen dekker ikke NCSCs fulle resonnement. Lesere som vil ha det, bør gå til originalmaterialet fra NCSC.
Slik testet CAISI kapring av KI-agenter
CAISI beskrev forsøkene sine med kapring av agenter i en teknisk blogg fra NIST om evaluering av agentkapring. Ifølge bloggen brukte CAISI AgentDojo, et åpen kildekode-rammeverk utviklet av forskere ved ETH Zürich, i disse forsøkene.
AgentDojo har fire simulerte miljøer:
- Workspace
- Travel
- Slack
- Banking
Dette er simulerte omgivelser, ikke systemer i drift. Det er viktig når du leser tallene i neste avsnitt: de kommer fra et kontrollert testrammeverk, og bloggen sier ikke at de forutsier resultater i noen konkret, reell utrulling.
CAISI har også publisert forbedringene sine av AgentDojo som åpen kildekode, ifølge den samme NIST-bloggen. Fordi rammeverket er åpent, kan andre forskere i prinsippet se på verktøyene og kjøre forsøkene på nytt. Å gjenta en publisert evaluering er noe annet enn å påstå at et system er sikkert.
Hva suksessratene for angrep viser – og hva de ikke viser
NIST-bloggen gjengir flere tall fra CAISIs arbeid. De står her nøyaktig slik de er oppgitt:
| Måling rapportert av CAISI | Tall |
|---|---|
| Suksessrate for angrep, sterkeste grunnlinjeangrep | 11% |
| Suksessrate for angrep, sterkeste nye angrep | 81% |
| Gjennomsnittlig suksessrate på tvers av de fem oppførte injeksjonsoppgavene | 57% |
| Forsøk per injeksjonsangrep i testen med gjentatte forsøk | 25 |
| Gjennomsnittlig suksessrate for angrep etter gjentatte forsøk | 80% (opp fra 57%) |
To ting skiller seg ut når man leser disse tallene:
- Red teaming endret resultatet. I CAISIs red teaming steg suksessraten for angrep fra 11% for det sterkeste grunnlinjeangrepet til 81% for det sterkeste nye angrepet. Et lavt tall fra en grunnlinjetest sier ikke nødvendigvis i seg selv noe om hva en mer målrettet innsats kunne oppnå.
- Gjentakelse endret resultatet. CAISI forsøkte hvert av de fem injeksjonsangrepene 25 ganger. Etter gjentatte forsøk gikk den gjennomsnittlige suksessraten fra 57% til 80%. Et tall fra ett enkelt forsøk og et tall fra gjentatte forsøk beskriver ulike ting, og den som sammenligner evalueringer, bør sjekke hvilket av dem som oppgis.
Disse tallene beskriver CAISIs forsøk i AgentDojo. De er ingen vurdering av noe produkt, noen modell eller leverandør, og artikkelen bruker dem ikke på den måten.
Lærdommer fra en stor red teaming-konkurranse om KI-agenter
Gray Swan-konkurransen, som er beskrevet i et forskningsblogginnlegg om en storskala red teaming-konkurranse, utfordret deltakerne til å bygge kapringsangrep mot 13 ulike frontmodeller.
Ifølge innlegget ble det, på tvers av mer enn 250 000 angrepsforsøk fra over 400 deltakere, funnet minst ett vellykket angrep mot hver eneste frontmodell som var mål.
Les den setningen for nøyaktig det den sier. Den sier at det ble funnet minst ett vellykket angrep mot hver målmodell. Den sier ikke hvor ofte angrepene lyktes mot hver modell, og artikkelen trekker ingen rangering ut av den. Det den støtter, er noe smalere: I denne konkurransen var ingen av de 13 frontmodellene som var mål, fri for minst ett vellykket angrep.
Promptinjeksjon og KI-agenter for markedsanalyse: spørsmål å stille
Vinklingen i denne artikkelen er folk som automatiserer markedsanalyse med KI-agenter. Ingen av kildene ovenfor studerer trading- eller markedsanalyseagenter spesifikt, så det som følger, er spørsmål å stille – ikke funn:
- Hvilken test bygger en sikkerhetspåstand på? NIST-bloggen om agentkapring viser at grunnlinjeangrep og sterkere red team-angrep, og enkeltforsøk og gjentatte forsøk, ga ulike tall i CAISIs arbeid.
- Ble systemet testet i et simulert eller et reelt miljø? AgentDojos fire miljøer er simulerte.
- Påstår noen at et produkt fjerner risikoen? Denne artikkelen kommer ikke med noen slik påstand om noe produkt. Konkurranseresultatene ovenfor gir ikke grunnlag for å anta at noen av frontmodellene som var mål, er immune.
Et eget poeng gjelder informasjon mer generelt. Rykter brukes til å skape desinformasjon, begå svindel, spre skadevare, manipulere meninger og påvirke handlinger. Den kilden handler om rykter generelt, ikke om KI-agenter eller promptinjeksjon, og her påstås ingen sammenheng mellom de to. Den er tatt med som en generell påminnelse om at informasjon som er ment å manipulere, er et sikkerhetsproblem i seg selv.
For mer lesestoff på dette nettstedet, se forklaringen vår om hva tilsynsmyndigheter sier om svindel med KI-tradingroboter og artikkelen vår om hvorvidt ChatGPT kan brukes til investeringsråd (begge på engelsk).
Begrensninger ved denne artikkelen
Denne artikkelen gir opplæringsinformasjon om promptinjeksjon og sikkerhetsforskning på KI-agenter. Den er ikke investeringsrådgivning og anbefaler ikke noe produkt, noen modell, megler eller eiendel. Den forklarer ikke hvordan angrep utføres, og vurderer ikke om noe forsvarsverktøy fungerer. Den dekker ikke hele innholdet i kildene den viser til.