Il termine "prompt injection" è stato coniato nel 2022 per descrivere una nuova classe di vulnerabilità nelle applicazioni di IA generativa. Per chi sviluppa agenti di IA, compresi quelli che automatizzano parti dell'analisi di mercato, le ricerche presentate qui offrono un punto di partenza sobrio: che cosa indica il termine, perché l'NCSC mette in guardia da un certo paragone e che cosa hanno misurato i test sul dirottamento degli agenti di IA.

Che cosa significa prompt injection nell'IA generativa

Il termine "prompt injection" è stato coniato nel 2022 per descrivere una nuova classe di vulnerabilità nelle applicazioni di IA generativa. In questa frase contano due elementi.

  • "Coniato nel 2022": il nome è recente.
  • "Una nuova classe di vulnerabilità": il termine è nato proprio per descrivere una nuova classe di vulnerabilità.

Questo articolo non va oltre questa definizione tecnica e non contiene esempi di input di attacco. L'obiettivo è difensivo: aiutare chi legge a capire che cosa misurano le principali fonti pubbliche, così da porsi domande migliori sulle proprie configurazioni di agenti.

Prompt injection e SQL injection: perché il paragone è discusso

La SQL injection esiste da quasi 30 anni e ha spesso un impatto molto elevato. Gli attacchi di SQL injection sono stati descritti per la prima volta negli anni '90 e hanno raggiunto il picco intorno al 2010.

Aspetto SQL injection Prompt injection
Quando è comparsa Descritta per la prima volta negli anni '90 Termine coniato nel 2022
Storia secondo le affermazioni Esiste da quasi 30 anni; gli attacchi hanno raggiunto il picco intorno al 2010 Descritta come una nuova classe di vulnerabilità nelle applicazioni di IA generativa
Impatto indicato nelle affermazioni Spesso molto elevato Non quantificato nelle affermazioni dell'NCSC qui utilizzate

La tabella mette le due a confronto solo per mostrarne le tempistiche. Non va letta come se funzionassero allo stesso modo. In una notizia separata, l'NCSC, che fa parte del GCHQ, ha messo in guardia i professionisti della sicurezza informatica dal paragonare la prompt injection alla SQL injection.

Per chi legge, la lezione riguarda il metodo, non i dettagli. Se conoscete già la SQL injection, l'avvertimento dell'NCSC suggerisce di non dare per scontato che ciò che sapete valga anche per la prompt injection. Questo articolo non ripercorre l'intero ragionamento dell'NCSC: chi vuole approfondirlo dovrebbe consultare il materiale originale dell'NCSC.

Come il CAISI ha testato il dirottamento degli agenti di IA

Il CAISI ha descritto i propri esperimenti sul dirottamento degli agenti in un blog tecnico del NIST sulle valutazioni del dirottamento degli agenti. Secondo quel blog, per questi esperimenti il CAISI ha utilizzato AgentDojo, un framework open source sviluppato da ricercatori dell'ETH di Zurigo.

AgentDojo dispone di quattro ambienti simulati:

  1. Workspace
  2. Travel
  3. Slack
  4. Banking

Si tratta di contesti simulati, non di sistemi in produzione. È un aspetto importante quando si leggono i numeri della sezione successiva: provengono da un framework di test controllato e il blog non afferma che permettano di prevedere i risultati in una specifica implementazione reale.

Sempre secondo lo stesso blog del NIST, il CAISI ha anche reso open source i propri miglioramenti ad AgentDojo. Poiché il framework è aperto, altri ricercatori possono, in linea di principio, esaminare gli strumenti e ripetere gli esperimenti. Ripetere una valutazione pubblicata, però, è cosa ben diversa dal sostenere che un sistema sia sicuro.

Che cosa mostrano i tassi di successo degli attacchi, e che cosa no

Il blog del NIST riporta diversi dati sul lavoro del CAISI. Eccoli, esattamente come indicati:

Misurazione riportata dal CAISI Dato
Tasso di successo dell'attacco, attacco di riferimento più forte 11%
Tasso di successo dell'attacco, nuovo attacco più forte 81%
Tasso di successo medio sui cinque compiti di injection elencati 57%
Tentativi per ciascun attacco di injection nel test a tentativi ripetuti 25
Tasso di successo medio dopo tentativi ripetuti 80% (dal 57%)

Leggendo questi dati, spiccano due punti:

  • Il red teaming ha cambiato il risultato. Nel red teaming del CAISI, il tasso di successo è salito dall'11% dell'attacco di riferimento più forte all'81% del nuovo attacco più forte. Un dato basso ottenuto con un test di riferimento, da solo, potrebbe non descrivere ciò che uno sforzo più determinato riuscirebbe a ottenere.
  • La ripetizione ha cambiato il risultato. Il CAISI ha provato ciascuno dei cinque attacchi di injection 25 volte. Dopo i tentativi ripetuti, il tasso di successo medio è passato dal 57% all'80%. Un dato basato su un solo tentativo e uno basato su tentativi ripetuti descrivono cose diverse: chi confronta valutazioni diverse dovrebbe verificare quale dei due viene riportato.

Questi numeri descrivono gli esperimenti del CAISI in AgentDojo. Non sono una valutazione di alcun prodotto, modello o fornitore, e questo articolo non li usa in tal senso.

Lezioni da una grande competizione di red teaming sugli agenti di IA

La competizione Gray Swan, descritta in un post del blog di ricerca su una competizione di red teaming su larga scala, ha sfidato i partecipanti a costruire attacchi di dirottamento contro 13 diversi modelli di frontiera.

Secondo quel post, su oltre 250.000 tentativi di attacco da parte di più di 400 partecipanti, è stato trovato almeno un attacco riuscito contro ciascuno dei modelli di frontiera presi di mira.

Questa frase va letta con la portata che dichiara. Dice che contro ogni modello preso di mira è stato trovato almeno un attacco riuscito. Non dice con quale frequenza gli attacchi siano riusciti contro ciascun modello, e questo articolo non ne ricava alcuna classifica. Ciò che sostiene è più circoscritto: in quella competizione, nessuno dei 13 modelli di frontiera presi di mira è rimasto indenne da almeno un attacco riuscito.

Prompt injection e agenti di IA per l'analisi di mercato: le domande da porsi

Questo articolo guarda in particolare a chi automatizza l'analisi di mercato con agenti di IA. Nessuna delle fonti citate studia specificamente agenti di trading o di analisi di mercato, quindi quelle che seguono sono domande da porsi, non risultati:

  • Su quale test si basa un'affermazione di sicurezza? Il blog del NIST sul dirottamento degli agenti mostra che, nel lavoro del CAISI, attacchi di riferimento e attacchi di red team più forti, così come tentativi singoli e ripetuti, hanno prodotto dati diversi.
  • Il sistema è stato testato in un ambiente simulato o reale? I quattro ambienti di AgentDojo sono simulati.
  • Qualcuno sostiene che un prodotto elimini il rischio? Questo articolo non fa un'affermazione del genere su alcun prodotto. I risultati della competizione descritti sopra non autorizzano a presumere che uno qualsiasi dei modelli di frontiera presi di mira sia immune.

C'è poi una considerazione separata che riguarda l'informazione in senso più ampio. Le voci infondate vengono usate per creare disinformazione, commettere frodi, diffondere malware, manipolare opinioni e influenzare azioni. Quella fonte parla delle voci infondate in generale, non degli agenti di IA né della prompt injection, e qui non si afferma alcun legame tra le due cose. È citata solo come promemoria generale: le informazioni pensate per manipolare sono, di per sé, un problema di sicurezza.

Per altre letture correlate su questo sito, consultate la nostra guida su che cosa dicono le autorità di regolamentazione sulle truffe dei bot di trading basati sull'IA e il nostro articolo su se ChatGPT possa essere usato per ottenere consigli di investimento.

Limiti di questo articolo

Questo articolo fornisce informazioni a scopo didattico sulla prompt injection e sulla ricerca in materia di sicurezza degli agenti di IA. Non costituisce una consulenza in materia di investimenti e non raccomanda alcun prodotto, modello, broker o asset. Non spiega come condurre attacchi e non valuta se un qualsiasi strumento difensivo funzioni. Non copre l'intero contenuto delle fonti citate.