O termo "prompt injection" (injeção de prompt) foi cunhado em 2022 para descrever uma nova classe de vulnerabilidade em aplicações de IA generativa. Para quem desenvolve agentes de IA, inclusive os que automatizam partes da análise de mercado, as pesquisas abaixo são um ponto de partida sóbrio. Elas mostram o que o termo abrange, por que o NCSC desaconselha uma comparação específica e o que foi medido nos testes de sequestro de agentes de IA.

O que é injeção de prompt na IA generativa

O termo "prompt injection" foi cunhado em 2022 para descrever uma nova classe de vulnerabilidade em aplicações de IA generativa. Duas partes dessa frase merecem atenção.

  • "Cunhado em 2022": o nome é recente.
  • "Uma nova classe de vulnerabilidade": o termo foi criado para descrever uma nova classe de vulnerabilidade.

Este artigo não traz uma definição técnica além disso e não inclui exemplos de entradas de ataque. O objetivo é defensivo: ajudar quem lê a entender o que as principais fontes públicas medem e, assim, fazer perguntas melhores sobre a configuração dos próprios agentes.

Injeção de prompt x injeção de SQL: por que a comparação é contestada

A injeção de SQL existe há quase 30 anos e muitas vezes tem alto impacto. Os ataques de injeção de SQL foram descritos pela primeira vez nos anos 90 e chegaram ao auge por volta de 2010.

Aspecto Injeção de SQL Injeção de prompt
Quando surgiu Descrita pela primeira vez nos anos 90 Termo cunhado em 2022
Histórico segundo as afirmações Existe há quase 30 anos; os ataques chegaram ao auge por volta de 2010 Descrita como uma nova classe de vulnerabilidade em aplicações de IA generativa
Impacto mencionado nas afirmações Muitas vezes de alto impacto Não quantificado nas afirmações do NCSC usadas aqui

A tabela coloca as duas lado a lado só para mostrar a linha do tempo de cada uma. Ela não deve ser lida como se as duas funcionassem da mesma forma. Em uma notícia à parte, o NCSC, que faz parte do GCHQ, alertou os profissionais de cibersegurança contra comparar injeção de prompt com injeção de SQL.

A lição para quem lê é de método, não de detalhe. Se você já conhece a injeção de SQL, o alerta do NCSC sugere não presumir que esse conhecimento vale também para a injeção de prompt. Este artigo não reproduz todo o raciocínio do NCSC. Quem quiser conhecê-lo deve consultar o material original do NCSC (em inglês).

Como o CAISI testou o sequestro de agentes de IA

O CAISI descreveu seus experimentos de sequestro de agentes em um blog técnico do NIST sobre avaliações de sequestro de agentes. Segundo esse blog, o CAISI usou nesses experimentos o AgentDojo, um framework de código aberto desenvolvido por pesquisadores da ETH Zurich.

O AgentDojo tem quatro ambientes simulados:

  1. Workspace
  2. Travel
  3. Slack
  4. Banking

São ambientes simulados, não sistemas em produção. Isso pesa na leitura dos números da próxima seção: eles vêm de um framework de testes controlado, e o blog não diz que eles antecipam resultados em nenhuma implantação real específica.

O CAISI também abriu o código de suas melhorias no AgentDojo, de acordo com o mesmo blog do NIST. Como o framework é aberto, outros pesquisadores podem, em princípio, examinar as ferramentas e repetir os experimentos. Repetir uma avaliação publicada é bem diferente de afirmar que um sistema é seguro.

O que as taxas de sucesso dos ataques mostram e o que não mostram

O blog do NIST traz vários números do trabalho do CAISI. Eles aparecem abaixo exatamente como foram informados:

Medição informada pelo CAISI Valor
Taxa de sucesso do ataque, ataque de referência (baseline) mais forte 11%
Taxa de sucesso do ataque, novo ataque mais forte 81%
Taxa média de sucesso nas cinco tarefas de injeção listadas 57%
Tentativas por ataque de tarefa de injeção no teste de tentativas repetidas 25
Taxa média de sucesso do ataque após tentativas repetidas 80% (antes, 57%)

Dois pontos chamam a atenção nesses números:

  • O red teaming mudou o resultado. No red teaming do CAISI, a taxa de sucesso subiu de 11% no ataque de referência mais forte para 81% no novo ataque mais forte. Um número baixo em um teste de referência, sozinho, pode não refletir o que um esforço mais determinado conseguiria.
  • A repetição mudou o resultado. O CAISI tentou cada um dos cinco ataques de tarefa de injeção 25 vezes. Depois das tentativas repetidas, a taxa média de sucesso foi de 57% para 80%. Um número de tentativa única e um de tentativas repetidas medem coisas diferentes, e quem compara avaliações deve conferir qual deles está sendo apresentado.

Esses números descrevem os experimentos do CAISI no AgentDojo. Eles não são uma avaliação de nenhum produto, modelo ou fornecedor, e este artigo não os usa dessa forma.

Lições de uma grande competição de red teaming com agentes de IA

A competição Gray Swan, descrita em um post de pesquisa sobre uma competição de red teaming em larga escala, desafiou os participantes a criar ataques de sequestro contra 13 modelos de fronteira diferentes.

Segundo esse post, em mais de 250.000 tentativas de ataque feitas por mais de 400 participantes, foi encontrado pelo menos um ataque bem-sucedido contra cada um dos modelos de fronteira testados.

Vale ler essa frase com o peso exato que ela tem. Ela diz que foi encontrado pelo menos um ataque bem-sucedido contra cada modelo-alvo. Não diz com que frequência os ataques tiveram sucesso contra cada modelo, e este artigo não tira dela nenhum ranking. O que ela sustenta é mais limitado: naquela competição, nenhum dos 13 modelos de fronteira testados escapou de pelo menos um ataque bem-sucedido.

Injeção de prompt e agentes de IA para análise de mercado: perguntas a fazer

O foco deste artigo são as pessoas que automatizam a análise de mercado com agentes de IA. Nenhuma das fontes acima estuda especificamente agentes de trading ou de análise de mercado. Por isso, o que vem a seguir é uma lista de perguntas a fazer, não de conclusões:

  • Em qual teste se baseia uma alegação de segurança? O blog do NIST sobre sequestro de agentes mostra que, no trabalho do CAISI, ataques de referência e ataques mais fortes de red team, assim como tentativas únicas e repetidas, geraram números diferentes.
  • O sistema foi testado em ambiente simulado ou real? Os quatro ambientes do AgentDojo são simulados.
  • Alguém afirma que um produto elimina o risco? Este artigo não faz essa afirmação sobre nenhum produto. Os resultados da competição citada acima não autorizam presumir que algum dos modelos de fronteira testados seja imune.

Há ainda uma questão à parte, sobre informação de modo mais amplo. Boatos são usados para criar desinformação, aplicar golpes, espalhar códigos maliciosos, manipular opiniões e influenciar ações. Essa fonte trata de boatos em geral, não de agentes de IA nem de injeção de prompt, e este artigo não afirma nenhuma ligação entre os dois temas. A menção serve apenas como lembrete geral de que informação feita para manipular é, por si só, uma questão de segurança.

Para continuar a leitura no site, veja nosso explicativo sobre o que os reguladores dizem dos golpes com robôs de trading com IA e nosso artigo sobre se dá para usar o ChatGPT para conselhos de investimento (ambos em inglês).

Limites deste artigo

Este artigo traz informações educativas sobre injeção de prompt e pesquisas de segurança em agentes de IA. Não constitui recomendação de investimento nem indica qualquer produto, modelo, corretora ou ativo. Não explica como realizar ataques nem avalia se alguma ferramenta de defesa funciona. Não abrange todo o conteúdo das fontes que cita.