El término «inyección de prompts» (prompt injection) se acuñó en 2022 para describir una nueva clase de vulnerabilidad en las aplicaciones de IA generativa. Si desarrollas agentes de IA, incluidos los que automatizan parte del análisis de mercados, la investigación que repasamos aquí te da un punto de partida sobrio: qué abarca el término, por qué el NCSC desaconseja cierta comparación y qué midieron las pruebas de secuestro de agentes de IA.
Qué significa la inyección de prompts en la IA generativa
El término «inyección de prompts» se acuñó en 2022 para describir una nueva clase de vulnerabilidad en las aplicaciones de IA generativa. Hay dos partes de esa frase que importan.
- «Se acuñó en 2022»: el nombre es reciente.
- «Una nueva clase de vulnerabilidad»: el término nació para describir una nueva clase de vulnerabilidad.
Este artículo no ofrece una definición técnica más allá de eso y no incluye ejemplos de entradas de ataque. El objetivo es defensivo: ayudar a entender qué miden las principales fuentes públicas para que puedas plantear mejores preguntas sobre la configuración de tus propios agentes.
Inyección de prompts frente a inyección SQL: por qué la comparación es discutida
La inyección SQL existe desde hace casi 30 años y a menudo tiene un impacto muy elevado. Los ataques de inyección SQL se describieron por primera vez en los años 90 y alcanzaron su punto álgido hacia 2010.
| Aspecto | Inyección SQL | Inyección de prompts |
|---|---|---|
| Cuándo apareció | Descrita por primera vez en los años 90 | Término acuñado en 2022 |
| Trayectoria según las afirmaciones | Existe desde hace casi 30 años; los ataques alcanzaron su punto álgido hacia 2010 | Descrita como una nueva clase de vulnerabilidad en aplicaciones de IA generativa |
| Impacto señalado en las afirmaciones | A menudo de impacto muy elevado | No cuantificado en las afirmaciones del NCSC utilizadas aquí |
La tabla coloca ambas una junto a otra solo para mostrar sus cronologías. No debe leerse como si funcionaran de la misma manera. En una noticia aparte, el NCSC, que forma parte del GCHQ, advirtió a los profesionales de la ciberseguridad contra la comparación entre la inyección de prompts y la inyección SQL.
Para el lector, la lección es de método, no de detalle. Si ya conoces la inyección SQL, la advertencia del NCSC invita a no dar por hecho que lo que sabes de ella se traslada a la inyección de prompts. Este artículo no recoge el razonamiento completo del NCSC; quien quiera conocerlo debería acudir al material original del NCSC.
Cómo probó el CAISI el secuestro de agentes de IA
El CAISI describió sus experimentos de secuestro de agentes en un blog técnico del NIST sobre evaluaciones de secuestro de agentes. Según ese blog, el CAISI utilizó para estos experimentos AgentDojo, un framework de código abierto desarrollado por investigadores de ETH Zurich.
AgentDojo cuenta con cuatro entornos simulados:
- Workspace
- Travel
- Slack
- Banking
Se trata de escenarios simulados, no de sistemas reales en funcionamiento. Esto es importante al leer las cifras de la siguiente sección: proceden de un marco de pruebas controlado, y el blog no afirma que predigan resultados en ningún despliegue real concreto.
El CAISI también publicó como código abierto sus mejoras a AgentDojo, según el mismo blog del NIST. Al ser abierto el framework, otros investigadores pueden, en principio, examinar las herramientas y repetir los experimentos. Repetir una evaluación publicada es algo muy distinto de afirmar que un sistema es seguro.
Qué muestran las tasas de éxito de los ataques y qué no
El blog del NIST recoge varias cifras del trabajo del CAISI. Aquí aparecen tal y como se publicaron:
| Medición publicada por el CAISI | Cifra |
|---|---|
| Tasa de éxito del ataque, ataque de referencia más fuerte | 11% |
| Tasa de éxito del ataque, nuevo ataque más fuerte | 81% |
| Tasa de éxito media en las cinco tareas de inyección enumeradas | 57% |
| Intentos por ataque de tarea de inyección en la prueba de intentos repetidos | 25 |
| Tasa media de éxito de los ataques tras intentos repetidos | 80% (frente al 57%) |
Al leer estas cifras destacan dos puntos:
- El red teaming cambió el resultado. En el red teaming del CAISI, la tasa de éxito de los ataques pasó del 11% con el ataque de referencia más fuerte al 81% con el nuevo ataque más fuerte. Una cifra baja obtenida en una prueba de referencia, por sí sola, puede no reflejar lo que conseguiría un esfuerzo más decidido.
- La repetición cambió el resultado. El CAISI intentó cada uno de los cinco ataques de tareas de inyección 25 veces. Tras los intentos repetidos, la tasa media de éxito de los ataques pasó del 57% al 80%. Una cifra de un solo intento y otra de intentos repetidos describen cosas distintas, y quien compare evaluaciones debería comprobar cuál de ellas se está presentando.
Estas cifras describen los experimentos del CAISI en AgentDojo. No son una calificación de ningún producto, modelo o proveedor, y este artículo no las utiliza de ese modo.
Lecciones de una gran competición de red teaming sobre agentes de IA
La competición Gray Swan, descrita en una entrada de blog de investigación sobre una competición de red teaming a gran escala, retó a los participantes a diseñar ataques de secuestro contra 13 modelos de frontera distintos.
Según esa entrada, a lo largo de más de 250.000 intentos de ataque de más de 400 participantes, se encontró al menos un ataque con éxito contra cada uno de los modelos de frontera objetivo.
Conviene leer esa frase con el alcance exacto que tiene. Dice que se encontró al menos un ataque con éxito contra cada modelo objetivo. No dice con qué frecuencia tuvieron éxito los ataques contra cada modelo, y este artículo no extrae de ella ninguna clasificación. Lo que respalda es más acotado: en esa competición, ninguno de los 13 modelos de frontera objetivo se libró de al menos un ataque con éxito.
Inyección de prompts y agentes de IA para análisis de mercados: preguntas que conviene hacerse
Este artículo se dirige a quienes automatizan el análisis de mercados con agentes de IA. Ninguna de las fuentes anteriores estudia específicamente agentes de trading o de análisis de mercados, así que lo que sigue es una lista de preguntas, no de conclusiones:
- ¿En qué prueba se basa una afirmación de seguridad? El blog del NIST sobre secuestro de agentes muestra que los ataques de referencia y los ataques de red teaming más fuertes, así como los intentos únicos y los repetidos, dieron cifras distintas en el trabajo del CAISI.
- ¿Se probó el sistema en un entorno simulado o en uno real? Los cuatro entornos de AgentDojo son simulados.
- ¿Alguien afirma que un producto elimina el riesgo? Este artículo no hace tal afirmación sobre ningún producto. Los resultados de la competición mencionados no permiten suponer que algún modelo de frontera objetivo sea inmune.
Hay otra cuestión, relativa a la información en general. Los rumores se utilizan para crear desinformación, cometer fraudes, propagar malware, manipular opiniones e influir en las acciones. Esa fuente trata sobre los rumores en general, no sobre agentes de IA ni sobre inyección de prompts, y aquí no se afirma ningún vínculo entre ambos temas. Se incluye como recordatorio general de que la información pensada para manipular es, en sí misma, un problema de seguridad.
Si quieres seguir leyendo en este sitio, consulta nuestra guía sobre lo que dicen los reguladores acerca de las estafas con bots de trading con IA y nuestro artículo sobre si ChatGPT puede usarse para obtener consejos de inversión (ambos en inglés).
Límites de este artículo
Este artículo ofrece información educativa sobre la inyección de prompts y la investigación en seguridad de agentes de IA. No constituye asesoramiento de inversión ni recomienda ningún producto, modelo, bróker o activo. No explica cómo llevar a cabo ataques ni valora si alguna herramienta defensiva funciona. No abarca todo el contenido de las fuentes que cita.