Le terme « injection de prompt » (prompt injection) a été forgé en 2022 pour désigner une nouvelle classe de vulnérabilités propre aux applications d'IA générative. Si vous concevez des agents d'IA, y compris des agents qui automatisent une partie de l'analyse de marché, les travaux présentés ci-dessous offrent un point de départ sobre : ce que recouvre le terme, pourquoi le NCSC met en garde contre une comparaison en particulier, et ce qu'ont mesuré les tests de détournement d'agents d'IA.
Ce que signifie l'injection de prompt en IA générative
Le terme « injection de prompt » a été forgé en 2022 pour désigner une nouvelle classe de vulnérabilités propre aux applications d'IA générative. Deux éléments de cette phrase méritent qu'on s'y arrête.
- « Forgé en 2022 » : l'appellation est récente.
- « Une nouvelle classe de vulnérabilités » : le terme a été créé précisément pour nommer une nouvelle classe de vulnérabilités.
Cet article ne va pas au-delà de cette définition sur le plan technique et ne contient aucun exemple d'entrée malveillante. Son objectif est défensif : aider le lecteur à comprendre ce que mesurent les principales sources publiques, afin de poser de meilleures questions sur ses propres configurations d'agents.
Injection de prompt et injection SQL : une comparaison contestée
L'injection SQL existe depuis près de 30 ans et ses conséquences sont souvent lourdes. Les attaques par injection SQL ont été décrites pour la première fois dans les années 90 et ont atteint leur pic vers 2010.
| Aspect | Injection SQL | Injection de prompt |
|---|---|---|
| Apparition | Décrite pour la première fois dans les années 90 | Terme forgé en 2022 |
| Historique selon les sources | Existe depuis près de 30 ans ; pic des attaques vers 2010 | Présentée comme une nouvelle classe de vulnérabilités des applications d'IA générative |
| Impact mentionné dans les sources | Souvent lourd de conséquences | Non quantifié dans les éléments du NCSC utilisés ici |
Ce tableau met les deux notions côte à côte uniquement pour comparer leurs chronologies. Il ne faut pas en déduire qu'elles fonctionnent de la même manière. Dans une actualité distincte, le NCSC, qui fait partie du GCHQ, a mis en garde les professionnels de la cybersécurité contre la tentation de comparer l'injection de prompt à l'injection SQL.
Pour le lecteur, la leçon porte sur la méthode plutôt que sur le détail. Si vous connaissez déjà l'injection SQL, la mise en garde du NCSC invite à ne pas supposer que vos connaissances se transposent telles quelles à l'injection de prompt. Cet article ne reprend pas l'ensemble du raisonnement du NCSC ; pour cela, mieux vaut se reporter aux documents originaux de l'agence.
Comment le CAISI a testé le détournement d'agents d'IA
Le CAISI a décrit ses expériences de détournement d'agents dans un billet technique du NIST consacré à l'évaluation du détournement d'agents. Selon ce billet, le CAISI s'est appuyé pour ces expériences sur AgentDojo, un framework open source développé par des chercheurs de l'ETH Zurich.
AgentDojo propose quatre environnements simulés :
- Workspace
- Travel
- Slack
- Banking
Il s'agit d'environnements simulés, et non de systèmes en production. Ce point compte au moment de lire les chiffres de la section suivante : ils proviennent d'un cadre de test contrôlé, et le billet n'affirme pas qu'ils permettent de prédire les résultats d'un déploiement réel donné.
Le CAISI a également publié en open source ses améliorations d'AgentDojo, d'après le même billet du NIST. Le framework étant ouvert, d'autres chercheurs peuvent en principe examiner les outils et reproduire les expériences. Reproduire une évaluation publiée est toutefois tout autre chose que d'affirmer qu'un système est sûr.
Ce que montrent les taux de réussite des attaques, et ce qu'ils ne montrent pas
Le billet du NIST rapporte plusieurs chiffres issus des travaux du CAISI. Les voici, tels qu'ils sont énoncés :
| Mesure rapportée par le CAISI | Valeur |
|---|---|
| Taux de réussite, attaque de référence la plus efficace | 11% |
| Taux de réussite, nouvelle attaque la plus efficace | 81% |
| Taux de réussite moyen sur les cinq tâches d'injection répertoriées | 57% |
| Tentatives par attaque de tâche d'injection lors du test de tentatives répétées | 25 |
| Taux de réussite moyen après tentatives répétées | 80% (contre 57% auparavant) |
Deux enseignements ressortent de ces chiffres :
- Le red teaming a changé la donne. Lors du red teaming mené par le CAISI, le taux de réussite est passé de 11% pour l'attaque de référence la plus efficace à 81% pour la nouvelle attaque la plus efficace. Un chiffre faible obtenu lors d'un test de référence ne dit pas forcément, à lui seul, ce qu'un effort plus déterminé pourrait obtenir.
- La répétition a changé la donne. Le CAISI a tenté chacune des attaques portant sur les cinq tâches d'injection 25 fois. Après ces tentatives répétées, le taux de réussite moyen est passé de 57% à 80%. Un chiffre obtenu en une seule tentative et un chiffre obtenu après plusieurs tentatives ne décrivent pas la même chose : quiconque compare des évaluations doit vérifier lequel des deux est rapporté.
Ces chiffres décrivent les expériences du CAISI dans AgentDojo. Ils ne constituent pas une note attribuée à un produit, un modèle ou un fournisseur, et cet article ne les utilise pas ainsi.
Les enseignements d'une vaste compétition de red teaming sur les agents d'IA
La compétition Gray Swan, décrite dans un billet de recherche consacré à une compétition de red teaming à grande échelle, mettait les participants au défi de concevoir des attaques de détournement contre 13 modèles de pointe différents.
Selon ce billet, sur plus de 250,000 tentatives d'attaque menées par plus de 400 participants, au moins une attaque réussie a été trouvée contre chacun des modèles de pointe ciblés.
Il faut lire cette phrase pour ce qu'elle dit, ni plus ni moins. Elle indique qu'au moins une attaque réussie a été trouvée contre chaque modèle ciblé. Elle ne dit pas à quelle fréquence les attaques ont réussi contre chacun d'eux, et cet article n'en tire aucun classement. Sa portée est plus étroite : dans cette compétition, aucun des 13 modèles de pointe ciblés n'a échappé à au moins une attaque réussie.
Injection de prompt et agents d'IA pour l'analyse de marché : les questions à se poser
Cet article s'adresse notamment à celles et ceux qui automatisent l'analyse de marché à l'aide d'agents d'IA. Aucune des sources citées n'étudie spécifiquement les agents de trading ou d'analyse de marché ; ce qui suit est donc une liste de questions à se poser, et non des résultats :
- Sur quel test repose une affirmation de sécurité ? Le billet du NIST sur le détournement d'agents montre que, dans les travaux du CAISI, les attaques de référence et les attaques de red teaming plus poussées, tout comme les tentatives uniques et répétées, ont donné des chiffres différents.
- Le système a-t-il été testé dans un environnement simulé ou réel ? Les quatre environnements d'AgentDojo sont simulés.
- Quelqu'un prétend-il qu'un produit élimine le risque ? Cet article ne formule aucune affirmation de ce type à propos d'un quelconque produit. Les résultats de la compétition évoquée plus haut ne permettent pas de supposer qu'un modèle de pointe ciblé serait immunisé.
Une remarque distincte concerne l'information au sens large. Les rumeurs servent à créer de la désinformation, à commettre des fraudes, à propager des logiciels malveillants, à manipuler les opinions et à influencer les actions. Cette source traite des rumeurs en général, et non des agents d'IA ou de l'injection de prompt ; aucun lien entre les deux n'est affirmé ici. Elle figure simplement pour rappeler que l'information conçue pour manipuler constitue en soi un enjeu de sécurité.
Pour aller plus loin sur ce site, consultez notre article explicatif sur ce que disent les régulateurs des arnaques aux robots de trading à base d'IA (en anglais) et notre article sur la question de savoir si ChatGPT peut servir à obtenir des conseils en investissement (en anglais).
Limites de cet article
Cet article propose des informations pédagogiques sur l'injection de prompt et la recherche en sécurité des agents d'IA. Il ne constitue pas un conseil en investissement et ne recommande aucun produit, modèle, courtier ou actif. Il n'explique pas comment mener des attaques et ne se prononce pas sur l'efficacité d'un quelconque outil de défense. Il ne couvre pas l'intégralité du contenu des sources qu'il cite.