Der Begriff „Prompt Injection“ wurde 2022 geprägt, um eine neue Klasse von Schwachstellen in GenAI-Anwendungen zu beschreiben. Wer KI-Agenten entwickelt, auch solche, die Teile der Marktanalyse automatisieren, findet in den folgenden Forschungsergebnissen einen nüchternen Ausgangspunkt: was der Begriff umfasst, warum das NCSC vor einem bestimmten Vergleich warnt und was Tests zum Hijacking von KI-Agenten gemessen haben.

Was Prompt Injection in der generativen KI bedeutet

Der Begriff „Prompt Injection“ wurde 2022 geprägt, um eine neue Klasse von Schwachstellen in GenAI-Anwendungen zu beschreiben. Zwei Teile dieses Satzes sind wichtig.

  • „2022 geprägt“: Der Name ist jung.
  • „Eine neue Klasse von Schwachstellen“: Der Begriff wurde geschaffen, um eine neue Klasse von Schwachstellen zu beschreiben.

Eine darüber hinausgehende technische Definition liefert dieser Artikel nicht, und er enthält auch keine Beispiele für Angriffseingaben. Das Ziel ist defensiv: Leserinnen und Leser sollen verstehen, was die wichtigsten öffentlichen Quellen messen, damit sie zu ihren eigenen Agenten-Setups bessere Fragen stellen können.

Prompt Injection vs. SQL Injection: Warum der Vergleich umstritten ist

SQL Injection gibt es seit fast 30 Jahren, und sie hat oft gravierende Folgen. SQL-Injection-Angriffe wurden erstmals in den 90er-Jahren beschrieben und erreichten um 2010 ihren Höhepunkt.

Aspekt SQL Injection Prompt Injection
Erstes Auftreten Erstmals in den 90er-Jahren beschrieben Begriff 2022 geprägt
Geschichte laut den Aussagen Gibt es seit fast 30 Jahren; Angriffe erreichten um 2010 ihren Höhepunkt Als neue Klasse von Schwachstellen in GenAI-Anwendungen beschrieben
In den Aussagen genannte Auswirkungen Oft gravierende Folgen In den hier verwendeten NCSC-Aussagen nicht beziffert

Die Tabelle stellt beide nur nebeneinander, um ihre zeitliche Entwicklung zu zeigen. Sie sollte nicht so gelesen werden, als funktionierten beide auf dieselbe Weise. In einer separaten Meldung hat das NCSC, das zum GCHQ gehört, Fachleute für Cybersicherheit davor gewarnt, Prompt Injection mit SQL Injection zu vergleichen.

Die Lehre daraus betrifft die Methode, nicht die Details. Wer SQL Injection bereits kennt, sollte nach der Warnung des NCSC nicht davon ausgehen, dass sich dieses Wissen auf Prompt Injection übertragen lässt. Die vollständige Begründung des NCSC gibt dieser Artikel nicht wieder. Wer sie nachlesen möchte, sollte sich an das Originalmaterial des NCSC halten.

Wie CAISI das Hijacking von KI-Agenten getestet hat

CAISI hat seine Experimente zum Agenten-Hijacking in einem technischen NIST-Blog über Evaluierungen von Agenten-Hijacking beschrieben. Laut diesem Blog nutzte CAISI für die Experimente AgentDojo, ein Open-Source-Framework, das von Forschenden der ETH Zürich entwickelt wurde.

AgentDojo verfügt über vier simulierte Umgebungen:

  1. Workspace
  2. Travel
  3. Slack
  4. Banking

Es handelt sich um simulierte Umgebungen, nicht um Live-Systeme. Das ist wichtig für die Zahlen im nächsten Abschnitt: Sie stammen aus einem kontrollierten Test-Framework, und der Blog behauptet nicht, dass sie Ergebnisse in einem bestimmten realen Einsatz vorhersagen.

Laut demselben NIST-Blog hat CAISI seine Verbesserungen an AgentDojo zudem als Open Source veröffentlicht. Weil das Framework offen ist, können andere Forschende die Werkzeuge grundsätzlich einsehen und Experimente wiederholen. Eine veröffentlichte Evaluierung zu wiederholen ist allerdings etwas anderes, als zu behaupten, ein System sei sicher.

Was die Erfolgsquoten der Angriffe zeigen – und was nicht

Der NIST-Blog nennt mehrere Zahlen aus der Arbeit von CAISI. Sie sind hier genau so aufgeführt, wie sie dort angegeben werden:

Von CAISI berichtete Messung Wert
Erfolgsquote, stärkster Baseline-Angriff 11%
Erfolgsquote, stärkster neuer Angriff 81%
Durchschnittliche Erfolgsquote über die fünf aufgeführten Injection-Aufgaben 57%
Versuche pro Injection-Angriff im Test mit wiederholten Versuchen 25
Durchschnittliche Erfolgsquote nach wiederholten Versuchen 80% (zuvor 57%)

Beim Lesen dieser Zahlen fallen zwei Punkte auf:

  • Red Teaming hat das Ergebnis verändert. Beim Red Teaming von CAISI stieg die Erfolgsquote von 11% beim stärksten Baseline-Angriff auf 81% beim stärksten neuen Angriff. Ein niedriger Wert aus einem Baseline-Test beschreibt für sich genommen möglicherweise nicht, was ein entschlossenerer Versuch erreichen könnte.
  • Wiederholung hat das Ergebnis verändert. CAISI führte jeden der fünf Injection-Angriffe 25-mal durch. Nach wiederholten Versuchen stieg die durchschnittliche Erfolgsquote von 57% auf 80%. Ein Wert aus einem einzelnen Versuch und ein Wert aus wiederholten Versuchen beschreiben unterschiedliche Dinge. Wer Evaluierungen vergleicht, sollte daher prüfen, welcher der beiden angegeben wird.

Diese Zahlen beschreiben die Experimente von CAISI in AgentDojo. Sie sind keine Bewertung eines Produkts, Modells oder Anbieters, und dieser Artikel verwendet sie auch nicht so.

Lehren aus einem großen Red-Teaming-Wettbewerb zu KI-Agenten

Beim Gray-Swan-Wettbewerb, der in einem Forschungsblog-Beitrag über einen groß angelegten Red-Teaming-Wettbewerb beschrieben wird, sollten die Teilnehmenden Hijacking-Angriffe gegen 13 verschiedene Frontier-Modelle entwickeln.

Laut diesem Beitrag wurde bei mehr als 250.000 Angriffsversuchen von über 400 Teilnehmenden gegen jedes der Ziel-Frontier-Modelle mindestens ein erfolgreicher Angriff gefunden.

Dieser Satz sollte genau in seiner angegebenen Tragweite gelesen werden. Er besagt, dass gegen jedes Zielmodell mindestens ein erfolgreicher Angriff gefunden wurde. Er sagt nicht, wie oft Angriffe gegen die einzelnen Modelle erfolgreich waren, und dieser Artikel leitet daraus keine Rangliste ab. Belegt wird etwas Engeres: In diesem Wettbewerb blieb keines der 13 Ziel-Frontier-Modelle ohne mindestens einen erfolgreichen Angriff.

Prompt Injection und KI-Agenten für die Marktanalyse: Fragen, die man stellen sollte

Dieser Artikel richtet sich an Menschen, die Marktanalysen mit KI-Agenten automatisieren. Keine der oben genannten Quellen untersucht speziell Trading- oder Marktanalyse-Agenten. Was folgt, sind daher Fragen, keine Befunde:

  • Auf welchem Test beruht eine Sicherheitsaussage? Der NIST-Blog zum Agenten-Hijacking zeigt, dass Baseline-Angriffe und stärkere Red-Team-Angriffe sowie einzelne und wiederholte Versuche in der Arbeit von CAISI zu unterschiedlichen Werten führten.
  • Wurde das System in einer simulierten oder einer realen Umgebung getestet? Die vier Umgebungen von AgentDojo sind simuliert.
  • Behauptet jemand, ein Produkt beseitige das Risiko? Dieser Artikel stellt eine solche Behauptung über kein Produkt auf. Die oben genannten Wettbewerbsergebnisse stützen nicht die Annahme, dass irgendein Ziel-Frontier-Modell immun ist.

Ein weiterer Punkt betrifft Informationen im weiteren Sinne. Gerüchte werden genutzt, um Desinformation zu erzeugen, Betrug zu begehen, Malware zu verbreiten, Meinungen zu manipulieren und Handlungen zu beeinflussen. Diese Quelle befasst sich mit Gerüchten allgemein, nicht mit KI-Agenten oder Prompt Injection, und hier wird kein Zusammenhang zwischen beidem behauptet. Sie dient lediglich als allgemeine Erinnerung daran, dass manipulativ gemeinte Informationen ein eigenes Sicherheitsthema sind.

Weiterführende Lektüre auf dieser Website: unser Erklärstück dazu, was Aufsichtsbehörden über Betrug mit KI-Trading-Bots sagen, und unser Artikel zur Frage, ob sich ChatGPT für Anlageberatung nutzen lässt.

Grenzen dieses Artikels

Dieser Artikel bietet Bildungsinformationen zu Prompt Injection und zur Sicherheitsforschung bei KI-Agenten. Er stellt keine Anlageberatung dar und empfiehlt weder Produkte noch Modelle, Broker oder Vermögenswerte. Er erklärt nicht, wie Angriffe durchgeführt werden, und beurteilt nicht, ob ein Abwehrwerkzeug wirksam ist. Er gibt nicht den vollständigen Inhalt der zitierten Quellen wieder.