'프롬프트 인젝션(prompt injection)'이라는 용어는 2022년에 생성형 AI 애플리케이션의 새로운 취약점 유형을 설명하기 위해 만들어졌습니다. 시장 분석 업무 일부를 자동화하는 에이전트를 포함해 AI 에이전트를 만드는 사람이라면, 아래에 정리한 연구 자료를 차분하게 출발점으로 삼을 수 있습니다. 이 용어가 무엇을 가리키는지, NCSC가 왜 특정 비교를 경계하는지, 그리고 AI 에이전트 하이재킹 테스트에서 무엇을 측정했는지 차례로 살펴보겠습니다.
생성형 AI에서 프롬프트 인젝션이 뜻하는 것
'프롬프트 인젝션'이라는 용어는 2022년에 만들어졌습니다. 생성형 AI 애플리케이션의 새로운 취약점 유형을 설명하기 위해서였습니다. 이 문장에서 눈여겨볼 대목은 두 가지입니다.
- "2022년에 만들어진 용어": 이름 자체가 최근에 생겼습니다.
- "새로운 취약점 유형": 새로운 유형의 취약점을 설명하려고 만든 용어입니다.
이 글은 여기서 더 나아간 기술적 정의를 제시하지 않으며, 공격 입력 예시도 싣지 않습니다. 목적은 방어에 있습니다. 주요 공개 자료가 무엇을 측정했는지 이해하도록 돕고, 독자가 자신의 에이전트 환경에 대해 더 나은 질문을 던질 수 있게 하려는 것입니다.
프롬프트 인젝션과 SQL 인젝션: 이 비교에 이견이 있는 이유
SQL 인젝션은 30년 가까이 존재해 왔고 그 영향이 큰 경우가 많습니다. SQL 인젝션 공격은 90년대에 처음 보고되었고 2010년 무렵 정점을 찍었습니다.
| 구분 | SQL 인젝션 | 프롬프트 인젝션 |
|---|---|---|
| 등장 시기 | 90년대에 처음 보고됨 | 2022년에 용어가 만들어짐 |
| 출처에 나온 연혁 | 30년 가까이 존재해 옴; 공격은 2010년 무렵 정점 | 생성형 AI 애플리케이션의 새로운 취약점 유형으로 설명됨 |
| 출처에 나온 영향 | 영향이 큰 경우가 많음 | 여기서 인용한 NCSC 자료에서는 수치로 제시되지 않음 |
이 표는 두 개념의 시간 흐름을 보여 주려고 나란히 놓았을 뿐입니다. 둘이 같은 방식으로 작동한다는 뜻으로 읽어서는 안 됩니다. 실제로 별도의 뉴스 자료에서 GCHQ 산하 기관인 NCSC는 사이버 보안 전문가들에게 프롬프트 인젝션을 SQL 인젝션과 비교하지 말라고 당부했습니다.
독자가 가져갈 교훈은 세부 내용이 아니라 접근 방식에 관한 것입니다. 이미 SQL 인젝션을 잘 안다면, NCSC의 당부는 그 지식이 프롬프트 인젝션에도 그대로 통하리라고 가정하지 말라는 신호로 읽을 수 있습니다. 이 글은 NCSC의 논거 전체를 다루지 않습니다. 자세한 내용이 궁금하다면 NCSC 원문을 직접 확인하시기 바랍니다.
CAISI는 AI 에이전트 하이재킹을 어떻게 테스트했나
CAISI는 에이전트 하이재킹 평가에 관한 NIST 기술 블로그에서 자신들의 실험을 소개했습니다. 이 블로그에 따르면 CAISI는 ETH 취리히 연구진이 개발한 오픈소스 프레임워크인 AgentDojo를 실험에 사용했습니다.
AgentDojo에는 네 가지 시뮬레이션 환경이 있습니다.
- Workspace
- Travel
- Slack
- Banking
이것들은 실제 운영 중인 시스템이 아니라 시뮬레이션 환경입니다. 다음 절의 수치를 읽을 때 이 점이 중요합니다. 수치는 통제된 테스트 프레임워크에서 나온 것이며, 블로그는 이 수치가 특정 실제 배포 환경의 결과를 예측한다고 말하지 않습니다.
같은 NIST 블로그에 따르면 CAISI는 AgentDojo 개선 사항도 오픈소스로 공개했습니다. 프레임워크가 공개되어 있으니 다른 연구자도 원칙적으로는 도구를 살펴보고 실험을 다시 돌려 볼 수 있습니다. 다만 공개된 평가를 재현하는 일과 어떤 시스템이 안전하다고 주장하는 일은 전혀 다른 문제입니다.
공격 성공률이 보여 주는 것과 보여 주지 않는 것
NIST 블로그는 CAISI 연구에서 나온 여러 수치를 보고합니다. 여기에는 원문에 적힌 그대로 옮깁니다.
| CAISI가 보고한 측정 항목 | 수치 |
|---|---|
| 공격 성공률, 가장 강력한 기준(baseline) 공격 | 11% |
| 공격 성공률, 가장 강력한 신규 공격 | 81% |
| 제시된 다섯 가지 인젝션 과제의 평균 성공률 | 57% |
| 반복 시도 테스트에서 인젝션 과제별 공격 시도 횟수 | 25 |
| 반복 시도 후 평균 공격 성공률 | 80% (57%에서 상승) |
이 수치를 읽을 때 두드러지는 점이 두 가지 있습니다.
- 레드팀 활동이 결과를 바꿨습니다. CAISI의 레드팀 활동에서 공격 성공률은 가장 강력한 기준 공격의 11%에서 가장 강력한 신규 공격의 81%로 올라갔습니다. 기준 테스트에서 나온 낮은 수치만으로는 더 집요한 시도가 어디까지 갈 수 있는지 알 수 없을지도 모릅니다.
- 반복이 결과를 바꿨습니다. CAISI는 다섯 가지 인젝션 과제 공격을 각각 25회씩 시도했습니다. 반복 시도 후 평균 공격 성공률은 57%에서 80%로 높아졌습니다. 1회 시도 수치와 반복 시도 수치는 서로 다른 것을 나타내므로, 평가 결과를 비교할 때는 어느 쪽 수치인지 먼저 확인해야 합니다.
이 수치는 AgentDojo에서 진행한 CAISI의 실험을 설명하는 것입니다. 특정 제품, 모델 또는 업체에 대한 평가가 아니며, 이 글도 그런 용도로 쓰지 않습니다.
대규모 AI 에이전트 레드팀 대회에서 얻은 교훈
대규모 레드팀 대회에 관한 연구 블로그 글에 소개된 Gray Swan 대회는 참가자들에게 서로 다른 13개 프런티어 모델을 대상으로 하이재킹 공격을 만들어 보라는 과제를 냈습니다.
이 글에 따르면 400명이 넘는 참가자가 250,000회 이상 공격을 시도한 결과, 대상이 된 모든 프런티어 모델에서 성공한 공격이 하나 이상 나왔습니다.
이 문장은 쓰인 그대로의 강도로만 읽어야 합니다. 각 대상 모델에서 성공한 공격이 적어도 하나는 발견되었다는 뜻입니다. 모델별로 공격이 얼마나 자주 성공했는지는 말하지 않으며, 이 글도 여기서 어떤 순위를 끌어내지 않습니다. 이 결과가 뒷받침하는 내용은 좀 더 좁습니다. 그 대회에서 대상이 된 13개 프런티어 모델 가운데 성공한 공격을 단 하나도 허용하지 않은 모델은 없었다는 것입니다.
시장 분석용 AI 에이전트와 프롬프트 인젝션: 던져 볼 질문들
이 글은 AI 에이전트로 시장 분석을 자동화하는 사람들을 염두에 두고 썼습니다. 다만 위의 출처 가운데 트레이딩이나 시장 분석 에이전트를 따로 연구한 것은 없습니다. 그래서 아래 내용은 연구 결과가 아니라 스스로 던져 볼 질문 목록입니다.
- 보안 주장이 어떤 테스트에 근거하고 있나요? NIST 에이전트 하이재킹 블로그를 보면, CAISI 연구에서 기준 공격과 더 강력한 레드팀 공격, 그리고 1회 시도와 반복 시도는 서로 다른 수치를 냈습니다.
- 시스템을 시뮬레이션 환경에서 테스트했나요, 실제 환경에서 테스트했나요? AgentDojo의 네 가지 환경은 시뮬레이션입니다.
- 어떤 제품이 위험을 없애 준다고 주장하는 사람이 있나요? 이 글은 어떤 제품에 대해서도 그런 주장을 하지 않습니다. 위의 대회 결과는 대상이 된 프런티어 모델 중 어느 것이든 공격에 면역이라고 가정할 근거가 되지 않습니다.
정보 전반에 관해서도 따로 짚어 둘 점이 있습니다. 루머는 허위 정보를 만들고, 사기를 저지르고, 악성코드를 퍼뜨리고, 여론을 조작하고, 행동에 영향을 미치는 데 쓰입니다. 이 출처는 루머 일반에 관한 것이지 AI 에이전트나 프롬프트 인젝션에 관한 것이 아니며, 이 글은 둘 사이에 어떤 연관도 주장하지 않습니다. 조작을 노린 정보는 그 자체로 하나의 보안 문제라는 점을 상기시키려고 덧붙였을 뿐입니다.
함께 읽을 만한 글로는 AI 트레이딩 봇 사기에 대해 규제 당국이 하는 말을 정리한 해설과 ChatGPT를 투자 조언에 활용할 수 있는지를 다룬 글이 있습니다.
이 글의 한계
이 글은 프롬프트 인젝션과 AI 에이전트 보안 연구에 관한 교육용 정보입니다. 투자 조언이 아니며 특정 제품, 모델, 브로커 또는 자산을 추천하지 않습니다. 공격 수행 방법을 설명하지 않으며, 어떤 방어 도구가 효과가 있는지도 판단하지 않습니다. 인용한 출처의 내용 전체를 다루지는 않습니다.