Jailbreaking (AI)

AI 모델을 탈옥시키는 것은 악성코드, 무기 제작 지침, 괴롭힘과 같이 개발자가 거부하도록 학습시키거나 지시한 출력을 생성하게 만드는 입력을 만드는 것을 의미합니다. 공격 대상은 대개 유해한 요청을 거부하도록 안전성 학습을 거친 대규모 언어 모델(LLM)과 비전-언어 모델(VLM)이며, 이 용어는 제조업체의 제한을 제거하기 위해 휴대폰을 탈옥하던 데서 유래했습니다. 탈옥은 전적으로 모델 입력을 통해 이루어지므로 채팅 창에 접근할 수 있는 사람이라면 누구나 시도할 수 있습니다. 따라서 탈옥 방어는 AI 안전성의 핵심 관심사이며, 모델 출시 전에 AI 레드팀 테스트가 집중적으로 조사하는 주요 항목입니다.

탈옥이 작동하는 이유#

2023년 연구인 "Jailbroken: How Does LLM Safety Training Fail?"은 성공적인 탈옥이 안전성 학습의 두 가지 실패 유형에서 비롯된다고 밝혔습니다.

• 목표 간 충돌: 모델은 지시를 유용하게 따르도록 학습되는 동시에 유해한 요청을 거부하도록 학습됩니다. 역할극 시나리오나 답변을 "네, 여기 있습니다"로 시작하라는 지시처럼 거부를 유용성의 실패로 보이게 만드는 프롬프트는 두 목표를 서로 대립시킵니다.
• 일반화 불일치: 사전 학습은 안전성 학습에서 다루지 않은 능력을 모델에 부여합니다. Base64로 인코딩하거나, 저자원 언어로 작성하거나, 암호문으로 감싼 유해한 요청은 모델이 평범한 영어에 대해 학습한 거부 동작을 유발하지 않은 채 해당 능력을 끌어냅니다.

일반적인 탈옥 기법#

• 페르소나 및 역할극 프롬프트: 2022년 말부터 ChatGPT를 대상으로 확산된 "DAN("Do Anything Now")" 프롬프트는 모델에게 제한이 없는 AI 역할을 하도록 지시했습니다.
• 난독화: 인코딩, 철자 오류, 암호, 번역은 모델이 요청을 해독할 수 있는 상태로 두면서 안전성 학습이 요청을 알아채지 못하게 합니다.
• 다중 샷 탈옥: 공격자는 긴 컨텍스트 창에 유해한 요청을 따르는 어시스턴트의 가짜 대화 수백 개를 채우고, 문맥 내 학습이 그 패턴을 실제 답변으로 이어지게 합니다.
• 다중 턴 단계적 유도: Microsoft의 Crescendo 공격은 무해한 질문으로 시작해 대화를 턴마다 점진적으로 제한된 목표 쪽으로 이끕니다.
• 최적화된 적대적 접미사: GCG 방식은 오픈 웨이트 모델에서 그래디언트 기반 탐색을 수행해 요청 뒤에 붙이면 거부를 억제하는 의미 없는 토큰 문자열을 찾습니다. 이렇게 찾은 문자열은 ChatGPT, Bard, Claude와 같은 폐쇄형 모델에도 전이되었습니다.
• 타이포그래피 이미지 프롬프트: FigStep 공격은 유해한 요청을 이미지 안의 타이포그래피로 표현하여, 텍스트만 대상으로 안전성 학습을 받은 VLM을 우회합니다.

탈옥과 관련 공격 비교#

• 프롬프트 인젝션: 에이전트가 읽는 웹 페이지와 같은 신뢰할 수 없는 콘텐츠에 지시를 몰래 삽입해 애플리케이션의 작업을 가로챕니다. 예를 들어 사용자의 데이터를 유출하게 할 수 있습니다. 탈옥은 모델 자체의 안전성 학습을 대상으로 합니다. OWASP Top 10 for LLM Applications는 탈옥을 프롬프트 인젝션의 한 형태로 분류하며, 실제 공격은 두 방식을 함께 사용하는 경우가 많습니다.
• 적대적 공격: 입력에 작은 교란을 가해 잘못된 예측을 유도합니다. GCG 접미사는 탈옥에 사용되는 적대적 예제이며, 객체 검출기에서 사람을 숨기는 인쇄 패치는 검출기에 우회할 안전 정책이 없으므로 적대적 공격에만 해당합니다.
• AI 레드팀 테스트: 보안 팀이 공격자보다 먼저 취약점을 찾아 수정하기 위해 허가를 받고 탈옥을 시도하는 테스트입니다.

탈옥 방어#

어떤 단일 방어책도 모든 탈옥을 막을 수 없으므로, 프로덕션 시스템은 서로 독립적인 여러 계층을 결합합니다. 인간 피드백 기반 강화 학습(RLHF)이나 헌법적 AI를 사용한 안전성 학습으로 모델이 거부하도록 훈련하고, 입력 및 출력 분류기가 들어오고 나가는 내용을 검사하며, 가드레일은 모델이 속더라도 에이전트가 할 수 있는 일을 제한합니다.

탈옥은 모델과 모든 필터를 동시에 속여야 하므로 분류기가 효과를 발휘합니다. Meta의 Llama Guard 모델은 안전 정책에 따라 프롬프트와 응답에 레이블을 지정합니다. 이미지 분류기도 이미지 생성기에 같은 역할을 합니다. 안전하거나 안전하지 않은 것으로 레이블이 지정된 이미지로 파인튜닝한 Ultralytics YOLO26 분류 모델은 생성 프롬프트와 관계없이 생성된 이미지를 모두 검사합니다. 방어 성능은 100가지 오용 행위에 대한 공격 성공률을 추적하는 JailbreakBench 같은 공유 벤치마크로 측정합니다. 3,000시간 이상으로 추정되는 레드팀 테스트에서도 Anthropic의 초기 Constitutional Classifiers에 대한 보편적인 탈옥은 발견되지 않았습니다. 2026년 1월 출시된 차세대 버전은 연산 오버헤드를 약 1% 추가하며, 한 달간의 프로덕션 트래픽에서 무해한 쿼리의 0.05%를 거부했습니다.