Jailbreaking (AI)
AIのジェイルブレイクでは、安全性を学習したモデルにルールを無視させるプロンプトを作成します。一般的な攻撃の種類、攻撃が機能する理由、多層防御について解説します。
AIモデルのジェイルブレイクとは、開発者が拒否するように学習または指示した出力（マルウェア、武器の製造手順、嫌がらせなど）を生成させる入力を作成することです。対象となるのは通常、有害な要求を拒否するよう安全性の学習を受けた大規模言語モデル（LLM）やビジョン言語モデル（VLM）で、この呼称はメーカーの制限を解除する携帯電話のジェイルブレイクに由来します。ジェイルブレイクはモデルへの入力だけで完結するため、チャットウィンドウにアクセスできる人なら誰でも試すことができます。そのため、ジェイルブレイクへの耐性はAI安全性の中心的な課題であり、モデルのリリース前にAIレッドチーミングが重点的に検証する項目です。
ジェイルブレイクが機能する理由#
2023年の研究「Jailbroken: How Does LLM Safety Training Fail?」は、ジェイルブレイクの成功を安全性学習における2つの失敗モードに結び付けました。
- 目的の競合: モデルは、指示に役立つ形で従うことと、有害な要求を拒否することの両方を学習します。ロールプレイのシナリオや、回答を「もちろんです。こちらが」と始める指示など、拒否すると有用性が損なわれるように見せるプロンプトは、2つの目標を競合させます。
- 汎化の不一致: 事前学習によって、モデルは安全性学習で扱われていない能力を獲得します。Base64でエンコードされた、有用な学習データの少ない言語で書かれた、または暗号で包まれた有害な要求は、平易な英語で学習した拒否を引き起こさずに、そうした能力に到達します。
一般的なジェイルブレイク手法#
- ペルソナおよびロールプレイのプロンプト: 2022年後半からChatGPT向けに広まった「DAN」（「Do Anything Now」）プロンプトは、制約のないAIを演じるようモデルに指示しました。
- 難読化: エンコーディング、スペルミス、暗号化、翻訳によって要求を安全性学習から隠しつつ、モデルにはその内容を解読できる状態にします。
- Many-shotジェイルブレイク: 攻撃者は、アシスタントが有害な要求に応じる偽の対話を何百件も長いコンテキストウィンドウに詰め込み、インコンテキスト学習によってそのパターンを実際の回答に反映させます。
- 複数ターンにわたるエスカレーション: MicrosoftのCrescendo攻撃は、無害な質問から始め、会話をターンごとに徐々に制限対象の目標へと誘導します。
- 最適化された敵対的サフィックス: GCG手法は、オープンウェイトモデルに対して勾配誘導型の探索を行い、要求の末尾に付加すると拒否を抑制する意味のないトークン列を見つけます。さらに、その文字列はChatGPT、Bard、Claudeなどのクローズドモデルにも転用できました。
- 文字画像プロンプト: FigStep攻撃は、有害な要求を画像内の文字として描画します。これにより、安全性学習がテキストだけを対象としていたVLMをすり抜けます。
ジェイルブレイクと関連攻撃の比較#
- プロンプトインジェクション: エージェントが読むWebページなどの信頼できないコンテンツに指示を紛れ込ませ、ユーザーのデータを漏えいさせるといった形でアプリケーションのタスクを乗っ取ります。ジェイルブレイクはモデル自体の安全性学習を標的にします。OWASP Top 10 for LLM Applicationsでは、ジェイルブレイクをプロンプトインジェクションの一形態に分類しており、実際の攻撃では両者が組み合わされることもよくあります。
- 敵対的攻撃: 入力に小さな摂動を加え、誤った予測を引き起こします。GCGサフィックスはジェイルブレイクに使われる敵対的サンプルです。一方、人を物体検出器から隠す印刷パッチは、検出器には回避対象となる安全性ポリシーがないため、敵対的攻撃にのみ該当します。
- AIレッドチーミング: セキュリティチームが攻撃者より先に弱点を見つけて修正するため、許可を得てジェイルブレイクを試みるテストです。
ジェイルブレイクへの対策#
単一の防御策ですべてのジェイルブレイクを阻止することはできないため、本番システムでは独立した複数のレイヤーを組み合わせます。人間のフィードバックによる強化学習（RLHF）または憲法AIによる安全性学習でモデルに拒否を教え、入力・出力分類器で入出力をスクリーニングし、モデルが欺かれた場合でもガードレールによってエージェントの実行可能な操作を制限します。
分類器が有効なのは、ジェイルブレイクがモデルとすべてのフィルターを同時に欺く必要があるためです。MetaのLlama Guardモデルが安全ポリシーに照らしてプロンプトと応答にラベルを付けるのと同様に、画像分類器も画像生成モデルに対して同じ役割を果たし、安全と危険のラベルが付いた画像でUltralytics YOLO26の分類モデルをファインチューニングしたものが、生成元のプロンプトにかかわらず生成されたすべての画像を検査します。防御性能の評価には、共通ベンチマークとして、100種類の悪用行為に対する攻撃成功率を追跡するJailbreakBenchなどが用いられます。推定3,000時間超のレッドチーミングでも、AnthropicのConstitutional Classifiersの初期バージョンに対する汎用的なジェイルブレイクを誰も見つけられず、2026年1月にリリースされた次世代バージョンは計算オーバーヘッドを約1%増加させ、1か月間の本番トラフィックで無害なクエリの0.05%を拒否しました。
