Jailbreaking (AI)
AI 越狱会设计提示词，让经过安全训练的模型忽略自身规则。内容涵盖常见攻击类型、攻击奏效的原因和分层防御措施。
对AI 模型进行越狱，指的是精心设计输入，让模型生成开发者通过训练或指令要求它拒绝的输出，例如恶意软件、武器使用说明或骚扰内容。目标通常是经过安全训练、会拒绝有害请求的大型语言模型（LLM）和视觉语言模型（VLM）；这个名称源自越狱手机以移除制造商限制。越狱完全通过模型输入发挥作用，因此任何能访问聊天窗口的人都可以尝试，这使得抵御越狱成为AI 安全的核心关注点，也是模型发布前AI 红队测试重点探查的内容。
越狱为何有效#
一项 2023 年的研究《越狱：LLM 安全训练为何失效？》将成功的越狱归因于安全训练的两种失效模式：
- 目标冲突：模型既接受了有帮助地遵循指令的训练，也接受了拒绝有害请求的训练。如果提示让拒绝看起来像是不够有帮助，例如角色扮演场景，或要求回答以“当然，答案如下”开头，就会让这两个目标彼此冲突。
- 泛化不匹配：预训练赋予模型的能力，可能超出安全训练所覆盖的范围。用 Base64 编码、用低资源语言书写或用密码加密的有害请求，可以调用这些能力，却不会触发模型针对普通英文请求学会的拒绝行为。
常见的越狱技术#
- 角色设定与角色扮演提示：“DAN”（“现在什么都能做”）提示从 2022 年末开始在 ChatGPT 上流传，它要求模型扮演一个不受限制的 AI。
- 混淆： 编码、拼写错误、密码和翻译会隐藏安全训练无法识别的请求，但模型仍能对其进行解码。
- 多样本越狱：攻击者在较长的上下文窗口中填入数百段伪造对话，其中助手都会服从有害请求；上下文学习会让这种模式延续到实际回答中。
- 多轮升级：Microsoft 的 Crescendo 攻击从无害问题开始，逐轮逐步引导对话转向受限目标。
- 优化的对抗后缀：GCG 方法在开放权重模型上执行梯度引导搜索，寻找一串乱码 token；将其附加到请求后面，就能抑制拒绝行为。这些字符串也能迁移到 ChatGPT、Bard 和 Claude 等闭源模型。
- 文字图像提示：FigStep 攻击将有害请求以文字形式呈现在图像中，从而绕过安全训练只覆盖文本的 VLM。
越狱与相关攻击的比较#
- 提示注入：网页等不可信内容会夹带指令，劫持应用的任务，例如泄露用户数据。越狱针对的是模型自身的安全训练。OWASP LLM 应用十大风险将越狱归类为提示注入的一种形式，而现实攻击往往会结合这两种手法。
- 对抗攻击：通过微小的输入扰动导致错误预测。GCG 后缀是用于越狱的对抗样本；而能够让物体检测器无法识别某个人的印刷贴片，则只是对抗攻击，因为检测器没有可供绕过的安全策略。
- AI 红队测试：由安全团队授权开展的测试，团队会尝试越狱，以便在攻击者发现弱点之前找到并修复这些弱点。
如何防御越狱#
没有任何单一防御措施能阻止所有越狱，因此生产系统会叠加多个彼此独立的防护层。通过基于人类反馈的强化学习（RLHF）或宪法式 AI进行安全训练，让模型学会拒绝；输入和输出分类器会筛查输入与输出；而防护栏则会限制智能体的操作，即使模型被欺骗也能生效。
分类器之所以有效，是因为越狱必须同时骗过模型和每一道过滤器。Meta 的 Llama Guard 模型会根据安全策略对提示和回答进行标记；对于图像生成器，图像分类器也能发挥同样作用：Ultralytics YOLO26分类模型在标注过的安全和不安全图像上微调后，会检查每一张生成图像，而不受生成图像的提示影响。防御效果会通过JailbreakBench等共享基准进行评估；该基准会追踪 100 种滥用行为下的攻击成功率。在超过 3,000 个估算小时的红队测试中，没有人能找到针对 Anthropic 早期版 Constitutional Classifiers 的通用越狱方法；其下一代版本于 2026 年 1 月发布，计算开销约增加 1%，并且在一个月的生产流量中拒绝了 0.05% 的无害查询。
