Jailbreaking (AI)

人工智能 环境下的“越狱”是指绕过 AI 模型中预设的伦理护栏、安全过滤器和操作约束的行为。该术语最初用于绕过智能手机等设备的硬件限制，而 AI 越狱则涉及构建特定的、往往具有操纵性的输入，诱导模型生成受限内容、执行未经授权的命令或泄露敏感的系统提示词。随着 AI 越来越多地集成到关键基础设施中，了解这些漏洞对于制定稳健的 AI 安全 措施和防止滥用至关重要。

Link to this section区分越狱与相关概念#

虽然越狱与其他机器学习安全漏洞有相似之处，但将其与相关术语区分开来非常重要：

• 提示词注入：这涉及在合法的用户提示词中插入恶意指令，以劫持模型的预期输出。越狱是一个更广泛的类别，专门旨在完全覆盖模型的核心安全协议。
• AI 红队测试：这是一种授权的主动测试方法，安全专业人员会故意尝试越狱系统，以便在部署前识别并修补漏洞。
• 对抗性攻击：常用于 计算机视觉，指通过细微更改输入数据（例如在图像中添加不可见的噪声）来强制模型进行错误分类，而越狱通常侧重于语言或逻辑操纵。

Link to this sectionAI 越狱的现实案例#

越狱根据 AI 系统的模态表现不同，影响着基于文本和基于视觉的架构：

1. 利用大语言模型：攻击者通常使用复杂的角色扮演场景或假设性框架来强制 大语言模型 忽略其安全训练。例如，用户可能会提示 AI 扮演一个“正在写黑客故事的小说作者”，从而成功 诱导模型输出恶意代码 或过滤器通常会阻止的危险活动的指令。Anthropic 的最新研究也强调了一些高级方法，如 多轮越狱技术，它通过使模型的上下文窗口过载来绕过限制。

2. 多模态和视觉系统攻击：随着模型发展到可以同时处理文本和图像，关于多模态越狱的最新研究 表明，攻击者可以在图像中嵌入恶意文本指令。当视觉语言模型处理该图像时，隐藏的文本会触发越狱。在物理安全系统中，对抗性输入（例如服装上特定图案的补丁）可以作为一种视觉越狱，使人在自动化监控模型中变为“隐身”。

Link to this section降低 AI 模型中的越狱风险#

保护模型免受这些攻击需要多层防御策略。开发人员遵循 OpenAI 安全指南 和 NIST AI 风险管理框架 等框架来建立基础安全性。

To prevent visual adversarial attacks, engineers rely on comprehensive data augmentation during training. By intentionally introducing noise, blurring, and varying lighting conditions, the model learns to maintain high accuracy even when faced with manipulated inputs. Furthermore, continuously monitoring deployed models using tools available on the Ultralytics Platform helps identify unusual inference patterns that might indicate an ongoing attack, ensuring strong data security for enterprise deployments.

Link to this section测试模型稳健性#

为了确保你的计算机视觉模型能够抵御细微的输入操纵，你可以使用 Python 模拟基础的 对抗性机器学习 场景。这有助于验证像 Ultralytics YOLO26 这样的模型在接触噪声或轻微改变的数据时，是否能继续可靠地运行。

import cv2
from ultralytics import YOLO

# Load an Ultralytics YOLO26 model for robust inference testing
model = YOLO("yolo26n.pt")

# Load a test image and apply simulated adversarial noise
img = cv2.imread("security_feed.jpg")
noisy_img = cv2.add(img, 15)  # Inject slight pixel noise to test robustness

# Run prediction to verify the model still detects objects accurately
results = model(noisy_img)
results[0].show()

通过主动测试漏洞并纳入稳健的安全措施，开发人员可以成功了解 如何缓解 AI 越狱，从而提升现代 AI 系统的信任度和可靠性。如需深入了解模型行为和可解释性，请探索 可解释 AI 的原则。