Adversarial Attacks

探索对抗性攻击如何操纵机器学习模型。了解白盒和黑盒策略、对 AI 安全的风险，以及如何使用 Ultralytics YOLO26 进行防御。

对抗性攻击是一类复杂的操纵技术，旨在诱骗机器学习 (ML) 模型以高置信度做出错误的预测。这些攻击通过向输入数据（如图像、音频或文本）引入细微的、通常是不可察觉的扰动来运行。虽然这些变化在人类观察者看来无害或随机，但它们利用了高维神经网络中决策边界的特定数学漏洞。随着人工智能 (AI) 系统成为安全关键基础设施不可或缺的一部分，了解这些漏洞的运作方式对于开发稳健的 AI 安全协议和防御机制至关重要。

Link to this section对抗性攻击的工作原理#

在典型的深度学习 (DL) 训练过程中，模型会优化其权重以最大限度地减少训练数据集上的误差。然而，这些模型本质上是在多维空间中创建复杂的映射。对抗性攻击会计算在该空间中推动输入越过边界所需的精确“方向”，从而改变模型的分类结果。例如，在计算机视觉 (CV) 中，通过计算出的“噪声”量更改熊猫图像的像素值，可能会导致系统自信地将其误分类为长臂猿，尽管在人眼看来，该图像看起来仍然完全像是一只熊猫。

攻击策略通常根据攻击者对目标系统的访问级别进行分类：

白盒攻击： 攻击者对模型的架构、梯度和模型权重拥有完全的透明度。这使他们能够通过数学计算出最有效的扰动，通常使用诸如快速梯度符号法 (FGSM) 等技术。
黑盒攻击： 攻击者对内部模型参数一无所知，只能观察输入和输出。攻击者通常使用“替代模型”来生成能有效迁移到目标系统的对抗样本，这种特性被称为可迁移性。

Link to this section现实世界的应用与风险#

虽然对抗性攻击经常在理论研究中讨论，但它们对现实世界的部署构成了切实风险，特别是在自动驾驶系统和安全领域。

自动驾驶汽车： 自动驾驶汽车严重依赖目标检测来识别交通标志。研究表明，在停车标志上贴上精心制作的贴纸或胶带，可以诱骗车辆的视觉系统将其误认为是限速标志。这种物理世界攻击可能导致汽车 AI 应用出现危险的故障。
人脸识别逃避者： 基于生物识别技术的门禁安全系统可能会受到对抗性“补丁”的破坏。这些补丁可以是印在眼镜或衣物上的图案，用以干扰特征提取过程。这使得未经授权的个人能够完全逃避检测或冒充特定用户，从而绕过安全报警系统。

Link to this section在 Python 中生成对抗样本#

To understand how fragile some models can be, it is helpful to see how easily an image can be perturbed. While standard inference with models like YOLO26 is robust for general use, researchers often simulate attacks to improve model monitoring and defense. The following conceptual example uses PyTorch to show how gradients are used to calculate an adversarial perturbation (noise) for an image.

import torch.nn.functional as F

# Assume 'model' is a loaded PyTorch model and 'image' is a normalized tensor
# 'target_class' is the correct label index for the image


def generate_adversarial_noise(model, image, target_class, epsilon=0.01):
    # Enable gradient calculation for the input image
    image.requires_grad = True

    # Forward pass: get prediction
    output = model(image)

    # Calculate loss based on the correct class
    loss = F.nll_loss(output, target_class)

    # Backward pass: calculate gradients of loss w.r.t input
    model.zero_grad()
    loss.backward()

    # Create perturbation using the sign of the data gradient (FGSM)
    # This pushes the image in the direction of maximizing error
    perturbation = epsilon * image.grad.data.sign()

    return perturbation

Link to this section相关概念#

区分对抗性攻击与其他形式的模型故障或操纵非常重要：

数据投毒： 与在推理（测试阶段）期间操纵输入的对抗性攻击不同，数据投毒涉及在构建模型之前破坏训练数据本身，从而植入隐藏的后门或偏差。
提示词注入： 这特定于大语言模型 (LLMs) 和文本接口。虽然概念上相似——即欺骗模型——但它依赖于语义语言操纵，而不是对像素或信号数据进行数学扰动。
过拟合： 这是一种训练失败的情况，模型学习到的是训练数据中的噪声，而不是底层模式。过拟合的模型通常更容易受到对抗性攻击，因为它们的决策边界过于复杂且脆弱。

针对这些攻击开发防御措施是现代 MLOps 的核心组成部分。对抗性训练（即在训练集中加入被攻击的样本）等技术有助于提高模型的稳健性。诸如 Ultralytics Platform 之类的平台能够促进严格的训练和验证流程，使团队能够在部署到边缘设备之前评估模型的稳健性。