Adversarial Attacks

敵対的攻撃は、機械学習 (ML)モデルを欺き、高い確信度で誤った予測を行わせるよう設計された巧妙な操作手法の一種です。これらの攻撃は、画像、音声、テキストなどの入力データに対して、微妙でしばしば感知できないほどの摂動を加えることで機能します。このような変化は人間の観察者には無害やランダムなものに見えますが、高次元ニューラルネットワークの決定境界に存在する特定の数学的な脆弱性を突くものです。人工知能 (AI)システムが安全不可欠なインフラに不可欠な存在となる中で、これらの脆弱性がどのように機能するかを理解することは、堅牢なAI安全性プロトコルと防御メカニズムを開発する上で不可欠です。

Link to this section敵対的攻撃の仕組み#

一般的なディープラーニング (DL)の学習プロセスでは、モデルはトレーニングデータセット上の誤差を最小化するように重みを最適化します。しかし、これらのモデルは本質的に多次元空間内に複雑なマップを作成しています。敵対的攻撃では、入力を境界線の向こう側に押し出し、モデルの分類を反転させるために必要な、この空間内での正確な「方向」を計算します。例えば、コンピュータビジョン (CV)において、パンダの画像の画素値を計算された「ノイズ」分だけ変化させると、人間の目にはパンダにしか見えないにもかかわらず、システムがそれをテナガザルと誤認してしまう可能性があります。

攻撃戦略は、攻撃者がターゲットシステムに対してどの程度のアクセス権を持っているかに応じて分類されます。

• ホワイトボックス攻撃: 攻撃者は、モデルのアーキテクチャ、勾配、およびモデル重みに対して完全に透明なアクセス権を持っています。これにより、FGSM (Fast Gradient Sign Method) などの手法を用いて、最も効果的な摂動を数学的に算出することが可能になります。
• ブラックボックス攻撃: 攻撃者は内部のモデルパラメータに関する知識を持たず、入力と出力のみを観測できます。攻撃者はしばしば「代替モデル」を使用してターゲットシステムに有効に転用できる敵対的サンプルを生成しますが、この特性は転移可能性として知られています。

Link to this section現実世界での応用とリスク#

敵対的攻撃は理論的な研究で議論されることが多いものの、特に自律システムやセキュリティの分野においては、現実世界のデプロイメントに対して具体的なリスクをもたらします。

• 自動運転車: 自動運転車は交通標識を解釈するために物体検出に大きく依存しています。研究により、一時停止の標識に注意深く細工されたステッカーやテープを貼ることで、車両の視覚システムを騙し、制限速度の標識として認識させることが可能であることが証明されています。この種の物理的な世界での攻撃は、自動車におけるAIアプリケーションにおいて危険な障害を引き起こす可能性があります。
• 顔認識の回避: 生体認証に基づいてアクセスを制御するセキュリティシステムは、敵対的「パッチ」によって侵害される可能性があります。これらは眼鏡や衣服にプリントされたパターンであり、特徴抽出プロセスを混乱させます。これにより、権限のない人物が検出を完全に回避するか、特定のユーザーになりすますことで、セキュリティアラームシステムを回避することが可能になります。

Link to this sectionPythonでの敵対的サンプルの生成#

一部のモデルがいかに脆弱であり得るかを理解するために、画像がいかに簡単に操作され得るかを確認することは有用です。YOLO26のようなモデルを用いた標準的な推論は一般的な用途に対して堅牢ですが、研究者はモデルモニタリングと防御を向上させるために攻撃をシミュレートすることがよくあります。以下の概念的な例では、PyTorchを使用して、画像の敵対的摂動（ノイズ）を計算するために勾配がどのように使用されるかを示します。

import torch.nn.functional as F

# Assume 'model' is a loaded PyTorch model and 'image' is a normalized tensor
# 'target_class' is the correct label index for the image


def generate_adversarial_noise(model, image, target_class, epsilon=0.01):
    # Enable gradient calculation for the input image
    image.requires_grad = True

    # Forward pass: get prediction
    output = model(image)

    # Calculate loss based on the correct class
    loss = F.nll_loss(output, target_class)

    # Backward pass: calculate gradients of loss w.r.t input
    model.zero_grad()
    loss.backward()

    # Create perturbation using the sign of the data gradient (FGSM)
    # This pushes the image in the direction of maximizing error
    perturbation = epsilon * image.grad.data.sign()

    return perturbation

Link to this section関連概念#

敵対的攻撃と、その他のモデルの故障や操作の形態を区別することが重要です。

• データポイズニング: 推論時（テスト時）に入力を操作する敵対的攻撃とは異なり、データポイズニングはモデルが構築される前に学習データそのものを汚染し、隠れたバックドアやバイアスを埋め込むことを伴います。
• プロンプトインジェクション: これは大規模言語モデル (LLMs)とテキストインターフェースに特有のものです。モデルを騙すという概念的な類似性はありますが、画素や信号データの数学的な摂動ではなく、意味論的な言語操作に依存しています。
• 過学習: これはモデルが基礎となるパターンではなく学習データ内のノイズを学習してしまう学習上の失敗です。過学習したモデルは決定境界が過度に複雑で脆いため、敵対的攻撃に対してより脆弱になることがよくあります。

これらの攻撃に対する防御を開発することは、現代のMLOpsの核となるコンポーネントです。攻撃されたサンプルをトレーニングセットに追加する敵対的学習などの手法は、モデルをより強靭にするのに役立ちます。Ultralytics Platformのようなプラットフォームは、厳格なトレーニングおよび検証パイプラインを容易にし、チームがエッジデバイスにデプロイする前にモデルの堅牢性を評価できるようにします。