YOLOのライセンス
Ultralytics用語集に戻る

Data Poisoning

データポイズニングでは、モデルの学習データを汚染してバックドアを仕込み、標的型の誤りを引き起こし、または精度を低下させます。わずかな割合のサンプルで実行されることもあります。

データポイズニングとは、攻撃者が学習データを追加または改変し、機械学習モデルに攻撃者の意図する動作を学習させる攻撃です。全体的な精度の低下、選んだ入力に対する誤予測、またはトリガーパターンの出現時に作動する隠しバックドアなどが起こります。攻撃は学習前に行われるため、汚染されたモデルはコードに変更がない状態でリリースされ、通常のテストを通過することもよくあります。Webから収集したデータ、ユーザー提供データ、第三者から購入したデータで学習するモデルは、この攻撃にさらされます。そのため、OWASP LLMアプリケーションのトップ10では、大規模言語モデル (LLM)アプリケーションに関する10のリスクの1つとして、データおよびモデルのポイズニングを挙げています。

ポイズニング攻撃の種類#

攻撃は、攻撃者の目的と、汚染されたサンプルに誤ったラベルが付いているかどうかによって異なります。

可用性攻撃では、ノイズの注入やラベルの反転によってモデル全体の性能を低下させるため、発見されやすくなります。標的型攻撃やバックドア攻撃は、ほとんどの入力に対してモデルが正常に動作するため、より発見が困難です。BadNets(2017年)では、道路標識分類器が小さなステッカーの付いた一時停止標識を速度制限標識として認識するよう学習しました。Ali ShafahiらによるPoison Frogs攻撃などのクリーンラベル攻撃では、すべてのラベルを正しいままにし、データセットを確認する人間には問題が分からないほどわずかに画像を変更します。

少数のサンプルによるバックドア#

以下の攻撃では、scikit-learnの手書き数字データセットを汚染します。汚染した各複製には、0以外の数字の左端に3ピクセルのマークを付け、ラベルを0にします。1,257枚の汚染されていない学習画像にこれらを0枚、10枚、20枚、40枚追加し、サポートベクターマシン (SVM)を学習させます。

import numpy as np
from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC

x, y = load_digits(return_X_y=True)
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.3, random_state=0)
trigger = [24, 32, 40]  # three pixels on the left edge, almost always blank in real digits
triggered = x_test[y_test != 0].copy()
triggered[:, trigger] = 16
rng = np.random.default_rng(0)

for n_poison in (0, 10, 20, 40):
    # Backdoor poisoning: stamp the trigger on copies of other digits and label them 0
    poison = x_train[rng.choice(np.flatnonzero(y_train != 0), n_poison, replace=False)].copy()
    poison[:, trigger] = 16
    model = SVC().fit(np.vstack([x_train, poison]), np.concatenate([y_train, np.zeros(n_poison, int)]))

    # Accuracy on clean test digits versus the share of triggered digits read as 0
    attack = np.mean(model.predict(triggered) == 0)
    print(f"{n_poison} poisoned: clean accuracy {model.score(x_test, y_test):.3f}, attack success {attack:.0%}")

各実行でクリーン精度は0.991を維持するため、クリーンな検証セットでは攻撃の兆候を確認できません。一方、攻撃成功率は、汚染画像10枚で0%から71%に、学習セットの1.6%にあたる20枚で97%に、40枚で100%に上昇します。

Web規模のデータに対するポイズニング#

大規模データセットでは、ポイズニングのコストを抑えられます。Nicholas Carliniらは、Web規模の学習データセットに対するポイズニングが実行可能であることを示しました。LAION-400Mなどのデータセットは画像そのものではなく画像URLを配布するため、それらのURLが参照する期限切れドメインを購入すれば、攻撃者は約60ドルでLAION-400MまたはCOYO-700Mの0.01%を制御できました。2つ目の攻撃であるフロントランニングでは、予定されたスナップショットの取得直前に、Wikipediaなどのクラウドソーシングページを編集します。

LLMのバックドアには、驚くほど少数の汚染文書で十分です。Anthropic、英国AIセキュリティ研究所、Alan Turing Instituteによる2025年の研究では、トリガー<SUDO>に続いて意味をなさない文字列を含む文書250件を使い、6億から130億パラメーターのモデルに安定してバックドアを仕込みました。トリガーが入力されると、モデルは意味をなさない文字列を出力します。モデルとデータセットが大きくなっても、必要な文書数はほぼ一定でした。最大のモデルでは、250件の文書は学習トークン全体の約0.00016%に相当します。生成AIによる画像生成もポイズニングの影響を受けます。シカゴ大学発のNightshadeは、100枚未満の汚染画像でStable Diffusion SDXLの特定のプロンプトを破損させます。アーティストは、作品の無断スクレイピングを抑止するためにこれを利用しています。

  • 敵対的攻撃: 通常どおり学習されたモデルを欺くため、推論時に入力を改変します。ポイズニングは、学習データを通じてモデル自体を変更します。
  • プロンプトインジェクション: LLMが回答の生成中に読むテキストに指示を隠し、重みに影響を与えるのではなく、1回の会話に影響します。
  • スリーパーエージェント: トリガーされるまで有害な振る舞いを隠す、バックドアを仕込まれたLLMです。ポイズニングはスリーパーエージェントを作成する方法の1つであり、Anthropicはこのようなバックドアが安全性学習後も残り得ることを示しました。
  • メンバーシップ推論攻撃: 学習済みモデルから、学習記録に関する情報を読み取ります。ポイズニングは、それらの記録を通じてモデルに情報を書き込みます。

防御策#

防御はデータ来歴の把握から始まります。各サンプルの出所と、レビュー後に変更されていないかを確認します。Carliniらは、各URLに暗号学的ハッシュを添付して配布し、キュレーション後に差し替えられたコンテンツを検証できないようにすることを推奨しています。データクリーニングでは重複や疑わしいサンプルを除去し、学習済みモデルの内部特徴に対する異常検知では、ポイズニングされたサンプルを見つけ出せます。その一例が、Brandon Tran、Jerry Li、Aleksander Madryによるスペクトルシグネチャ手法です。この手法では、学習済み表現の外れ値としてバックドアのサンプルを検出します。差分プライバシーは、単一のサンプルがモデルに与える変化を制限するため、少数のポイズニングされたサンプルの影響も抑えられます。また、連合学習システムでは、ポイズニングされた更新を送信するクライアントに対抗するため、ロバストな集約を使用します。

コンピュータビジョンのデータセットでは、変更追跡によって学習実行間の改ざんを検出できます。Ultralytics Platformは不変のデータセットバージョンを保存し、Compare Versionsは以前のバージョン以降に追加、削除、変更された画像と、追加または削除されたアノテーションの数を集計します。また、変更された各画像をラベルとともに変更前後で表示するため、注入された画像や反転されたラベルを次のYOLO26の学習実行前に確認できます。

ソリューションを見る

スポーツにおけるコンピュータービジョン

スポーツにおけるコンピュータービジョン

Ultralytics YOLOが、選手やボールの追跡、パフォーマンス分析、コーチングへの知見、アスリートのリハビリを通じて、スポーツビジョンをどのように支えるかをご紹介します。
詳しく見る
航空画像向けコンピュータービジョン

航空画像向けコンピュータービジョン

Ultralytics YOLOを使用して、ドローンや航空画像をリアルタイムの知見に変換し、農業、水産養殖、自然保護、地理空間分析に活用できます。
詳しく見る
航空宇宙分野のコンピュータービジョン

航空宇宙分野のコンピュータービジョン

Ultralytics YOLOを活用して航空宇宙分野でコンピュータビジョンを導入し、航空機検査、滑走路上のFOD検出、空港の地上業務、複合材の欠陥検出に活用できます。
詳しく見る
セキュリティ分野のコンピュータービジョン

セキュリティ分野のコンピュータービジョン

Ultralytics YOLOモデルであらゆる施設を保護しましょう。ビジョンAIは、周辺監視、脅威検知、ナンバープレート認識、職場の安全管理を支援します。
詳しく見る
ロボティクス分野のコンピュータービジョン

ロボティクス分野のコンピュータービジョン

Ultralytics YOLOモデルで、よりスマートなマシンを実現しましょう。ロボティクスにおけるビジョンAIは、自律ナビゲーション、認識、物体追跡、リアルタイム制御を支援します。
詳しく見る
物流におけるコンピュータービジョン

物流におけるコンピュータービジョン

Ultralytics YOLOモデルで物流を効率化しましょう。ビジョンAIにより、荷物検査、仕分け、車両追跡、倉庫のリアルタイム安全監視を実現します。
詳しく見る
小売業におけるコンピュータービジョン

小売業におけるコンピュータービジョン

Ultralytics YOLOモデルで小売のあり方を変革しましょう。ビジョンAIにより、在庫追跡、棚の監視、行列管理、より高度な顧客インサイトを実現します。
詳しく見る
医療分野におけるコンピュータービジョン

医療分野におけるコンピュータービジョン

Ultralytics YOLOモデルで医療ソリューションを構築しましょう。医療分野のビジョンAIは、医用画像処理の高速化、より高度な診断、患者モニタリングを実現します。
詳しく見る
製造業におけるコンピュータービジョン

製造業におけるコンピュータービジョン

Ultralytics YOLOモデルで製造を最適化しましょう。ビジョンAIは、品質管理、欠陥検出、PPE準拠、組立ラインの自動化を推進します。
詳しく見る
自動車分野におけるコンピュータービジョン

自動車分野におけるコンピュータービジョン

Ultralytics YOLOモデルで自動車分野にコンピュータービジョンを導入しましょう。ビジョンAIは、道路の安全性、運転支援、車両の自動化を向上させ、よりスマートな道路を実現します。
詳しく見る
農業におけるコンピュータービジョン

農業におけるコンピュータービジョン

Ultralytics YOLOモデルでスマート農業にビジョンAIを導入しましょう。作物のモニタリング、家畜の追跡、精密農業を支援し、より高く効率的な収量を実現します。
詳しく見る

AIの未来を一緒に築きましょう!

機械学習の未来に向けた歩みを始めましょう