Data Poisoning
データポイズニングでは、モデルの学習データを汚染してバックドアを仕込み、標的型の誤りを引き起こし、または精度を低下させます。わずかな割合のサンプルで実行されることもあります。
データポイズニングとは、攻撃者が学習データを追加または改変し、機械学習モデルに攻撃者の意図する動作を学習させる攻撃です。全体的な精度の低下、選んだ入力に対する誤予測、またはトリガーパターンの出現時に作動する隠しバックドアなどが起こります。攻撃は学習前に行われるため、汚染されたモデルはコードに変更がない状態でリリースされ、通常のテストを通過することもよくあります。Webから収集したデータ、ユーザー提供データ、第三者から購入したデータで学習するモデルは、この攻撃にさらされます。そのため、OWASP LLMアプリケーションのトップ10では、大規模言語モデル (LLM)アプリケーションに関する10のリスクの1つとして、データおよびモデルのポイズニングを挙げています。
ポイズニング攻撃の種類#
攻撃は、攻撃者の目的と、汚染されたサンプルに誤ったラベルが付いているかどうかによって異なります。
可用性攻撃では、ノイズの注入やラベルの反転によってモデル全体の性能を低下させるため、発見されやすくなります。標的型攻撃やバックドア攻撃は、ほとんどの入力に対してモデルが正常に動作するため、より発見が困難です。BadNets(2017年)では、道路標識分類器が小さなステッカーの付いた一時停止標識を速度制限標識として認識するよう学習しました。Ali ShafahiらによるPoison Frogs攻撃などのクリーンラベル攻撃では、すべてのラベルを正しいままにし、データセットを確認する人間には問題が分からないほどわずかに画像を変更します。
少数のサンプルによるバックドア#
以下の攻撃では、scikit-learnの手書き数字データセットを汚染します。汚染した各複製には、0以外の数字の左端に3ピクセルのマークを付け、ラベルを0にします。1,257枚の汚染されていない学習画像にこれらを0枚、10枚、20枚、40枚追加し、サポートベクターマシン (SVM)を学習させます。
import numpy as np
from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
x, y = load_digits(return_X_y=True)
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.3, random_state=0)
trigger = [24, 32, 40] # three pixels on the left edge, almost always blank in real digits
triggered = x_test[y_test != 0].copy()
triggered[:, trigger] = 16
rng = np.random.default_rng(0)
for n_poison in (0, 10, 20, 40):
# Backdoor poisoning: stamp the trigger on copies of other digits and label them 0
poison = x_train[rng.choice(np.flatnonzero(y_train != 0), n_poison, replace=False)].copy()
poison[:, trigger] = 16
model = SVC().fit(np.vstack([x_train, poison]), np.concatenate([y_train, np.zeros(n_poison, int)]))
# Accuracy on clean test digits versus the share of triggered digits read as 0
attack = np.mean(model.predict(triggered) == 0)
print(f"{n_poison} poisoned: clean accuracy {model.score(x_test, y_test):.3f}, attack success {attack:.0%}")各実行でクリーン精度は0.991を維持するため、クリーンな検証セットでは攻撃の兆候を確認できません。一方、攻撃成功率は、汚染画像10枚で0%から71%に、学習セットの1.6%にあたる20枚で97%に、40枚で100%に上昇します。
Web規模のデータに対するポイズニング#
大規模データセットでは、ポイズニングのコストを抑えられます。Nicholas Carliniらは、Web規模の学習データセットに対するポイズニングが実行可能であることを示しました。LAION-400Mなどのデータセットは画像そのものではなく画像URLを配布するため、それらのURLが参照する期限切れドメインを購入すれば、攻撃者は約60ドルでLAION-400MまたはCOYO-700Mの0.01%を制御できました。2つ目の攻撃であるフロントランニングでは、予定されたスナップショットの取得直前に、Wikipediaなどのクラウドソーシングページを編集します。
LLMのバックドアには、驚くほど少数の汚染文書で十分です。Anthropic、英国AIセキュリティ研究所、Alan Turing Instituteによる2025年の研究では、トリガー<SUDO>に続いて意味をなさない文字列を含む文書250件を使い、6億から130億パラメーターのモデルに安定してバックドアを仕込みました。トリガーが入力されると、モデルは意味をなさない文字列を出力します。モデルとデータセットが大きくなっても、必要な文書数はほぼ一定でした。最大のモデルでは、250件の文書は学習トークン全体の約0.00016%に相当します。生成AIによる画像生成もポイズニングの影響を受けます。シカゴ大学発のNightshadeは、100枚未満の汚染画像でStable Diffusion SDXLの特定のプロンプトを破損させます。アーティストは、作品の無断スクレイピングを抑止するためにこれを利用しています。
データポイズニングと関連攻撃の比較#
- 敵対的攻撃: 通常どおり学習されたモデルを欺くため、推論時に入力を改変します。ポイズニングは、学習データを通じてモデル自体を変更します。
- プロンプトインジェクション: LLMが回答の生成中に読むテキストに指示を隠し、重みに影響を与えるのではなく、1回の会話に影響します。
- スリーパーエージェント: トリガーされるまで有害な振る舞いを隠す、バックドアを仕込まれたLLMです。ポイズニングはスリーパーエージェントを作成する方法の1つであり、Anthropicはこのようなバックドアが安全性学習後も残り得ることを示しました。
- メンバーシップ推論攻撃: 学習済みモデルから、学習記録に関する情報を読み取ります。ポイズニングは、それらの記録を通じてモデルに情報を書き込みます。
防御策#
防御はデータ来歴の把握から始まります。各サンプルの出所と、レビュー後に変更されていないかを確認します。Carliniらは、各URLに暗号学的ハッシュを添付して配布し、キュレーション後に差し替えられたコンテンツを検証できないようにすることを推奨しています。データクリーニングでは重複や疑わしいサンプルを除去し、学習済みモデルの内部特徴に対する異常検知では、ポイズニングされたサンプルを見つけ出せます。その一例が、Brandon Tran、Jerry Li、Aleksander Madryによるスペクトルシグネチャ手法です。この手法では、学習済み表現の外れ値としてバックドアのサンプルを検出します。差分プライバシーは、単一のサンプルがモデルに与える変化を制限するため、少数のポイズニングされたサンプルの影響も抑えられます。また、連合学習システムでは、ポイズニングされた更新を送信するクライアントに対抗するため、ロバストな集約を使用します。
コンピュータビジョンのデータセットでは、変更追跡によって学習実行間の改ざんを検出できます。Ultralytics Platformは不変のデータセットバージョンを保存し、Compare Versionsは以前のバージョン以降に追加、削除、変更された画像と、追加または削除されたアノテーションの数を集計します。また、変更された各画像をラベルとともに変更前後で表示するため、注入された画像や反転されたラベルを次のYOLO26の学習実行前に確認できます。










