Data Poisoning

データポイズニングは、サイバーセキュリティの脅威の一種であり、悪意のある攻撃者が機械学習 (ML)モデルの構築に使用されるトレーニングデータを意図的に操作するものです。モデルがトレーニングされる前にデータセットを破損させることで、攻撃者は隠しバックドアを埋め込んだり、バイアスを誘発したり、モデル全体のパフォーマンスを低下させたりすることができます。システムのコードをターゲットにする他のセキュリティ脆弱性とは異なり、データポイズニング攻撃は学習プロセスそのものをターゲットにするため、モデルが本番環境にデプロイされた後に検出することが極めて困難になります。IBMの脅威インテリジェンスの概要によると、これらの攻撃は人工知能システムの整合性と信頼性に深刻なリスクをもたらします。

AIポイズニングのメカニズム#

組織がディープラーニング (DL)や大規模言語モデル (LLMs)への依存度を高めるにつれて、インターネットから検証されていない膨大なデータをスクレイピングすることがよくあります。この手法によりデータインジェクションの機会が生まれ、敵対者が改ざんされたデータや悪意のあるデータポイントをパブリックリポジトリに挿入するようになります。2025年の最近のAIポイズニングに関する研究は、驚くべき現実を明らかにしています。何十億ものパラメータを持つ巨大なモデルであっても、攻撃者はシステムを侵害するために、ほぼ一定の最小限のサンプル数を操作するだけでよいのです。

LLMのポイズニングは、モデルがトレーニング中に取り込むテキストに特定のトリガーフレーズが注入されたときに発生します。デプロイ後、ユーザーがトリガーフレーズを入力するまでモデルは正常に機能する可能性がありますが、入力されるとシステムが安全プロトコルをバイパスしたり、有害な出力を生成したりする原因になります。LLMポイズニングに関するAnthropicの2025年の研究は、130億パラメータのモデルでバックドアを作成するのに、わずか250件のポイズニングされたドキュメントで十分であることを実証しています。

現実世界での適用例と具体例#

データポイズニングはテキスト生成にとどまらず、コンピュータビジョン (CV)モデルにも大きな影響を与えます。この脅威が現実世界のエアプリケーションでどのように具現化されるかについての2つの具体的な例を以下に示します。

• 生成AIアートモデルの妨害：Nightshadeプロジェクトのようなツールを使用すると、デジタルアーティストはアートワークをオンラインにアップロードする前に、そのピクセルを微妙に変更することができます。生成AIモデルがトレーニングのためにこれらの画像をスクレイピングすると、変更されたピクセルがポイズンとして機能し、車をプロンプトしたときに猫の画像を生成するなど、モデルにプロンプトを完全に誤分類させます。
• 自動運転車の侵害：物体検出システムで使用される自動運転車の場合、攻撃者はオープンソースのトレーニングデータセット内の停止標識の画像を微妙に変更する可能性があります。特定の視覚的ノイズを適用することにより、ポイズニングされたトレーニングデータは、停止標識を制限速度標識と誤認するようにモデルに学習させ、壊滅的な安全上のリスクをもたらします。

敵対的攻撃との違い#

密接に関連しているものの、データポイズニングと敵対的攻撃を区別することが重要です。敵対的攻撃は推論中に発生します。攻撃者は入力データを操作し（現実世界の停止標識にステッカーを貼るなどして）、すでにトレーニング済みのモデルをだまします。逆に、データポイズニングはトレーニング中に発生し、モデルの内部ロジックを最初から根本的に変更します。両方に対処するには、堅牢なAIセーフティプロトコルが必要です。

モデル開発におけるリスクの緩和#

これらの脅威から防御するには、厳格なモデルモニタリングと、モデルの整合性を検証するための未加工の信頼できる検証データの使用が必要です。検証済みデータセットに対してモデルを評価することは、改ざんを示している可能性のある予期せぬパフォーマンスの低下をチームが発見するのに役立ちます。OpenAIの安全研究およびOWASP GenAI Security Projectによって概説されているベストプラクティスは、厳格なデータプロベナンスと、生のウェブスクレイピングよりもキュレーションされたデータセットの使用を重視しています。

モデルを構築およびテストする際、チームは包括的な検証ルーチンとともにPyTorchやTensorFlowなどの確立されたフレームワークを活用する必要があります。Ultralytics YOLO26モデルをクリーンで信頼できるデータセットに対して簡単に検証し、精度が損なわれていないことを確認できます。

from ultralytics import YOLO

# Load a custom-trained Ultralytics YOLO26 model
model = YOLO("yolo26n.pt")

# Validate the model on a trusted dataset to detect performance drops
# Sudden decreases in precision/recall may indicate data poisoning
metrics = model.val(data="clean_validation_data.yaml")

print(f"mAP50-95: {metrics.box.map}")  # Review core metrics

大規模なコンピュータビジョンプロジェクトでは、複数のトレーニング実行にわたってこれらのメトリクスを追跡することが不可欠です。開発者はモデル評価のインサイトを調査してベースラインパフォーマンスを理解し、Ultralytics Platformを利用して、検証されていない外部ソースに依存せずに安全にアノテーション、トレーニング、データの管理を行うことができます。安全なデータのキュレーションと制御されたデータ拡張手法を組み合わせることで、モデルの精度と外部からの操作に対するレジリエンスの両方を維持することができます。