Data Poisoning

Data poisoning is a cybersecurity threat where malicious actors intentionally manipulate the training data used to build Machine Learning (ML) models. By corrupting the dataset before a model is trained, attackers can introduce hidden backdoors, induce biases, or degrade the overall performance of the model. Unlike other security exploits that target a system's code, data poisoning attacks target the learning process itself, making them incredibly difficult to detect once the model is deployed into production environments. According to IBM's threat intelligence overview, these attacks pose severe risks to the integrity and reliability of artificial intelligence systems.

Link to this sectionAIポイズニングのメカニズム#

組織がディープラーニング (DL)や大規模言語モデル (LLM)への依存度を高めるにつれ、インターネット上の検証されていない膨大なデータをスクレイピングするケースが増えています。この慣行はデータインジェクションの機会を生み出し、敵対者が公共のリポジトリに捏造されたデータや悪意のあるデータポイントを挿入することを可能にします。2025年のAIポイズニングに関する最新の研究は、恐るべき現実を明らかにしました。数十億のパラメータを持つ巨大なモデルであっても、攻撃者はごくわずかなサンプルを操作するだけでシステムを侵害できてしまうのです。

LLMポイズニングは、モデルが学習中に消費するテキストに特定のトリガーフレーズが注入されることで発生します。デプロイ後、モデルは通常通り機能しますが、ユーザーがトリガーフレーズを入力すると、システムが安全プロトコルを回避したり、有害な出力を生成したりする可能性があります。Anthropicによる2025年のLLMポイズニングに関する研究では、わずか250件のポイズニングされたドキュメントで、130億パラメータのモデル内にバックドアを作成できることが示されています。

Link to this section現実世界での適用例と具体例#

データポイズニングはテキスト生成にとどまらず、コンピュータビジョン (CV)モデルにも多大な影響を及ぼします。この脅威が現実世界でどのように現れるか、2つの具体的な例を挙げます。

• 生成アートモデルの妨害：Nightshadeプロジェクトのようなツールを使用すると、デジタルアーティストはオンラインにアップロードする前に、自分の作品のピクセルを微細に改変できます。生成AIモデルが学習のためにこれらの画像をスクレイピングすると、改変されたピクセルが毒として機能し、モデルがプロンプトを完全に誤って分類するようになります。例えば、車をリクエストされたのに猫の画像を生成してしまうといった事象が発生します。
• 自動運転車の侵害：物体検知システムにおいて、攻撃者がオープンソースの学習データセット内の標識画像を微妙に改変する可能性があります。特定の視覚的ノイズを適用することで、ポイズニングされた学習データはモデルに対し、一時停止標識を制限速度標識と誤認するように学習させ、壊滅的な安全リスクをもたらします。

Link to this section敵対的攻撃との違い#

データポイズニングは敵対的攻撃と密接に関連していますが、これらを区別することが重要です。敵対的攻撃は推論中に発生します。攻撃者は（現実の標識にステッカーを貼るように）入力データを操作し、すでに学習済みのモデルを欺きます。対照的に、データポイズニングは学習中に発生し、モデルの内部ロジックを根本から作り替えてしまいます。双方に対処するには、堅牢なAI安全性プロトコルが必要です。

Link to this sectionモデル開発におけるリスクの緩和#

これらの脅威から防御するには、厳格なモデルモニタリングを行い、信頼できる純粋な検証データを使用してモデルの完全性を確認する必要があります。検証済みデータセットに対してモデルを評価することで、チームは改ざんの兆候である予期せぬ性能低下を検知できます。OpenAIの安全性研究やOWASP GenAI Security Projectが概説するベストプラクティスでは、データの出所を厳格に管理し、RAWデータスクレイピングではなくキュレーションされたデータセットを使用することが強調されています。

モデルを構築およびテストする際、チームはPyTorchやTensorFlowのような確立されたフレームワークを活用し、包括的な検証ルーチンと組み合わせるべきです。Ultralytics YOLO26モデルをクリーンで信頼できるデータセットに対して簡単に検証し、精度が損なわれていないことを確認できます。

from ultralytics import YOLO

# Load a custom-trained Ultralytics YOLO26 model
model = YOLO("yolo26n.pt")

# Validate the model on a trusted dataset to detect performance drops
# Sudden decreases in precision/recall may indicate data poisoning
metrics = model.val(data="clean_validation_data.yaml")

print(f"mAP50-95: {metrics.box.map}")  # Review core metrics

大規模なコンピュータビジョンプロジェクトでは、複数の学習実行を通じてこれらのメトリクスを追跡することが不可欠です。開発者はモデル評価のインサイトを探求してベースラインパフォーマンスを理解し、Ultralytics Platformを利用して、検証されていない外部ソースに頼ることなく、データの注釈、学習、管理を安全に行うことができます。安全なデータキュレーションと制御されたデータ拡張技術を組み合わせることで、モデルの精度を維持し、外部からの操作に対する回復力を確保できます。