データの改ざん

データポイズニングとは、悪意のある攻撃者が、機械学習（ML）モデルの構築に使用される トレーニングデータを意図的に 改ざんするサイバーセキュリティ上の脅威です。モデルのトレーニング前に データセットを改ざんすることで、攻撃者は隠れたバックドアを仕込んだり、バイアスを誘発したり、モデルの全体的な 性能を低下させたりすることが可能です。 システムのコードを標的とする他のセキュリティ攻撃とは異なり、データポイズニング攻撃は 学習プロセスそのものを標的とするため、モデルが本番環境に 展開detect 極めて困難になります。 IBMの脅威インテリジェンス概要によると、これらの攻撃は 人工知能システムの完全性と信頼性に深刻なリスクをもたらします。

AIポイズニングの仕組み

組織が ディープラーニング（DL）や 大規模言語モデル（LLM）への依存度を高めるにつれ、 インターネット上から検証されていない膨大な量のデータを収集することが多くなっています。この慣行は、攻撃者が 公開リポジトリに捏造されたデータや悪意のあるデータポイントを挿入する「データインジェクション」の機会を生み出しています。 2025年以降のAIポイズニングに関する 最近の研究は、憂慮すべき現実を明らかにしている。それは、 数十億ものパラメータを持つ巨大なモデルであっても、攻撃者はごくわずかな数の サンプルを操作するだけでシステムを侵害できてしまうということだ。

LLMポイズニングとは、モデルが学習中に処理するテキストに特定のトリガーフレーズが混入されることで発生する現象です。 一度デプロイされると、ユーザーがトリガーフレーズを入力するまではモデルは正常に機能しているように見えますが、トリガーフレーズが入力されると、システムが 安全プロトコルを無視したり、有害な出力を生成したりする原因となります。 Anthropic2025年のLLMポイズニングに関する研究では、わずか 250件のポイズニングされた文書で、130億パラメータのモデルにバックドアを作り出すことができることが示されています。

現実世界のアプリケーションと事例

データポイズニングはテキスト生成にとどまらず、 コンピュータビジョン（CV）モデルにも深刻な影響を及ぼします。ここでは、 この脅威が実際のアプリケーションにおいてどのように現れるか、具体的な例を2つ紹介します：

• 生成アートモデルの仕組みを崩す：Nightshadeプロジェクトのようなツールを使えば、デジタルアーティストは作品をオンラインにアップロードする前に、 画像のピクセルを微妙に改変することができます。生成AIモデルが トレーニング用にこれらの画像を収集すると、改変されたピクセルが「毒」として作用し、モデルがプロンプトを 完全に誤分類する原因となります。例えば、「車」というプロンプトに対して「猫」の画像を生成してしまうといった具合です。
• 自動運転車のセキュリティ侵害：自動運転車に使用される物体検出システムにおいて、 攻撃者はオープンソースの学習データセットに含まれる一時停止標識の画像を巧妙に改変する可能性があります。 特定の視覚ノイズを加えることで、改ざんされた学習データはモデルに一時停止標識を速度制限標識と誤認させるよう学習させ、 重大な安全上のリスクをもたらします。

敵対的攻撃との区別

両者は密接に関連していますが、データポイズニングと 敵対的攻撃を区別することが重要です。 敵対的攻撃は 推論の段階で発生します。攻撃者は入力データを操作し（現実世界の停止標識にシールを貼るような行為）、 すでに学習済みのモデルを欺こうとします。一方、データポイズニングは学習の段階で発生し、モデルの 内部ロジックを根本から変質させます。これら両方に適切に対処するには、堅牢な AI安全プロトコルが必要です。

モデル開発におけるリスクの軽減

これらの脅威に対抗するには、厳格な モデル監視と、モデルの完全性を検証するための、 改ざんされていない信頼性の高い検証データの活用が必要です。 検証済みのデータセットを用いてモデルを評価することで、改ざんの兆候となる可能性のある予期せぬ性能低下を チームが早期に発見できるようになります。OpenAIの安全研究および OWASP GenAI Security Projectが提唱するベストプラクティスでは、厳格なデータの出所追跡と、 生のウェブスクレイピングデータではなく、精選されたデータセットの使用が重視されています。

モデルの構築やテストを行う際、チームは次のような定評のあるフレームワークを活用すべきです PyTorch や TensorFlow を活用し、 包括的な検証手順を併用すべきです。 Ultralytics モデルは、クリーンで信頼性の高い データセットを用いて簡単に検証でき、精度が損なわれていないことを確認できます。

from ultralytics import YOLO

# Load a custom-trained Ultralytics YOLO26 model
model = YOLO("yolo26n.pt")

# Validate the model on a trusted dataset to detect performance drops
# Sudden decreases in precision/recall may indicate data poisoning
metrics = model.val(data="clean_validation_data.yaml")

print(f"mAP50-95: {metrics.box.map}")  # Review core metrics

大規模なコンピュータビジョンプロジェクトにおいては、複数のトレーニング実行にわたってこれらの指標を追跡することが不可欠です。 開発者は、 モデル評価の知見を分析して ベースラインのパフォーマンスを把握し、Ultralytics 、 信頼性の確認されていない外部ソースに依存することなく、データを安全に アノテーション、トレーニング、管理することができます。安全なデータキュレーションと 管理されたデータ拡張技術を組み合わせることで、 モデルの精度を維持しつつ、外部からの改ざんに対しても強靭性を確保することが可能になります。