AI Red Teaming

AIレッドチーミングとは、専門チームが人工知能（AI）システムに対する敵対的攻撃をシミュレーションし、本番環境に投入される前に隠れた脆弱性、バイアス、安全性リスクを明らかにする、体系的かつ予防的なセキュリティプラクティスです。従来のサイバーセキュリティから取り入れられたAIレッドチーミングは、機械学習（ML）モデル、たとえば大規模言語モデル（LLMs）や複雑なコンピュータービジョン（CV）ネットワークに見られる、確率的な振る舞いや広大な攻撃対象領域に対応するために発展してきました。モデルを厳しいエッジケースの検証にかけることで、組織は現実世界の負荷のもとでもシステムが確実に動作し、壊滅的な障害を回避できるようにします。

AIレッドチーミングと敵対的攻撃、AI安全性の違い#

しばしば一緒に論じられますが、AIレッドチーミングはAI安全性という広範な領域における独立したプロセスです。AI安全性は、信頼性が高く、倫理的で、価値観に沿ったシステムを構築するという包括的な目標です。敵対的攻撃は、プロンプトインジェクションやピクセル操作など、モデルを欺くために用いられる具体的な手法です。AIレッドチーミングは、こうした敵対的攻撃や創造的な問題解決を積極的に用いてモデルの防御を監査する、正式な方法論であり運用上の演習です。これはモデルデプロイ前の重要なステップとなり、新たに出現する脅威を検出するために継続的なモデルモニタリングの段階でも続けられます。

重要性とフレームワーク#

標準的なディープラーニング（DL）のテストでは、既知のデータセットと合否の二値指標に依存することが多く、AIの動的な性質を捉えられません。レッドチーミングは、新たな故障モードの発見とAIにおけるバイアスの低減に重点を置きます。業界をリードする組織は、システムに負荷をかけて評価する敵対的テストを義務付けるNIST AIリスク管理フレームワーク（AI RMF）など、確立されたガイドラインに準拠しています。そのほか、AI固有の脅威をモデル化するMITRE ATLASマトリックスや、生成モデルを保護するOWASP GenAIレッドチーミングガイドも重要なリソースです。新興技術のセキュリティセンター（CSET）などの機関に所属する研究者は、ベストプラクティスを継続的に更新して公開しています。また、研究機関はAnthropicの責任あるスケーリングポリシーやOpenAIの安全性に関する取り組みなどのポリシーにテストを盛り込んでいます。

実際のアプリケーション#

AIレッドチーミングは、障害が重大な被害につながる可能性のある重要性の高い環境で不可欠です。

• 自動運転車： 自動運転技術では、レッドチームが意図的に改変された道路標識、極端な気象条件の重ね合わせ、予測不能な歩行者の行動など、まれな環境上の危険をシミュレーションし、物体検出システムの堅牢性をテストします。これにより、車両が通常の学習データに含まれない状況でも安全に走行できるようにします。
• 医療診断： 医用画像モデルをデプロイする前に、レッドチーム担当者はX線画像やMRI画像にノイズ、アーティファクト、シミュレーションした敵対的摂動を意図的に加えることがあります。この敵対的テストにより、古い病院設備で撮影された低品質のスキャンに対して、診断ツールが腫瘍を誤って生成したり、重要な異常を見逃したりしないことを確認します。

ビジョンAIの堅牢性テスト#

ビジョンアプリケーションにおけるレッドチーミングでは、モデルが正確な認識を維持できるかをテストするため、プログラムによる歪みを加えることがよくあります。このワークフローを効率化し、エッジケースのデータセットを効果的に管理するために、チームはしばしばUltralytics Platformを利用します。

以下のPythonの例では、画像を大幅に暗くして、エッジファーストのビジョンAIにおける最新標準であるUltralytics YOLO26の耐性をテストする、基本的なレッドチーミングのシミュレーションを示します。

import cv2
from ultralytics import YOLO

# Load the Ultralytics YOLO26 model for vision AI red teaming
model = YOLO("yolo26n.pt")

# Simulate an adversarial/edge-case condition by severely altering image lighting
image = cv2.imread("image.jpg")
darkened_image = cv2.convertScaleAbs(image, alpha=0.3, beta=0)

# Evaluate if the model's predictions fail or remain robust under stress
results = model(darkened_image)
print(f"Model detected {len(results[0].boxes)} objects in the stressed condition.")

Microsoft PyRITのような専用ツールや、Vectra AIおよびGroup-IBのようなセキュリティ分野のリーダーから得られる知見を活用して、体系的なレッドチーミング演習を取り入れることで、組織は高精度であるだけでなく、現実世界の高度な脅威に対して本質的に安全で堅牢なAIシステムをデプロイできます。