AI Red Teaming
AIレッドチーミングでは、模擬敵対者や悪用を使ってAIシステムを攻撃し、ジェイルブレイク、データ漏えい、有害な出力、堅牢性の問題を見つけます。
AIレッドチーミングとは、人工知能(AI)システムのリリース前に、システムを故障させたり、データを漏えいさせたり、被害を引き起こしたりする方法を見つけるため、人や自動化ツールが攻撃者や悪用者の役割を担う、体系的な敵対的テストです。この名称は、組織の防御を攻撃するレッドチームを使った軍事演習やサイバーセキュリティに由来します。AIレッドチームはソフトウェアだけでなくモデルの挙動もテストします。大規模言語モデル(LLM)を危険な指示を出すよう誘導できるか、AIエージェントにツールを誤用させられるか、コンピュータービジョンモデルをステッカーで欺けるかを調べます。EU AI法では、システミックリスクを伴う汎用AIモデルの提供者に、モデルの敵対的テストの実施と記録が義務付けられています。
AIレッドチームの仕組み#
演習は脅威モデルの策定から始まります。システムを攻撃または悪用する可能性のある人物、相手が得る可能性のある利益、その用途で最も重要な被害を特定します。次にテスターが攻撃を生成し、対象に対して実行して応答を評価します。成功した攻撃はそれぞれ発見事項となり、追加のファインチューニング、新しいAIガードレール、ツール権限の厳格化などの緩和策につながります。その後、緩和策を適用したシステムを再度攻撃します。
人間のレッドチーマーは創造力と専門分野の知識をもたらします。Anthropicの研究者は、27億から520億パラメーターのモデルに対してクラウドワーカーが作成した38,961件のレッドチーム攻撃からなるデータセットを公開しました。また、人間のフィードバックによる強化学習(RLHF)で学習したモデルは、規模の拡大に伴ってレッドチームテストで突破しにくくなった一方、テストした他の種類のモデルではそうならなかったと報告しています。自動化によって探索範囲は広がります。DeepMindの研究者は、ある言語モデルを使って別の言語モデルのテストケースを生成し、パラメーター数2,800億のチャットボットから数万件の攻撃的な応答を発見しました。MicrosoftのPyRITやNVIDIAのgarakなどのオープンソースツールは、単一ターンと複数ターンの攻撃をスクリプト化して応答を評価します。また、MITRE ATLASナレッジベースは、ATT&CKフレームワークの形式でAIシステムを狙う敵対者の戦術をまとめています。
レッドチームが調べる項目#
- ジェイルブレイク:安全性学習で拒否すべき内容をモデルに生成させるプロンプト、ロールプレイ、長いやり取りです。
- プロンプトインジェクション:LLMを基盤とするアプリケーションやエージェントを乗っ取る、文書、ウェブページ、メール、画像に隠された指示です。
- プライバシー漏えい:記憶された個人データや隠されたシステムプロンプトを抽出すること、または特定の記録が学習データに含まれていたと示すことです。
- 有害なバイアス:人々をステレオタイプ化したり、集団ごとに異なる扱いをしたりする出力です。
- ハルシネーション:法律や医療の質問など、ユーザーが回答に基づいて行動する状況で、確信を持って誤った情報を述べることです。
- 危険な能力:サイバー攻撃や生物兵器に実質的な支援を提供する能力です。最先端モデルのリリース前に、専門家がテストします。
ビジョンモデルのレッドチーミング#
ビジョンモデルのレッドチームは、人物を検出器から隠す印刷パッチなどの物理的な敵対的攻撃、学習データで想定されていない照明や天候、データポイズニングによって仕込まれたバックドアのトリガーを探します。単純な自動化方法では、画像に一連の変換を適用し、モデルの認識結果が変わるものを検出します。次の例では、OpenCV画像を直接受け付けるpredictモードを使い、夜間、霧、モーションブラー、上下逆さまのカメラをシミュレーションしてUltralytics YOLO26をテストし、街路シーンで検出できた人物の数を数えます。
import cv2
import numpy as np
from ultralytics import YOLO
from ultralytics.utils import ASSETS
model = YOLO("yolo26n.pt")
image = cv2.imread(str(ASSETS / "bus.jpg"))
# Each attack simulates a condition the detector may meet after deployment
attacks = {
"original": image,
"night": cv2.convertScaleAbs(image, alpha=0.2, beta=0),
"fog": cv2.addWeighted(image, 0.3, np.full_like(image, 220), 0.7, 0),
"motion blur": cv2.filter2D(image, -1, np.ones((1, 61)) / 61),
"low resolution": cv2.resize(cv2.resize(image, None, fx=1 / 8, fy=1 / 8), image.shape[1::-1]),
"upside down": cv2.flip(image, -1),
}
# Count the people YOLO26 still detects under each attack (class 0 is "person")
for name, attacked in attacks.items():
result = model(attacked, verbose=False)[0]
print(f"{name}: {int((result.boxes.cls == 0).sum())} people")この実行では、夜間、霧の中、上下逆さまの状態でもYOLO26は4人全員を検出しますが、強いモーションブラーでは検出数が2人に、低解像度では3人に減ります。検出数が元の数を下回る条件はそれぞれ発見事項となり、学習中にその条件をシミュレーションするデータ拡張、新たな学習画像、またはモデルの使用範囲に関する制限を文書化することで対処します。
レッドチーミングと関連手法の比較#
AIレッドチーミングは、しばしば混同されるいくつかの手法と重なる部分があります。
- 侵入テスト:ネットワークやソフトウェアを調べ、悪用可能な脆弱性を探します。AIレッドチーミングでは確率的なモデルの挙動も対象とするため、1回失敗したプロンプトが再試行で成功することがあります。
- ベンチマーク:固定されたテストセットを使ってモデルを評価します。レッドチームは自由度の高い方法で失敗を探索し、成功した攻撃が後続モデルのテストセットになることもよくあります。
- AI安全性:AIシステムによる被害を防ぐ、より広い分野です。レッドチーミングに加え、安全性学習、解釈可能性研究、導入済みシステムのモニタリングが行われます。
MicrosoftのAIレッドチームは、100を超える生成AI製品のレッドチーミングから得た教訓を8項目にまとめました。その中には「AIシステムを破るのに勾配を計算する必要はない」という教訓があります。プロンプトエンジニアリングなどの基本的な手法が、勾配ベースの攻撃と同じくらい効果を発揮することがよくありました。勾配ベースの攻撃にはモデルへの完全なアクセスが必要ですが、ほとんどの商用AIシステムではそのようなアクセスは提供されません。










