YOLOのライセンス
Ultralytics用語集に戻る

AI Red Teaming

AIレッドチーミングでは、模擬敵対者や悪用を使ってAIシステムを攻撃し、ジェイルブレイク、データ漏えい、有害な出力、堅牢性の問題を見つけます。

AIレッドチーミングとは、人工知能(AI)システムのリリース前に、システムを故障させたり、データを漏えいさせたり、被害を引き起こしたりする方法を見つけるため、人や自動化ツールが攻撃者や悪用者の役割を担う、体系的な敵対的テストです。この名称は、組織の防御を攻撃するレッドチームを使った軍事演習やサイバーセキュリティに由来します。AIレッドチームはソフトウェアだけでなくモデルの挙動もテストします。大規模言語モデル(LLM)を危険な指示を出すよう誘導できるか、AIエージェントにツールを誤用させられるか、コンピュータービジョンモデルをステッカーで欺けるかを調べます。EU AI法では、システミックリスクを伴う汎用AIモデルの提供者に、モデルの敵対的テストの実施と記録が義務付けられています。

AIレッドチームの仕組み#

演習は脅威モデルの策定から始まります。システムを攻撃または悪用する可能性のある人物、相手が得る可能性のある利益、その用途で最も重要な被害を特定します。次にテスターが攻撃を生成し、対象に対して実行して応答を評価します。成功した攻撃はそれぞれ発見事項となり、追加のファインチューニング、新しいAIガードレール、ツール権限の厳格化などの緩和策につながります。その後、緩和策を適用したシステムを再度攻撃します。

人間のレッドチーマーは創造力と専門分野の知識をもたらします。Anthropicの研究者は、27億から520億パラメーターのモデルに対してクラウドワーカーが作成した38,961件のレッドチーム攻撃からなるデータセットを公開しました。また、人間のフィードバックによる強化学習(RLHF)で学習したモデルは、規模の拡大に伴ってレッドチームテストで突破しにくくなった一方、テストした他の種類のモデルではそうならなかったと報告しています。自動化によって探索範囲は広がります。DeepMindの研究者は、ある言語モデルを使って別の言語モデルのテストケースを生成し、パラメーター数2,800億のチャットボットから数万件の攻撃的な応答を発見しました。MicrosoftのPyRITやNVIDIAのgarakなどのオープンソースツールは、単一ターンと複数ターンの攻撃をスクリプト化して応答を評価します。また、MITRE ATLASナレッジベースは、ATT&CKフレームワークの形式でAIシステムを狙う敵対者の戦術をまとめています。

レッドチームが調べる項目#

  • ジェイルブレイク:安全性学習で拒否すべき内容をモデルに生成させるプロンプト、ロールプレイ、長いやり取りです。
  • プロンプトインジェクション:LLMを基盤とするアプリケーションやエージェントを乗っ取る、文書、ウェブページ、メール、画像に隠された指示です。
  • プライバシー漏えい:記憶された個人データや隠されたシステムプロンプトを抽出すること、または特定の記録が学習データに含まれていたと示すことです。
  • 有害なバイアス:人々をステレオタイプ化したり、集団ごとに異なる扱いをしたりする出力です。
  • ハルシネーション:法律や医療の質問など、ユーザーが回答に基づいて行動する状況で、確信を持って誤った情報を述べることです。
  • 危険な能力:サイバー攻撃や生物兵器に実質的な支援を提供する能力です。最先端モデルのリリース前に、専門家がテストします。

ビジョンモデルのレッドチーミング#

ビジョンモデルのレッドチームは、人物を検出器から隠す印刷パッチなどの物理的な敵対的攻撃、学習データで想定されていない照明や天候、データポイズニングによって仕込まれたバックドアのトリガーを探します。単純な自動化方法では、画像に一連の変換を適用し、モデルの認識結果が変わるものを検出します。次の例では、OpenCV画像を直接受け付けるpredictモードを使い、夜間、霧、モーションブラー、上下逆さまのカメラをシミュレーションしてUltralytics YOLO26をテストし、街路シーンで検出できた人物の数を数えます。

import cv2
import numpy as np
from ultralytics import YOLO
from ultralytics.utils import ASSETS

model = YOLO("yolo26n.pt")
image = cv2.imread(str(ASSETS / "bus.jpg"))

# Each attack simulates a condition the detector may meet after deployment
attacks = {
    "original": image,
    "night": cv2.convertScaleAbs(image, alpha=0.2, beta=0),
    "fog": cv2.addWeighted(image, 0.3, np.full_like(image, 220), 0.7, 0),
    "motion blur": cv2.filter2D(image, -1, np.ones((1, 61)) / 61),
    "low resolution": cv2.resize(cv2.resize(image, None, fx=1 / 8, fy=1 / 8), image.shape[1::-1]),
    "upside down": cv2.flip(image, -1),
}

# Count the people YOLO26 still detects under each attack (class 0 is "person")
for name, attacked in attacks.items():
    result = model(attacked, verbose=False)[0]
    print(f"{name}: {int((result.boxes.cls == 0).sum())} people")

この実行では、夜間、霧の中、上下逆さまの状態でもYOLO26は4人全員を検出しますが、強いモーションブラーでは検出数が2人に、低解像度では3人に減ります。検出数が元の数を下回る条件はそれぞれ発見事項となり、学習中にその条件をシミュレーションするデータ拡張、新たな学習画像、またはモデルの使用範囲に関する制限を文書化することで対処します。

AIレッドチーミングは、しばしば混同されるいくつかの手法と重なる部分があります。

  • 侵入テスト:ネットワークやソフトウェアを調べ、悪用可能な脆弱性を探します。AIレッドチーミングでは確率的なモデルの挙動も対象とするため、1回失敗したプロンプトが再試行で成功することがあります。
  • ベンチマーク:固定されたテストセットを使ってモデルを評価します。レッドチームは自由度の高い方法で失敗を探索し、成功した攻撃が後続モデルのテストセットになることもよくあります。
  • AI安全性:AIシステムによる被害を防ぐ、より広い分野です。レッドチーミングに加え、安全性学習、解釈可能性研究、導入済みシステムのモニタリングが行われます。

MicrosoftのAIレッドチームは、100を超える生成AI製品のレッドチーミングから得た教訓を8項目にまとめました。その中には「AIシステムを破るのに勾配を計算する必要はない」という教訓があります。プロンプトエンジニアリングなどの基本的な手法が、勾配ベースの攻撃と同じくらい効果を発揮することがよくありました。勾配ベースの攻撃にはモデルへの完全なアクセスが必要ですが、ほとんどの商用AIシステムではそのようなアクセスは提供されません。

ソリューションを見る

スポーツにおけるコンピュータービジョン

スポーツにおけるコンピュータービジョン

Ultralytics YOLOが、選手やボールの追跡、パフォーマンス分析、コーチングへの知見、アスリートのリハビリを通じて、スポーツビジョンをどのように支えるかをご紹介します。
詳しく見る
航空画像向けコンピュータービジョン

航空画像向けコンピュータービジョン

Ultralytics YOLOを使用して、ドローンや航空画像をリアルタイムの知見に変換し、農業、水産養殖、自然保護、地理空間分析に活用できます。
詳しく見る
航空宇宙分野のコンピュータービジョン

航空宇宙分野のコンピュータービジョン

Ultralytics YOLOを活用して航空宇宙分野でコンピュータビジョンを導入し、航空機検査、滑走路上のFOD検出、空港の地上業務、複合材の欠陥検出に活用できます。
詳しく見る
セキュリティ分野のコンピュータービジョン

セキュリティ分野のコンピュータービジョン

Ultralytics YOLOモデルであらゆる施設を保護しましょう。ビジョンAIは、周辺監視、脅威検知、ナンバープレート認識、職場の安全管理を支援します。
詳しく見る
ロボティクス分野のコンピュータービジョン

ロボティクス分野のコンピュータービジョン

Ultralytics YOLOモデルで、よりスマートなマシンを実現しましょう。ロボティクスにおけるビジョンAIは、自律ナビゲーション、認識、物体追跡、リアルタイム制御を支援します。
詳しく見る
物流におけるコンピュータービジョン

物流におけるコンピュータービジョン

Ultralytics YOLOモデルで物流を効率化しましょう。ビジョンAIにより、荷物検査、仕分け、車両追跡、倉庫のリアルタイム安全監視を実現します。
詳しく見る
小売業におけるコンピュータービジョン

小売業におけるコンピュータービジョン

Ultralytics YOLOモデルで小売のあり方を変革しましょう。ビジョンAIにより、在庫追跡、棚の監視、行列管理、より高度な顧客インサイトを実現します。
詳しく見る
医療分野におけるコンピュータービジョン

医療分野におけるコンピュータービジョン

Ultralytics YOLOモデルで医療ソリューションを構築しましょう。医療分野のビジョンAIは、医用画像処理の高速化、より高度な診断、患者モニタリングを実現します。
詳しく見る
製造業におけるコンピュータービジョン

製造業におけるコンピュータービジョン

Ultralytics YOLOモデルで製造を最適化しましょう。ビジョンAIは、品質管理、欠陥検出、PPE準拠、組立ラインの自動化を推進します。
詳しく見る
自動車分野におけるコンピュータービジョン

自動車分野におけるコンピュータービジョン

Ultralytics YOLOモデルで自動車分野にコンピュータービジョンを導入しましょう。ビジョンAIは、道路の安全性、運転支援、車両の自動化を向上させ、よりスマートな道路を実現します。
詳しく見る
農業におけるコンピュータービジョン

農業におけるコンピュータービジョン

Ultralytics YOLOモデルでスマート農業にビジョンAIを導入しましょう。作物のモニタリング、家畜の追跡、精密農業を支援し、より高く効率的な収量を実現します。
詳しく見る

AIの未来を一緒に築きましょう!

機械学習の未来に向けた歩みを始めましょう