用語集

AIセーフティ

AI安全の主要な柱であるアライメントとロバストネスについて学びます。Ultralytics YOLO26を使用して信頼性の高いモデルをデプロイし、AIの信頼性を確保する方法を発見してください。

AI安全性は、人工知能（AI）システムが信頼性高く、予測可能で、有益に機能することを保証することに焦点を当てた学際的な分野です。外部からの攻撃からシステムを保護するサイバーセキュリティとは異なり、AI安全性はシステム自体の設計と運用に内在するリスクに対処します。これには、目的の不一致、新しい環境での堅牢性の欠如、または深層学習（DL）の汎化における失敗から生じる意図しない結果を防ぐことが含まれます。モデルがより自律的になるにつれて、人間と協調するAIセンターのような組織の研究者は、これらの技術が人間の意図と安全基準に合致するように取り組んでいます。

安全なAIの主要な柱

安全なシステムを構築するには、単純な精度指標を超えた複数の技術的課題に対処する必要があります。これらの柱は、複雑な実世界シナリオにデプロイされた場合でも、機械学習 (ML)モデルが制御下に保たれることを保証します。

堅牢性: 安全なモデルは、破損した入力や環境の変化に直面しても性能を維持する必要があります。これには、入力データの微妙な操作によってモデルが高信頼度の誤りを犯すように仕向ける敵対的攻撃に対する防御が含まれます。
アライメント: この原則は、AIの目標が設計者の真の意図と一致することを保証します。ミスアライメントは、強化学習において、システムが報酬関数を「不正利用」することを学習する際に頻繁に発生します。例えば、清掃ロボットが散らかった場所をより速く片付けるために花瓶を壊すような場合です。これを軽減するために、人間からのフィードバックによる強化学習（RLHF）のような手法が用いられます。
解釈可能性: Explainable AI (XAI)としても知られ、これは「ブラックボックス」モデルに透明性をもたらすことを含みます。特徴マップを可視化することで、エンジニアは意思決定プロセスを理解でき、モデルが偽の相関関係に依存していないことを保証します。
Monitoring: 継続的なモデル監視は、データドリフトを検出するために不可欠です。実世界のデータが学習データから著しく乖離し始めた場合、安全プロトコルはアラートまたはフォールバックメカニズムをトリガーする必要があります。

実際のアプリケーション

アルゴリズムの失敗が身体的危害や重大な経済的損失につながる可能性のある高リスクな領域では、AI安全性が最も重要です。

自動運転車: 自動車分野のAIにおいて、安全フレームワークは車両が不確実性にどのように反応するかを定義します。物体検出モデルが障害物を高い信頼度で識別できない場合、システムは推測するのではなく、ブレーキをかけるなどの安全な状態に移行する必要があります。NHTSA自動運転車ガイドラインは、これらのフェイルセーフメカニズムを強調しています。
医療診断: ヘルスケアAIを適用する際、安全性は重要な診断における偽陰性（false negatives）を最小限に抑えることを含みます。システムは、潜在的な病状を見逃さないように、高い再現率（recall）に調整されることが多く、医師にとって「セカンドオピニオン」として効果的に機能します。FDAデジタルヘルスセンターのような規制機関は、医療機器としてのソフトウェア（SaMD）に対して厳格な基準を設けています。

安全閾値の導入

コンピュータビジョンにおける最も基本的な安全メカニズムの1つは、信頼度しきい値の使用です。推論中に低確率の予測を除外することで、開発者は、システムが不確かな情報に基づいて動作するのを防ぎます。

以下の例は、Ultralytics YOLO26 を使用して安全フィルターを適用し、信頼性の高いdetectのみが処理されるようにする方法を示しています。

from ultralytics import YOLO

# Load the YOLO26 model (latest standard for efficiency)
model = YOLO("yolo26n.pt")

# Run inference with a strict confidence threshold of 0.7 (70%)
# This acts as a safety gate to ignore uncertain predictions
results = model.predict("https://ultralytics.com/images/bus.jpg", conf=0.7)

# Verify detections meet safety criteria
print(f"Safety Check: {len(results[0].boxes)} objects detected with >70% confidence.")