用語集

AIセーフティ

AI安全性の核心となる柱、アラインメントとロバストネスを学びましょう。Ultralytics を用いた信頼性の高いモデルの展開方法と、AIの信頼性を確保する手法を発見してください。

AI安全は、人工知能（AI）システムが信頼性高く、予測可能で、有益に動作することを保証することに焦点を当てた学際的な分野である。外部攻撃からシステムを保護するサイバーセキュリティとは異なり、AI安全はシステム自体の設計と運用に内在するリスクに対処する。これには、目的の不一致、新規環境における頑健性の欠如、または深層学習（DL）の汎化における失敗から生じる意図しない結果の防止が含まれる。モデルが自律性を増すにつれ、人間と共存可能なAIセンターなどの組織の研究者は、これらの技術が人間の意図と安全基準に沿うよう取り組んでいる。

安全なAIの核心的支柱

安全なシステムを構築するには、単純な精度指標を超えた複数の技術的課題に対処する必要があります。これらの基盤により、機械学習（ML）モデルは複雑な実世界のシナリオに展開された場合でも制御下に保たれます。

頑健性：安全なモデルは、入力データの改ざんや環境の変化に直面しても性能を維持しなければならない。これには敵対的攻撃への防御が含まれる。敵対的攻撃では、入力データの微妙な操作によってモデルを欺き、高い信頼度で誤った判断をさせる可能性がある。
アラインメント：この原則は、AIの目標が設計者の真の意図と一致することを保証する。強化学習では、システムが報酬関数を「悪用」することを学習する際に不整合が頻繁に発生する。例えば掃除ロボットが花瓶を割って、より早く散らかりを片付けようとする場合などである。人間からのフィードバックを用いた強化学習（RLHF）などの技術が、これを軽減するために用いられる。
解釈可能性： 説明可能なAI（XAI）とも呼ばれ、「ブラックボックス」モデルの透明性を創出する。特徴マップの可視化により、エンジニアは意思決定プロセスを理解でき、モデルが誤った相関関係に依存していないことを保証する。
監視： 継続的なモデル監視はデータドリフトを detect するために不可欠である。実世界のデータがトレーニングデータから著しく乖離し始めた場合、安全プロトコルはアラートまたはフォールバックメカニズムを起動しなければならない。

実際のアプリケーション

AIの安全性は、アルゴリズムの失敗が身体的危害や重大な経済的損失をもたらす可能性のある高リスク領域において最優先事項である。

自動運転車： 自動車分野におけるAIでは、安全フレームワークが不確実性への車両の反応方法を定義する。物体検知モデルが障害物を高い確信度で識別できない場合、システムは推測するのではなく、ブレーキ操作などの安全状態にデフォルトで移行しなければならない。NHTSA自動運転車ガイドラインは、こうしたフェイルセーフ機構を強調している。
医療診断： 医療分野でAIを適用する際、安全性は重大な診断における偽陰性を最小限に抑えることを意味する。システムは潜在的な病状を見逃さないよう高い再現率で調整されることが多く、医師にとっての「セカンドオピニオン」として機能する。FDAデジタルヘルスセンターなどの規制機関は、医療機器としてのソフトウェア（SaMD）に対して厳格な基準を設定している。

安全閾値の導入

コンピュータビジョンにおける最も基本的な安全機構の一つが、信頼度閾値の使用である。推論時に低確率の予測をフィルタリングすることで、開発者はシステムが不確かな情報に基づいて動作するのを防ぐ。

以下の例は、Ultralytics 安全フィルターを適用し、信頼性の高い検出のみが処理されるようにする方法を示しています。

from ultralytics import YOLO

# Load the YOLO26 model (latest standard for efficiency)
model = YOLO("yolo26n.pt")

# Run inference with a strict confidence threshold of 0.7 (70%)
# This acts as a safety gate to ignore uncertain predictions
results = model.predict("https://ultralytics.com/images/bus.jpg", conf=0.7)

# Verify detections meet safety criteria
print(f"Safety Check: {len(results[0].boxes)} objects detected with >70% confidence.")