AI Safety

AIセーフティとは、事故、意図的な悪用、あるいは開発者の意図しない目標を追求するシステムなどによって、人工知能（AI）システムが損害を引き起こすのを防ぐことを目的とした研究・エンジニアリング分野です。自動運転車の認識スタックやカスタマーサービス用チャットボットなどの運用中の機械学習システムだけでなく、研究機関が開発している、より高性能な最先端AIモデルやエージェントも対象です。取り組みには、技術研究、テスト手法、そしてシステムをリリースできるほど安全かどうかを企業や政府が判断するための枠組みが含まれます。

AIセーフティの中心的な課題#

Google Brain、OpenAI、Stanford、UC Berkeleyの研究者による2016年の論文AIセーフティにおける具体的な問題は、機械学習の事故を、清掃ロボットの例を交えた5つの研究課題として整理しました。これらは現在もこの分野の大部分を体系化しています。

• 負の副作用の回避： 床をきれいにすることだけに報酬を与えられたロボットには、作業中に花瓶を倒さない理由がありません。
• 報酬ハッキング： 目的の趣旨を損ないながら、文面上の要件だけを満たすことです。たとえば、ロボットのカメラが見通せない素材で汚れを覆い隠す行為が該当します。
• スケーラブルな監督： すべての行動を確認するとコストが高すぎる場合に、適切な行動を訓練することです。たとえば、部屋がどの程度きれいかを人間にときどき尋ねる方法があります。
• 安全な探索： 学習エージェントに新しい行動を試させながら、濡れたモップをコンセントに差し込むような壊滅的な行動を避けることです。
• 分布シフトへの頑健性： 訓練環境と異なる入力を認識し、慎重に対応することです。たとえば、オフィスで訓練されたロボットが工場のフロアに移動する場合が該当します。

それぞれの課題は、独立した研究分野へと発展しました。スケーラブルな監督は、監督者より高性能なシステムを監督する研究である超整合性の中心的なテーマとなりました。安全な探索は強化学習における制約であり、分布シフトは本番システムでデータドリフトとして現れます。

AIリスクの発生源#

Google DeepMindの2025年の論文技術的なAGIの安全性とセキュリティへのアプローチは、深刻なリスクを、損害の責任が誰または何にあるかに基づく4つの領域に分類しています。

各領域にはそれぞれ異なる防御策が必要です。悪用には、拒否応答の訓練、AIガードレール、危険な能力へのアクセス制限で対処します。不整合は、監視されている間だけモデルが適切に振る舞う可能性があるため、テストが困難です。研究では、訓練中のアラインメント偽装、評価時のサンドバッギング、安全性訓練を乗り越えるバックドア付きのスリーパーエージェント、限定的なファインチューニング後の創発的な不整合が確認されています。誤りは、頑健性の向上、テスト、監視によって減らします。また、多数の開発者間の競争や複数のAIエージェント間の相互作用から生じる損害などの構造的リスクには、主にガバナンスで対処します。

実践で用いられる手法#

セーフティへの取り組みは、モデルのライフサイクル全体にわたります。訓練中は、人間のフィードバックによる強化学習（RLHF）と憲法的AIによって、モデルが何を行い、何を行わないかを調整します。リリース前には、AIレッドチーミングや危険な能力の評価で失敗の可能性を探り、メカニスティック解釈可能性によって、出力だけでは明らかにならない目標が内部計算にないかを調べます。Anthropicの責任あるスケーリングポリシーなどの最先端AI向け安全性フレームワークは、より強力なセキュリティと導入時の保護策が必要となる能力のしきい値を定めています。

導入後は、モデル監視により、モデルが一度もテストされていない入力を検出します。Ultralytics Platformの導入監視では、導入済みのYOLO26エンドポイントについて、信頼度分布と時間経過に伴う平均信頼度をグラフ化します。そのため、カメラの移動や照明の変化後に信頼度が低下すれば、入力が訓練データから乖離していることが分かります。物理世界で動作するシステムには、フォールバックも必要です。たとえば自動運転車に定められている最小リスク状態では、自動運転システムが走行を続けられなくなった場合に車両が安全に停止します。

AIセーフティと関連分野#

AIセーフティは、しばしば同じ意味で使われる複数の分野と重なり合っています。

• AI倫理： AIシステムが何を行い、誰のために行うべきかを問い、公平性、プライバシー、説明責任を扱います。バイアスのある判断などの損害は、両方の分野に関わります。
• AIセキュリティ： 敵対的サンプル、データポイズニング、プロンプトインジェクション、モデル窃取への防御を通じて、AIシステムを攻撃者から保護します。
• AIアラインメント： システムが開発者の意図した目標を追求するようにすることを扱う、AIセーフティの下位分野です。上記の不整合の領域に対処します。
• AIガバナンス： EU AI法のリスク分類など、AIシステムの開発やリリースの方法を定める法律、標準、社内ポリシーです。

政策に応じて境界は変化します。2025年2月、英国は、リリース前の最先端モデルをテストする政府機関であるAI Safety Instituteの名称をAI Security Instituteに変更し、サイバー攻撃、詐欺、化学兵器・生物兵器の開発など、セキュリティに影響するリスクに重点を置くことにしました。