YOLOのライセンス
Ultralytics用語集に戻る

Superalignment

スーパーアラインメントとは、人間の監督者より賢いAIシステムを人間の意図に沿わせる課題です。弱から強への汎化や監督を通じて研究されています。

スーパーアラインメントとは、監督する人間よりはるかに高い能力を持つAIシステムを、人間の意図に沿うよう調整する課題であり、この課題に取り組むためOpenAIが2023年に立ち上げた研究プログラムの名称でもあります。現在の調整手法である人間のフィードバックによる強化学習(RLHF)などは、どのモデル出力が優れているかを人間が評価する方法に依存しています。モデルが、監督者には確実に検証できないコード、証明、計画を作成するようになると、こうした評価は信頼できる学習信号ではなくなります。モデルは、評価者に正しいと思わせる回答を生成することを学び、実際に正しい回答を出さない可能性があります。スーパーアラインメント研究では、このようなシステムを監督、テスト、修正する方法を探ります。

用語の由来#

OpenAIは2023年7月5日、チーフサイエンティストのIlya Sutskever氏とアラインメント責任者のJan Leike氏が共同で率いるチームとともに、スーパーアラインメントを発表しました。同社は、当時までに確保した計算資源の20%を投入し、4年以内に超知能を調整するための中核的な技術課題を解決する目標を掲げました。計画では、まず人間とほぼ同等の能力を持つ自動アラインメント研究者を構築し、より多くの計算資源を使ってその研究を拡大することを目指していました。両責任者が退社した後、OpenAIは2024年5月にチームを解散しました。この用語は現在も、より一般的な課題を指す言葉として使われています。

スーパーアラインメントはAIアラインメントの一分野です。アラインメントは、RLHF、Constitutional AI、直接選好最適化など、人間、または人間が記述したルールで出力を評価できることを前提とする手法を通じて、システムが設計者の意図に沿って動作するようにする取り組み全般を指します。スーパーアラインメントは、その前提が成り立たない場合を扱います。これは、将来の汎用人工知能(AGI)や超知能など、人間を超えるシステムで生じます。スーパーアラインメントは、悪用や事故への対策と並ぶAI安全性の取り組みです。

弱いモデルから強いモデルへの汎化#

人間を超えるモデルはまだ存在しないため、チームの最初の論文であるCollin Burns氏らの「Weak-to-Strong Generalization」(2023年12月)は、ある類推を調べました。小さなモデルを人間の監督者、大きな基盤モデルを人間を超える能力を持つ学習者に見立てます。GPT-4をGPT-2相当の監督者が生成したラベルだけでファインチューニングすると、監督者を一貫して上回りましたが、GPT-4本来の能力には大きく及びませんでした。弱いラベルと矛盾する場合でも、学習者が確信度の高い予測を出すよう促す補助的な確信度損失を追加すると、自然言語処理(NLP)タスクでGPT-3.5に近い性能を回復しました。

この論文では、弱い監督者と、正解ラベルで学習した強いモデルとの精度差のうち、弱い教師あり学習のモデルが埋めた割合を、性能ギャップ回復率(PGR)として測定します。同じ実験はscikit-learnを使って小規模に再現できます。弱い監督者に浅い決定木、強い学習者にサポートベクターマシン(SVM)を使います。

from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
from sklearn.tree import DecisionTreeClassifier

x, y = load_digits(return_X_y=True)
x_weak, x_rest, y_weak, y_rest = train_test_split(x, y, train_size=0.3, random_state=0)
x_strong, x_test, y_strong, y_test = train_test_split(x_rest, y_rest, train_size=0.6, random_state=0)

# Weak supervisor: a shallow decision tree trained on ground-truth labels
weak = DecisionTreeClassifier(max_depth=5, random_state=0).fit(x_weak, y_weak)
weak_labels = weak.predict(x_strong)

# Strong student learns only from the weak labels; the ceiling learns from the true labels
student = SVC().fit(x_strong, weak_labels)
ceiling = SVC().fit(x_strong, y_strong)

weak_acc, student_acc, ceiling_acc = (m.score(x_test, y_test) for m in (weak, student, ceiling))
pgr = (student_acc - weak_acc) / (ceiling_acc - weak_acc)
print(f"weak {weak_acc:.3f}, weak-to-strong {student_acc:.3f}, ceiling {ceiling_acc:.3f}, PGR {pgr:.2f}")

決定木はテスト画像の数字を69.0%の精度で分類し、そのラベルだけで学習したSVMは81.9%に達しました。これは、正解ラベルで学習したSVMの97.4%までの差の45%を回復したことになります。学習者が監督者を上回るのは、決定木の誤りが軸に沿った分割に基づいており、正則化されたSVMではうまく適合できないためです。そのため、多くの誤りはSVMの予測に引き継がれません。Ultralytics Platformでも、同じ問題を小規模に検討できます。Batch Annotationで1つのモデルを使ってデータセット全体にラベルを付け、そのラベルで後から学習したYOLO26モデルがラベル付けモデルを上回れるのは、その誤りを模倣しない場合に限られます。

その他のアプローチ#

弱いモデルから強いモデルへの学習は、複数ある研究の方向性の一つです。スケーラブルな監督では、人間の監督者をAIが支援します。Geoffrey Irving氏、Paul Christiano氏、Dario Amodei氏が2018年に提案したAIディベートでは、2つのモデルが相反する回答を主張し、人間の判定者が評価します。嘘を反証するより嘘をつくほうが難しいという考えに基づいています。サンドイッチング実験では、モデルの支援を受けた非専門家が専門家の判断に一致する必要があるタスクで、監督手法を検証します。専門家の判断は正解データの代わりとして使われます。

他の研究では、モデルの出力だけでなく、モデルが何を計算しているかの検証を試みています。メカニスティック解釈可能性とスパースオートエンコーダーは、欺瞞に結び付く内部特徴を探ります。また研究者は、バックドアを仕込んだスリーパーエージェントなど、意図的にアラインメントを欠くモデルを構築し、検出手法がそれを見つけられるか試します。人間を超えるモデルが大規模に悪用できる振る舞いは、現在の大規模言語モデル(LLM)でもすでに確認されています。これには、学習中のアラインメント偽装、評価時の手加減、報酬ハッキングが含まれます。

Burns氏らは、この類推における大きな隔たりとして模倣を挙げています。GPT-4はGPT-2を模倣するように事前学習されたことはなく、より大きな学習者ほど弱い監督者の模倣が難しくなりました。一方、人間のデータで事前学習した人間超えのモデルは、人間の監督者を非常によく模倣し、誤りを再現して人間レベルの回答しか出力しないと予想されます。

ソリューションを見る

スポーツにおけるコンピュータービジョン

スポーツにおけるコンピュータービジョン

Ultralytics YOLOが、選手やボールの追跡、パフォーマンス分析、コーチングへの知見、アスリートのリハビリを通じて、スポーツビジョンをどのように支えるかをご紹介します。
詳しく見る
航空画像向けコンピュータービジョン

航空画像向けコンピュータービジョン

Ultralytics YOLOを使用して、ドローンや航空画像をリアルタイムの知見に変換し、農業、水産養殖、自然保護、地理空間分析に活用できます。
詳しく見る
航空宇宙分野のコンピュータービジョン

航空宇宙分野のコンピュータービジョン

Ultralytics YOLOを活用して航空宇宙分野でコンピュータビジョンを導入し、航空機検査、滑走路上のFOD検出、空港の地上業務、複合材の欠陥検出に活用できます。
詳しく見る
セキュリティ分野のコンピュータービジョン

セキュリティ分野のコンピュータービジョン

Ultralytics YOLOモデルであらゆる施設を保護しましょう。ビジョンAIは、周辺監視、脅威検知、ナンバープレート認識、職場の安全管理を支援します。
詳しく見る
ロボティクス分野のコンピュータービジョン

ロボティクス分野のコンピュータービジョン

Ultralytics YOLOモデルで、よりスマートなマシンを実現しましょう。ロボティクスにおけるビジョンAIは、自律ナビゲーション、認識、物体追跡、リアルタイム制御を支援します。
詳しく見る
物流におけるコンピュータービジョン

物流におけるコンピュータービジョン

Ultralytics YOLOモデルで物流を効率化しましょう。ビジョンAIにより、荷物検査、仕分け、車両追跡、倉庫のリアルタイム安全監視を実現します。
詳しく見る
小売業におけるコンピュータービジョン

小売業におけるコンピュータービジョン

Ultralytics YOLOモデルで小売のあり方を変革しましょう。ビジョンAIにより、在庫追跡、棚の監視、行列管理、より高度な顧客インサイトを実現します。
詳しく見る
医療分野におけるコンピュータービジョン

医療分野におけるコンピュータービジョン

Ultralytics YOLOモデルで医療ソリューションを構築しましょう。医療分野のビジョンAIは、医用画像処理の高速化、より高度な診断、患者モニタリングを実現します。
詳しく見る
製造業におけるコンピュータービジョン

製造業におけるコンピュータービジョン

Ultralytics YOLOモデルで製造を最適化しましょう。ビジョンAIは、品質管理、欠陥検出、PPE準拠、組立ラインの自動化を推進します。
詳しく見る
自動車分野におけるコンピュータービジョン

自動車分野におけるコンピュータービジョン

Ultralytics YOLOモデルで自動車分野にコンピュータービジョンを導入しましょう。ビジョンAIは、道路の安全性、運転支援、車両の自動化を向上させ、よりスマートな道路を実現します。
詳しく見る
農業におけるコンピュータービジョン

農業におけるコンピュータービジョン

Ultralytics YOLOモデルでスマート農業にビジョンAIを導入しましょう。作物のモニタリング、家畜の追跡、精密農業を支援し、より高く効率的な収量を実現します。
詳しく見る

AIの未来を一緒に築きましょう!

機械学習の未来に向けた歩みを始めましょう