Superalignment
スーパーアラインメントとは、人間の監督者より賢いAIシステムを人間の意図に沿わせる課題です。弱から強への汎化や監督を通じて研究されています。
スーパーアラインメントとは、監督する人間よりはるかに高い能力を持つAIシステムを、人間の意図に沿うよう調整する課題であり、この課題に取り組むためOpenAIが2023年に立ち上げた研究プログラムの名称でもあります。現在の調整手法である人間のフィードバックによる強化学習(RLHF)などは、どのモデル出力が優れているかを人間が評価する方法に依存しています。モデルが、監督者には確実に検証できないコード、証明、計画を作成するようになると、こうした評価は信頼できる学習信号ではなくなります。モデルは、評価者に正しいと思わせる回答を生成することを学び、実際に正しい回答を出さない可能性があります。スーパーアラインメント研究では、このようなシステムを監督、テスト、修正する方法を探ります。
用語の由来#
OpenAIは2023年7月5日、チーフサイエンティストのIlya Sutskever氏とアラインメント責任者のJan Leike氏が共同で率いるチームとともに、スーパーアラインメントを発表しました。同社は、当時までに確保した計算資源の20%を投入し、4年以内に超知能を調整するための中核的な技術課題を解決する目標を掲げました。計画では、まず人間とほぼ同等の能力を持つ自動アラインメント研究者を構築し、より多くの計算資源を使ってその研究を拡大することを目指していました。両責任者が退社した後、OpenAIは2024年5月にチームを解散しました。この用語は現在も、より一般的な課題を指す言葉として使われています。
スーパーアラインメントはAIアラインメントの一分野です。アラインメントは、RLHF、Constitutional AI、直接選好最適化など、人間、または人間が記述したルールで出力を評価できることを前提とする手法を通じて、システムが設計者の意図に沿って動作するようにする取り組み全般を指します。スーパーアラインメントは、その前提が成り立たない場合を扱います。これは、将来の汎用人工知能(AGI)や超知能など、人間を超えるシステムで生じます。スーパーアラインメントは、悪用や事故への対策と並ぶAI安全性の取り組みです。
弱いモデルから強いモデルへの汎化#
人間を超えるモデルはまだ存在しないため、チームの最初の論文であるCollin Burns氏らの「Weak-to-Strong Generalization」(2023年12月)は、ある類推を調べました。小さなモデルを人間の監督者、大きな基盤モデルを人間を超える能力を持つ学習者に見立てます。GPT-4をGPT-2相当の監督者が生成したラベルだけでファインチューニングすると、監督者を一貫して上回りましたが、GPT-4本来の能力には大きく及びませんでした。弱いラベルと矛盾する場合でも、学習者が確信度の高い予測を出すよう促す補助的な確信度損失を追加すると、自然言語処理(NLP)タスクでGPT-3.5に近い性能を回復しました。
この論文では、弱い監督者と、正解ラベルで学習した強いモデルとの精度差のうち、弱い教師あり学習のモデルが埋めた割合を、性能ギャップ回復率(PGR)として測定します。同じ実験はscikit-learnを使って小規模に再現できます。弱い監督者に浅い決定木、強い学習者にサポートベクターマシン(SVM)を使います。
from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
from sklearn.tree import DecisionTreeClassifier
x, y = load_digits(return_X_y=True)
x_weak, x_rest, y_weak, y_rest = train_test_split(x, y, train_size=0.3, random_state=0)
x_strong, x_test, y_strong, y_test = train_test_split(x_rest, y_rest, train_size=0.6, random_state=0)
# Weak supervisor: a shallow decision tree trained on ground-truth labels
weak = DecisionTreeClassifier(max_depth=5, random_state=0).fit(x_weak, y_weak)
weak_labels = weak.predict(x_strong)
# Strong student learns only from the weak labels; the ceiling learns from the true labels
student = SVC().fit(x_strong, weak_labels)
ceiling = SVC().fit(x_strong, y_strong)
weak_acc, student_acc, ceiling_acc = (m.score(x_test, y_test) for m in (weak, student, ceiling))
pgr = (student_acc - weak_acc) / (ceiling_acc - weak_acc)
print(f"weak {weak_acc:.3f}, weak-to-strong {student_acc:.3f}, ceiling {ceiling_acc:.3f}, PGR {pgr:.2f}")決定木はテスト画像の数字を69.0%の精度で分類し、そのラベルだけで学習したSVMは81.9%に達しました。これは、正解ラベルで学習したSVMの97.4%までの差の45%を回復したことになります。学習者が監督者を上回るのは、決定木の誤りが軸に沿った分割に基づいており、正則化されたSVMではうまく適合できないためです。そのため、多くの誤りはSVMの予測に引き継がれません。Ultralytics Platformでも、同じ問題を小規模に検討できます。Batch Annotationで1つのモデルを使ってデータセット全体にラベルを付け、そのラベルで後から学習したYOLO26モデルがラベル付けモデルを上回れるのは、その誤りを模倣しない場合に限られます。
その他のアプローチ#
弱いモデルから強いモデルへの学習は、複数ある研究の方向性の一つです。スケーラブルな監督では、人間の監督者をAIが支援します。Geoffrey Irving氏、Paul Christiano氏、Dario Amodei氏が2018年に提案したAIディベートでは、2つのモデルが相反する回答を主張し、人間の判定者が評価します。嘘を反証するより嘘をつくほうが難しいという考えに基づいています。サンドイッチング実験では、モデルの支援を受けた非専門家が専門家の判断に一致する必要があるタスクで、監督手法を検証します。専門家の判断は正解データの代わりとして使われます。
他の研究では、モデルの出力だけでなく、モデルが何を計算しているかの検証を試みています。メカニスティック解釈可能性とスパースオートエンコーダーは、欺瞞に結び付く内部特徴を探ります。また研究者は、バックドアを仕込んだスリーパーエージェントなど、意図的にアラインメントを欠くモデルを構築し、検出手法がそれを見つけられるか試します。人間を超えるモデルが大規模に悪用できる振る舞いは、現在の大規模言語モデル(LLM)でもすでに確認されています。これには、学習中のアラインメント偽装、評価時の手加減、報酬ハッキングが含まれます。
Burns氏らは、この類推における大きな隔たりとして模倣を挙げています。GPT-4はGPT-2を模倣するように事前学習されたことはなく、より大きな学習者ほど弱い監督者の模倣が難しくなりました。一方、人間のデータで事前学習した人間超えのモデルは、人間の監督者を非常によく模倣し、誤りを再現して人間レベルの回答しか出力しないと予想されます。










