Superalignment
초정렬은 인간 감독자보다 더 똑똑한 AI 시스템을 정렬하는 문제이며, 약한 모델에서 강한 모델로의 일반화와 감독 기법을 통해 연구됩니다.
초정렬은 감독하는 사람보다 훨씬 뛰어난 AI 시스템을 정렬하는 문제이며, OpenAI가 이 문제를 연구하기 위해 2023년에 시작한 연구 프로그램의 이름이기도 합니다. 인간 피드백 기반 강화 학습 (RLHF)과 같은 현재의 정렬 방법은 어떤 모델 출력이 더 나은지 사람이 판단하는 데 의존합니다. 모델이 감독자가 신뢰성 있게 검증할 수 없는 코드, 증명 또는 계획을 작성하기 시작하면 그러한 판단은 신뢰할 만한 학습 신호가 되지 못합니다. 모델은 정답 대신 평가자에게 정답처럼 보이는 답을 생성하도록 학습할 수 있습니다. 초정렬 연구는 이런 시스템을 계속 감독하고, 테스트하고, 수정할 방법을 찾습니다.
용어의 유래#
OpenAI는 2023년 7월 5일, 수석 과학자 Ilya Sutskever와 정렬 책임자 Jan Leike가 공동으로 이끄는 팀과 함께 초정렬을 도입했습니다. 회사는 당시까지 확보한 연산 자원의 20%를 투입하기로 약속하고 4년 안에 초지능 정렬의 핵심 기술 과제를 해결한다는 목표를 세웠습니다. 계획은 대략 인간 수준의 자동화된 정렬 연구자를 만든 뒤 더 많은 연산 자원을 투입해 연구를 확장하는 것이었습니다. 두 책임자가 회사를 떠난 뒤 OpenAI는 2024년 5월 팀을 해체했으며, 이 용어는 일반적인 문제를 가리키는 데 계속 사용됩니다.
초정렬은 AI 정렬의 하위 분야입니다. 정렬은 RLHF, 헌법적 AI, 직접 선호 최적화와 같은 방법을 통해 시스템이 설계자의 의도를 따르도록 하는 모든 작업을 포괄합니다. 이러한 방법은 사람이나 사람이 작성한 규칙이 출력을 판단할 수 있다고 가정합니다. 초정렬은 이 가정이 성립하지 않는 경우를 다루며, 미래의 범용 인공지능 (AGI)과 초지능처럼 인간 수준을 넘어서는 시스템에서 이러한 문제가 발생합니다. 초정렬은 오용과 사고에 관한 연구와 함께 AI 안전 분야에 속합니다.
약한 모델에서 강한 모델로의 일반화#
초인간 수준 모델은 아직 존재하지 않으므로, 팀의 첫 논문인 Collin Burns와 동료들의 2023년 12월 연구 약한 모델에서 강한 모델로의 일반화는 유사한 상황을 연구했습니다. 소형 모델이 인간 감독자 역할을 하고 대형 파운데이션 모델이 초인간 수준 학생 역할을 하는 설정입니다. GPT-4를 GPT-2 수준 감독자가 생성한 레이블로만 파인 튜닝했을 때, GPT-4는 감독자의 성능을 일관되게 넘어섰지만 자신의 전체 역량에는 크게 미치지 못했습니다. 약한 레이블과 상충하더라도 학생 모델이 확신도 높은 예측을 하도록 보상하는 보조 확신도 손실을 추가하면 자연어 처리 (NLP) 작업에서 GPT-3.5에 가까운 성능을 회복했습니다.
이 논문은 성공을 성능 격차 회복률 (PGR)로 측정합니다. 이는 약한 감독자와 실제 레이블로 학습한 강한 모델 간 정확도 격차 중 약한 감독을 받은 학생 모델이 줄인 비율입니다. scikit-learn을 사용해 작은 규모에서도 같은 실험을 수행할 수 있습니다. 얕은 결정 트리를 약한 감독자로, 서포트 벡터 머신 (SVM)을 강한 학생 모델로 사용합니다:
from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
from sklearn.tree import DecisionTreeClassifier
x, y = load_digits(return_X_y=True)
x_weak, x_rest, y_weak, y_rest = train_test_split(x, y, train_size=0.3, random_state=0)
x_strong, x_test, y_strong, y_test = train_test_split(x_rest, y_rest, train_size=0.6, random_state=0)
# Weak supervisor: a shallow decision tree trained on ground-truth labels
weak = DecisionTreeClassifier(max_depth=5, random_state=0).fit(x_weak, y_weak)
weak_labels = weak.predict(x_strong)
# Strong student learns only from the weak labels; the ceiling learns from the true labels
student = SVC().fit(x_strong, weak_labels)
ceiling = SVC().fit(x_strong, y_strong)
weak_acc, student_acc, ceiling_acc = (m.score(x_test, y_test) for m in (weak, student, ceiling))
pgr = (student_acc - weak_acc) / (ceiling_acc - weak_acc)
print(f"weak {weak_acc:.3f}, weak-to-strong {student_acc:.3f}, ceiling {ceiling_acc:.3f}, PGR {pgr:.2f}")트리는 테스트 숫자의 69.0%를 정확히 분류하고, 트리의 레이블만으로 학습한 SVM은 81.9%에 도달하여 실제 레이블로 학습한 SVM의 97.4%와의 격차 중 45%를 회복합니다. 학생 모델이 감독자를 능가하는 이유는 트리의 오류가 정규화된 SVM이 잘 맞추지 못하는 축 정렬 분할을 따르므로, 오류 중 상당수가 SVM의 예측으로 이어지지 않기 때문입니다. Ultralytics Platform도 작은 규모에서 같은 질문을 다룹니다. 일괄 주석은 하나의 모델로 전체 데이터셋에 레이블을 지정하며, 이후 해당 레이블로 학습한 YOLO26 모델이 레이블링 모델의 실수를 그대로 복제하지 않아야만 그 모델을 능가할 수 있습니다.
기타 접근 방식#
약한 모델에서 강한 모델로의 학습은 여러 연구 방향 중 하나입니다. 확장 가능한 감독 기법은 인간 감독자를 AI로 지원합니다. Geoffrey Irving, Paul Christiano, Dario Amodei가 2018년에 제안한 AI 토론에서는 두 모델이 상반된 답을 주장하고 사람이 심사합니다. 거짓말을 반박하는 것보다 거짓말을 하는 것이 어렵다는 가정에 기반합니다. 샌드위칭 실험은 모델의 도움을 받은 비전문가가 전문가의 판단과 일치해야 하는 작업에서 감독 기법을 평가하며, 전문가의 판단을 정답의 대리 지표로 사용합니다.
다른 연구에서는 모델의 출력만 보는 대신 모델이 내부적으로 무엇을 계산하는지 확인하려고 합니다. 기계론적 해석 가능성과 희소 오토인코더는 기만과 관련된 내부 특징을 찾으며, 연구자들은 탐지 방법이 이를 잡아내는지 테스트하기 위해 백도어가 삽입된 슬리퍼 에이전트와 같은 정렬되지 않은 모델을 의도적으로 만듭니다. 초인간 수준 모델이 대규모로 악용할 수 있는 동작은 현재의 대규모 언어 모델 (LLM)에서도 이미 관찰되었습니다. 학습 중의 정렬 위장, 평가에서의 샌드배깅, 보상 해킹 등이 그 예입니다.
Burns와 동료들은 유사한 상황에서 모방을 주요 격차로 지적합니다. GPT-4는 GPT-2를 모방하도록 사전 학습된 적이 없으며, 규모가 큰 학생일수록 약한 감독자를 모방하는 데 더 어려움을 겪었습니다. 반면 인간 데이터로 사전 학습된 초인간 수준 모델은 인간 감독자를 매우 잘 모방하여, 실수를 재현하고 인간 수준의 답변만 출력할 것으로 예상됩니다.










