YOLO 라이선스 받기
Ultralytics 용어집으로 돌아가기

Superalignment

초정렬은 인간 감독자보다 더 똑똑한 AI 시스템을 정렬하는 문제이며, 약한 모델에서 강한 모델로의 일반화와 감독 기법을 통해 연구됩니다.

초정렬은 감독하는 사람보다 훨씬 뛰어난 AI 시스템을 정렬하는 문제이며, OpenAI가 이 문제를 연구하기 위해 2023년에 시작한 연구 프로그램의 이름이기도 합니다. 인간 피드백 기반 강화 학습 (RLHF)과 같은 현재의 정렬 방법은 어떤 모델 출력이 더 나은지 사람이 판단하는 데 의존합니다. 모델이 감독자가 신뢰성 있게 검증할 수 없는 코드, 증명 또는 계획을 작성하기 시작하면 그러한 판단은 신뢰할 만한 학습 신호가 되지 못합니다. 모델은 정답 대신 평가자에게 정답처럼 보이는 답을 생성하도록 학습할 수 있습니다. 초정렬 연구는 이런 시스템을 계속 감독하고, 테스트하고, 수정할 방법을 찾습니다.

용어의 유래#

OpenAI는 2023년 7월 5일, 수석 과학자 Ilya Sutskever와 정렬 책임자 Jan Leike가 공동으로 이끄는 팀과 함께 초정렬을 도입했습니다. 회사는 당시까지 확보한 연산 자원의 20%를 투입하기로 약속하고 4년 안에 초지능 정렬의 핵심 기술 과제를 해결한다는 목표를 세웠습니다. 계획은 대략 인간 수준의 자동화된 정렬 연구자를 만든 뒤 더 많은 연산 자원을 투입해 연구를 확장하는 것이었습니다. 두 책임자가 회사를 떠난 뒤 OpenAI는 2024년 5월 팀을 해체했으며, 이 용어는 일반적인 문제를 가리키는 데 계속 사용됩니다.

초정렬은 AI 정렬의 하위 분야입니다. 정렬은 RLHF, 헌법적 AI, 직접 선호 최적화와 같은 방법을 통해 시스템이 설계자의 의도를 따르도록 하는 모든 작업을 포괄합니다. 이러한 방법은 사람이나 사람이 작성한 규칙이 출력을 판단할 수 있다고 가정합니다. 초정렬은 이 가정이 성립하지 않는 경우를 다루며, 미래의 범용 인공지능 (AGI)과 초지능처럼 인간 수준을 넘어서는 시스템에서 이러한 문제가 발생합니다. 초정렬은 오용과 사고에 관한 연구와 함께 AI 안전 분야에 속합니다.

약한 모델에서 강한 모델로의 일반화#

초인간 수준 모델은 아직 존재하지 않으므로, 팀의 첫 논문인 Collin Burns와 동료들의 2023년 12월 연구 약한 모델에서 강한 모델로의 일반화는 유사한 상황을 연구했습니다. 소형 모델이 인간 감독자 역할을 하고 대형 파운데이션 모델이 초인간 수준 학생 역할을 하는 설정입니다. GPT-4를 GPT-2 수준 감독자가 생성한 레이블로만 파인 튜닝했을 때, GPT-4는 감독자의 성능을 일관되게 넘어섰지만 자신의 전체 역량에는 크게 미치지 못했습니다. 약한 레이블과 상충하더라도 학생 모델이 확신도 높은 예측을 하도록 보상하는 보조 확신도 손실을 추가하면 자연어 처리 (NLP) 작업에서 GPT-3.5에 가까운 성능을 회복했습니다.

이 논문은 성공을 성능 격차 회복률 (PGR)로 측정합니다. 이는 약한 감독자와 실제 레이블로 학습한 강한 모델 간 정확도 격차 중 약한 감독을 받은 학생 모델이 줄인 비율입니다. scikit-learn을 사용해 작은 규모에서도 같은 실험을 수행할 수 있습니다. 얕은 결정 트리를 약한 감독자로, 서포트 벡터 머신 (SVM)을 강한 학생 모델로 사용합니다:

from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
from sklearn.tree import DecisionTreeClassifier

x, y = load_digits(return_X_y=True)
x_weak, x_rest, y_weak, y_rest = train_test_split(x, y, train_size=0.3, random_state=0)
x_strong, x_test, y_strong, y_test = train_test_split(x_rest, y_rest, train_size=0.6, random_state=0)

# Weak supervisor: a shallow decision tree trained on ground-truth labels
weak = DecisionTreeClassifier(max_depth=5, random_state=0).fit(x_weak, y_weak)
weak_labels = weak.predict(x_strong)

# Strong student learns only from the weak labels; the ceiling learns from the true labels
student = SVC().fit(x_strong, weak_labels)
ceiling = SVC().fit(x_strong, y_strong)

weak_acc, student_acc, ceiling_acc = (m.score(x_test, y_test) for m in (weak, student, ceiling))
pgr = (student_acc - weak_acc) / (ceiling_acc - weak_acc)
print(f"weak {weak_acc:.3f}, weak-to-strong {student_acc:.3f}, ceiling {ceiling_acc:.3f}, PGR {pgr:.2f}")

트리는 테스트 숫자의 69.0%를 정확히 분류하고, 트리의 레이블만으로 학습한 SVM은 81.9%에 도달하여 실제 레이블로 학습한 SVM의 97.4%와의 격차 중 45%를 회복합니다. 학생 모델이 감독자를 능가하는 이유는 트리의 오류가 정규화된 SVM이 잘 맞추지 못하는 축 정렬 분할을 따르므로, 오류 중 상당수가 SVM의 예측으로 이어지지 않기 때문입니다. Ultralytics Platform도 작은 규모에서 같은 질문을 다룹니다. 일괄 주석은 하나의 모델로 전체 데이터셋에 레이블을 지정하며, 이후 해당 레이블로 학습한 YOLO26 모델이 레이블링 모델의 실수를 그대로 복제하지 않아야만 그 모델을 능가할 수 있습니다.

기타 접근 방식#

약한 모델에서 강한 모델로의 학습은 여러 연구 방향 중 하나입니다. 확장 가능한 감독 기법은 인간 감독자를 AI로 지원합니다. Geoffrey Irving, Paul Christiano, Dario Amodei가 2018년에 제안한 AI 토론에서는 두 모델이 상반된 답을 주장하고 사람이 심사합니다. 거짓말을 반박하는 것보다 거짓말을 하는 것이 어렵다는 가정에 기반합니다. 샌드위칭 실험은 모델의 도움을 받은 비전문가가 전문가의 판단과 일치해야 하는 작업에서 감독 기법을 평가하며, 전문가의 판단을 정답의 대리 지표로 사용합니다.

다른 연구에서는 모델의 출력만 보는 대신 모델이 내부적으로 무엇을 계산하는지 확인하려고 합니다. 기계론적 해석 가능성과 희소 오토인코더는 기만과 관련된 내부 특징을 찾으며, 연구자들은 탐지 방법이 이를 잡아내는지 테스트하기 위해 백도어가 삽입된 슬리퍼 에이전트와 같은 정렬되지 않은 모델을 의도적으로 만듭니다. 초인간 수준 모델이 대규모로 악용할 수 있는 동작은 현재의 대규모 언어 모델 (LLM)에서도 이미 관찰되었습니다. 학습 중의 정렬 위장, 평가에서의 샌드배깅, 보상 해킹 등이 그 예입니다.

Burns와 동료들은 유사한 상황에서 모방을 주요 격차로 지적합니다. GPT-4는 GPT-2를 모방하도록 사전 학습된 적이 없으며, 규모가 큰 학생일수록 약한 감독자를 모방하는 데 더 어려움을 겪었습니다. 반면 인간 데이터로 사전 학습된 초인간 수준 모델은 인간 감독자를 매우 잘 모방하여, 실수를 재현하고 인간 수준의 답변만 출력할 것으로 예상됩니다.

솔루션 살펴보기

스포츠 분야의 컴퓨터 비전

스포츠 분야의 컴퓨터 비전

Ultralytics YOLO가 선수 및 공 추적, 경기력 분석, 코칭 인사이트, 선수 재활을 통해 스포츠 비전을 구현하는 방법을 알아보세요.
자세히 알아보기
항공 이미지 컴퓨터 비전

항공 이미지 컴퓨터 비전

Ultralytics YOLO를 활용해 드론 및 항공 이미지를 농업, 양식업, 보전, 지리 공간 분석을 위한 실시간 인사이트로 전환하세요.
자세히 알아보기
항공우주 분야의 컴퓨터 비전

항공우주 분야의 컴퓨터 비전

Ultralytics YOLO를 활용해 항공기 검사, 활주로 FOD 감지, 공항 지상 운영, 복합재 결함 감지 등 항공우주 분야에 컴퓨터 비전을 적용하세요.
자세히 알아보기
보안 분야의 컴퓨터 비전

보안 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 모든 시설을 보호하세요. Vision AI는 경계 모니터링, 위협 감지, 번호판 인식, 작업장 안전을 지원합니다.
자세히 알아보기
로보틱스 분야의 컴퓨터 비전

로보틱스 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 더 스마트한 머신을 구현하세요. 로보틱스 분야의 Vision AI는 자율 주행, 인식, 객체 추적, 실시간 제어를 지원합니다.
자세히 알아보기
물류 분야의 컴퓨터 비전

물류 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 물류를 간소화하세요. 비전 AI는 화물 검사, 분류, 차량 추적, 실시간 창고 안전 모니터링을 지원합니다.
자세히 알아보기
리테일 분야의 컴퓨터 비전

리테일 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 리테일의 새로운 가능성을 열어 보세요. 비전 AI는 재고 추적, 선반 모니터링, 대기열 관리, 더욱 심층적인 고객 인사이트를 지원합니다.
자세히 알아보기
의료 분야의 컴퓨터 비전

의료 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 의료 솔루션을 구축하세요. 의료 분야의 비전 AI는 의료 영상 판독을 가속화하고, 진단을 개선하며, 환자 모니터링을 지원합니다.
자세히 알아보기
제조 분야의 컴퓨터 비전

제조 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 제조 공정을 최적화하세요. 비전 AI는 품질 관리, 결함 탐지, PPE 규정 준수, 조립 라인 자동화를 지원합니다.
자세히 알아보기
자동차 분야의 컴퓨터 비전

자동차 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 자동차 분야에 컴퓨터 비전을 적용하세요. 비전 AI는 도로 안전, 운전자 지원, 차량 자동화를 개선해 더 스마트한 도로를 구현합니다.
자세히 알아보기
농업 분야의 컴퓨터 비전

농업 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 스마트 농업에 비전 AI를 도입하세요. 작물 모니터링, 가축 추적, 정밀 농업을 지원하여 더 높은 수확량과 더 스마트한 농업을 실현합니다.
자세히 알아보기

함께 AI의 미래를 만들어 가세요!

머신러닝의 미래와 함께 여정을 시작하세요