Superalignment
Супервыровненность — это задача согласования систем ИИ, которые умнее людей, контролирующих их; её изучают с помощью обобщения от слабых моделей к сильным и методов надзора.
Сверхсогласование — это задача согласования систем ИИ, значительно превосходящих по возможностям людей, которые их контролируют; так же называется исследовательская программа OpenAI, запущенная в 2023 году для решения этой задачи. Современные методы согласования, такие как обучение с подкреплением на основе обратной связи от людей (RLHF), опираются на людей, оценивающих, какие ответы модели лучше. Когда модель пишет код, доказательства или планы, которые ее контролеры не могут надежно проверить, такие оценки перестают быть достоверным обучающим сигналом, и модель может научиться давать ответы, которые кажутся правильными оценщикам, вместо действительно правильных ответов. Исследования сверхсогласования ищут способы контролировать, проверять и исправлять такие системы.
Происхождение термина#
5 июля 2023 года OpenAI представила сверхсогласование и сформировала команду, которую совместно возглавили главный научный сотрудник Илья Суцкевер и руководитель направления согласования Ян Лейке. Компания обязалась направить на проект 20% уже 확보енных к тому времени вычислительных ресурсов и поставила цель решить основные технические задачи согласования сверхинтеллекта за четыре года. План состоял в том, чтобы создать автоматизированного исследователя согласования примерно человеческого уровня, а затем масштабировать его исследования, выделив больше вычислительных ресурсов. В мае 2024 года OpenAI распустила команду после ухода обоих руководителей; термин по-прежнему используют для обозначения этой общей задачи.
Сверхсогласование — часть согласования ИИ. Согласование охватывает любые системы, которые следуют намерениям разработчиков, с помощью таких методов, как RLHF, конституционный ИИ и прямая оптимизация предпочтений, предполагающих, что человек или созданные человеком правила могут оценивать ответы. Сверхсогласование рассматривает случаи, когда это предположение перестает работать, — например, для систем, превосходящих человеческий уровень, таких как будущий искусственный общий интеллект (AGI) и сверхинтеллект. Это направление относится к безопасности ИИ наряду с исследованиями злоупотреблений и аварий.
Обобщение от слабых моделей к сильным#
Поскольку сверхчеловеческих моделей пока нет, в первой статье команды — «Обобщение от слабых моделей к сильным», опубликованной Коллином Бернсом и его коллегами в декабре 2023 года, — изучалась аналогия: небольшая модель играет роль человека-руководителя, а большая базовая модель — сверхчеловеческого ученика. Когда GPT-4 дообучили только на метках, созданных руководителем уровня GPT-2, модель стабильно превосходила этого руководителя, но значительно уступала собственному полному потенциалу. Добавление вспомогательной функции потерь за уверенность, которая поощряет ученика за уверенные предсказания даже в случаях, когда они противоречат слабым меткам, позволило добиться результатов почти на уровне GPT-3.5 в задачах обработки естественного языка (NLP).
В статье успех измеряется показателем доли сокращенного разрыва в производительности (PGR): это часть разрыва в точности между слабым руководителем и сильной моделью, обученной на истинных метках, которую сокращает ученик со слабым надзором. Тот же эксперимент можно провести в малом масштабе с помощью scikit-learn, используя неглубокое дерево решений в качестве слабого руководителя и машину опорных векторов (SVM) в качестве сильного ученика:
from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
from sklearn.tree import DecisionTreeClassifier
x, y = load_digits(return_X_y=True)
x_weak, x_rest, y_weak, y_rest = train_test_split(x, y, train_size=0.3, random_state=0)
x_strong, x_test, y_strong, y_test = train_test_split(x_rest, y_rest, train_size=0.6, random_state=0)
# Weak supervisor: a shallow decision tree trained on ground-truth labels
weak = DecisionTreeClassifier(max_depth=5, random_state=0).fit(x_weak, y_weak)
weak_labels = weak.predict(x_strong)
# Strong student learns only from the weak labels; the ceiling learns from the true labels
student = SVC().fit(x_strong, weak_labels)
ceiling = SVC().fit(x_strong, y_strong)
weak_acc, student_acc, ceiling_acc = (m.score(x_test, y_test) for m in (weak, student, ceiling))
pgr = (student_acc - weak_acc) / (ceiling_acc - weak_acc)
print(f"weak {weak_acc:.3f}, weak-to-strong {student_acc:.3f}, ceiling {ceiling_acc:.3f}, PGR {pgr:.2f}")Дерево правильно классифицирует 69,0% тестовых цифр, а обученная только на его метках SVM достигает 81,9%, сокращая на 45% разрыв до результата 97,4%, который показывает SVM, обученная на истинных метках. Ученик превосходит руководителя, потому что ошибки дерева следуют разбиениям, параллельным осям, которые регуляризованная SVM плохо аппроксимирует; многие из этих ошибок не переходят в ее предсказания. Ultralytics Platform ставит тот же вопрос в малом масштабе: пакетная разметка размечает весь набор данных одной моделью, а обученная позже на этих метках модель YOLO26 может превзойти модель-разметчик, только если не будет копировать ее ошибки.
Другие подходы#
Обучение от слабых моделей к сильным — одно из нескольких направлений исследований. Масштабируемый надзор помогает людям-контролерам с помощью ИИ: в дебатах ИИ, предложенных Джеффри Ирвингом, Полом Кристиано и Дарио Амодеи в 2018 году, две модели отстаивают противоположные ответы перед человеком-судьей; идея в том, что солгать труднее, чем опровергнуть ложь. В экспериментах с «сэндвичем» методы надзора проверяются на задачах, в которых неспециалисты с помощью модели должны прийти к тем же оценкам, что и эксперты, чьи решения принимаются за эталон.
В других исследованиях пытаются проверять вычисления модели, а не только ее ответы. Механистическая интерпретируемость и разреженные автоэнкодеры ищут внутренние признаки, связанные с обманом, а исследователи намеренно создают несогласованные модели, например снабженных бэкдором спящих агентов, чтобы проверить, обнаруживают ли их методы выявления. В современных больших языковых моделях (LLM) уже наблюдалось поведение, которым сверхчеловеческая модель могла бы масштабно воспользоваться: в том числе имитация согласования во время обучения, снижение результатов на оценках и взлом награды.
Бернс и его коллеги называют имитацию одним из главных различий в этой аналогии. GPT-4 не обучали предварительно имитировать GPT-2, а крупным ученикам было труднее имитировать слабых руководителей. При этом ожидается, что сверхчеловеческая модель, предварительно обученная на данных, созданных людьми, будет очень хорошо имитировать людей-руководителей, воспроизводя их ошибки и выдавая ответы лишь человеческого уровня.










