Superalignment
超级对齐要解决的问题是:如何让比人类监督者更聪明的 AI 系统与人类保持一致。相关研究通过弱到强泛化和监督机制展开。
超级对齐是指让能力远超监督者的人类的 AI 系统与人类目标保持一致这一问题;它也是 OpenAI 于 2023 年启动的相关研究项目的名称。目前的对齐方法,例如基于人类反馈的强化学习 (RLHF),依赖人类判断模型输出的优劣。当模型能够编写代码、证明或计划,而监督者无法可靠地核验这些内容时,这些判断就不再是可信的训练信号,模型可能会学会生成看起来让评估者觉得正确的答案,而不是真正正确的答案。超级对齐研究旨在探索如何监督、测试和纠正这类系统。
术语的由来#
2023 年 7 月 5 日,OpenAI 提出了超级对齐这一概念,并组建了由首席科学家 Ilya Sutskever 和对齐负责人 Jan Leike 共同领导的团队。公司承诺将截至当时已获得算力的 20% 投入该项目,并设定目标:在四年内解决超级智能对齐的核心技术难题。计划是先打造一个大致达到人类水平的自动化对齐研究员,然后投入更多算力扩大研究规模。两位负责人离职后,OpenAI 于 2024 年 5 月解散了该团队;这一术语如今仍用于指代这一广义问题。
超级对齐是 AI 对齐的一个子集。对齐涵盖任何追求其设计者意图的系统,包括 RLHF、宪法式 AI和直接偏好优化等方法;这些方法假设人类或人类编写的规则能够判断输出。超级对齐关注这一假设失效的情况,例如未来的通用人工智能 (AGI)和超级智能等超越人类水平的系统。它与AI 安全中的滥用和事故研究相互关联。
弱到强泛化#
由于超人类模型尚不存在,团队在 2023 年 12 月发布的第一篇论文由 Collin Burns 等人撰写,名为弱到强泛化,研究了一个类比:让小模型扮演人类监督者,让大型基础模型扮演超人类学生。GPT-4 只使用 GPT-2 水平的监督者生成的标签进行微调后,表现始终优于该监督者,但远未达到自身的完整能力。加入辅助置信度损失后,即使学生的高置信度预测与弱标签相矛盾,也会得到奖励;这一做法让模型在自然语言处理 (NLP)任务上的表现接近 GPT-3.5 水平。
论文用性能差距恢复率 (PGR) 衡量成功程度:也就是弱监督学生弥补弱监督者与使用真实标签训练的强模型之间准确率差距的比例。可以用 scikit-learn 在小规模数据上运行同一实验,让浅层决策树充当弱监督者,让支持向量机 (SVM)充当强学生:
from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
from sklearn.tree import DecisionTreeClassifier
x, y = load_digits(return_X_y=True)
x_weak, x_rest, y_weak, y_rest = train_test_split(x, y, train_size=0.3, random_state=0)
x_strong, x_test, y_strong, y_test = train_test_split(x_rest, y_rest, train_size=0.6, random_state=0)
# Weak supervisor: a shallow decision tree trained on ground-truth labels
weak = DecisionTreeClassifier(max_depth=5, random_state=0).fit(x_weak, y_weak)
weak_labels = weak.predict(x_strong)
# Strong student learns only from the weak labels; the ceiling learns from the true labels
student = SVC().fit(x_strong, weak_labels)
ceiling = SVC().fit(x_strong, y_strong)
weak_acc, student_acc, ceiling_acc = (m.score(x_test, y_test) for m in (weak, student, ceiling))
pgr = (student_acc - weak_acc) / (ceiling_acc - weak_acc)
print(f"weak {weak_acc:.3f}, weak-to-strong {student_acc:.3f}, ceiling {ceiling_acc:.3f}, PGR {pgr:.2f}")这棵决策树正确分类了 69.0% 的测试数字;仅使用树的标签训练的 SVM 达到 81.9%,弥补了其与使用真实标签训练的 SVM(97.4%)之间差距的 45%。学生之所以优于监督者,是因为决策树的错误遵循轴对齐划分,而正则化 SVM 难以拟合这种划分,因此许多错误不会延续到 SVM 的预测中。Ultralytics Platform 也在小规模场景中提出了同样的问题:批量标注使用一个模型为整个数据集添加标签,之后用这些标签训练的 YOLO26模型只有不照搬标注模型的错误,才可能胜过它。
其他方法#
弱到强训练是多项研究方向之一。可扩展监督为人类监督者提供 AI 协助:在 Geoffrey Irving、Paul Christiano 和 Dario Amodei 于 2018 年提出的AI 辩论中,两个模型针对相反答案展开辩论,再由人类裁判作出判断;其依据是,撒谎比揭穿谎言更难。夹心实验则在这样的任务上测试监督方法:非专家在模型协助下作出判断,并尝试达到代表真实情况的专家判断水平。
其他研究试图检查模型实际计算的内容,而不只是模型输出的内容。机制可解释性和稀疏自编码器会寻找与欺骗相关的内部特征;研究人员还会刻意构建不对齐模型,例如带后门的睡眠特工,以测试检测方法能否发现它们。当前大型语言模型 (LLM)中已观察到超人类模型可能大规模利用的行为,包括训练期间的对齐伪装、评估中的故意低估能力以及奖励作弊。
Burns 及其同事指出,模仿是他们所做类比中的一个主要差异。GPT-4 从未经过预训练来模仿 GPT-2,而且学生模型越大,越难模仿弱监督者;相比之下,使用人类数据预训练的超人类模型预计会非常擅长模仿人类监督者,从而重复他们的错误,输出仅达到人类水平的答案。










