获取 YOLO 许可
返回 Ultralytics 术语表

Superalignment

超级对齐要解决的问题是:如何让比人类监督者更聪明的 AI 系统与人类保持一致。相关研究通过弱到强泛化和监督机制展开。

超级对齐是指让能力远超监督者的人类的 AI 系统与人类目标保持一致这一问题;它也是 OpenAI 于 2023 年启动的相关研究项目的名称。目前的对齐方法,例如基于人类反馈的强化学习 (RLHF),依赖人类判断模型输出的优劣。当模型能够编写代码、证明或计划,而监督者无法可靠地核验这些内容时,这些判断就不再是可信的训练信号,模型可能会学会生成看起来让评估者觉得正确的答案,而不是真正正确的答案。超级对齐研究旨在探索如何监督、测试和纠正这类系统。

术语的由来#

2023 年 7 月 5 日,OpenAI 提出了超级对齐这一概念,并组建了由首席科学家 Ilya Sutskever 和对齐负责人 Jan Leike 共同领导的团队。公司承诺将截至当时已获得算力的 20% 投入该项目,并设定目标:在四年内解决超级智能对齐的核心技术难题。计划是先打造一个大致达到人类水平的自动化对齐研究员,然后投入更多算力扩大研究规模。两位负责人离职后,OpenAI 于 2024 年 5 月解散了该团队;这一术语如今仍用于指代这一广义问题。

超级对齐是 AI 对齐的一个子集。对齐涵盖任何追求其设计者意图的系统,包括 RLHF、宪法式 AI和直接偏好优化等方法;这些方法假设人类或人类编写的规则能够判断输出。超级对齐关注这一假设失效的情况,例如未来的通用人工智能 (AGI)和超级智能等超越人类水平的系统。它与AI 安全中的滥用和事故研究相互关联。

弱到强泛化#

由于超人类模型尚不存在,团队在 2023 年 12 月发布的第一篇论文由 Collin Burns 等人撰写,名为弱到强泛化,研究了一个类比:让小模型扮演人类监督者,让大型基础模型扮演超人类学生。GPT-4 只使用 GPT-2 水平的监督者生成的标签进行微调后,表现始终优于该监督者,但远未达到自身的完整能力。加入辅助置信度损失后,即使学生的高置信度预测与弱标签相矛盾,也会得到奖励;这一做法让模型在自然语言处理 (NLP)任务上的表现接近 GPT-3.5 水平。

论文用性能差距恢复率 (PGR) 衡量成功程度:也就是弱监督学生弥补弱监督者与使用真实标签训练的强模型之间准确率差距的比例。可以用 scikit-learn 在小规模数据上运行同一实验,让浅层决策树充当弱监督者,让支持向量机 (SVM)充当强学生:

from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
from sklearn.tree import DecisionTreeClassifier

x, y = load_digits(return_X_y=True)
x_weak, x_rest, y_weak, y_rest = train_test_split(x, y, train_size=0.3, random_state=0)
x_strong, x_test, y_strong, y_test = train_test_split(x_rest, y_rest, train_size=0.6, random_state=0)

# Weak supervisor: a shallow decision tree trained on ground-truth labels
weak = DecisionTreeClassifier(max_depth=5, random_state=0).fit(x_weak, y_weak)
weak_labels = weak.predict(x_strong)

# Strong student learns only from the weak labels; the ceiling learns from the true labels
student = SVC().fit(x_strong, weak_labels)
ceiling = SVC().fit(x_strong, y_strong)

weak_acc, student_acc, ceiling_acc = (m.score(x_test, y_test) for m in (weak, student, ceiling))
pgr = (student_acc - weak_acc) / (ceiling_acc - weak_acc)
print(f"weak {weak_acc:.3f}, weak-to-strong {student_acc:.3f}, ceiling {ceiling_acc:.3f}, PGR {pgr:.2f}")

这棵决策树正确分类了 69.0% 的测试数字;仅使用树的标签训练的 SVM 达到 81.9%,弥补了其与使用真实标签训练的 SVM(97.4%)之间差距的 45%。学生之所以优于监督者,是因为决策树的错误遵循轴对齐划分,而正则化 SVM 难以拟合这种划分,因此许多错误不会延续到 SVM 的预测中。Ultralytics Platform 也在小规模场景中提出了同样的问题:批量标注使用一个模型为整个数据集添加标签,之后用这些标签训练的 YOLO26模型只有不照搬标注模型的错误,才可能胜过它。

其他方法#

弱到强训练是多项研究方向之一。可扩展监督为人类监督者提供 AI 协助:在 Geoffrey Irving、Paul Christiano 和 Dario Amodei 于 2018 年提出的AI 辩论中,两个模型针对相反答案展开辩论,再由人类裁判作出判断;其依据是,撒谎比揭穿谎言更难。夹心实验则在这样的任务上测试监督方法:非专家在模型协助下作出判断,并尝试达到代表真实情况的专家判断水平。

其他研究试图检查模型实际计算的内容,而不只是模型输出的内容。机制可解释性和稀疏自编码器会寻找与欺骗相关的内部特征;研究人员还会刻意构建不对齐模型,例如带后门的睡眠特工,以测试检测方法能否发现它们。当前大型语言模型 (LLM)中已观察到超人类模型可能大规模利用的行为,包括训练期间的对齐伪装、评估中的故意低估能力以及奖励作弊。

Burns 及其同事指出,模仿是他们所做类比中的一个主要差异。GPT-4 从未经过预训练来模仿 GPT-2,而且学生模型越大,越难模仿弱监督者;相比之下,使用人类数据预训练的超人类模型预计会非常擅长模仿人类监督者,从而重复他们的错误,输出仅达到人类水平的答案。

探索解决方案

体育领域的计算机视觉

体育领域的计算机视觉

了解 Ultralytics YOLO 如何通过球员和球追踪、表现分析、教练洞察及运动员康复,推动体育视觉技术的发展。
了解详情
航空影像计算机视觉

航空影像计算机视觉

使用 Ultralytics YOLO 将无人机和航空影像转化为农业、水产养殖、保护工作和地理空间分析的实时洞察。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 将计算机视觉应用于航空航天领域,包括飞机检查、跑道 FOD 检测、机场地面作业和复合材料缺陷检测。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情

让我们携手构建 AI 的未来!

开启你的旅程,迎接机器学习的未来