Jagged Intelligence

锯齿型智能描述了现代 AI 系统能力分布不均的特征：同一个模型可能在困难任务上达到专家水平，却在大多数人认为轻而易举的简单任务上失败。Andrej Karpathy 于 2024 年创造了这个术语，用来描述那些能够解决高难度数学题，却坚持认为 9.11 大于 9.9 的大型语言模型（LLM）。数错“strawberry”中字母“r”的数量也成了另一个著名例子。将模型在不同任务上的能力绘制出来，会得到一条锯齿状曲线，具有尖锐的峰值和深深的低谷；而根据峰值很难预测低谷的位置。

能力为何不均衡#

当训练数据充足且模型内部表示适合任务时，模型表现最强，而这两个条件在不同任务之间可能大幅变化。表示方式可以解释许多著名的文本错误。分词会在模型看到文本之前将文本拆分为子词token，如下方 OpenAI 为 GPT-4o 使用的分词器所示：

import tiktoken

# o200k_base 是 OpenAI 的 GPT-4o 使用的分词器
encoding = tiktoken.get_encoding("o200k_base")

for question in ["How many r letters are in strawberry?", "Which is bigger, 9.11 or 9.9?"]:
    tokens = [encoding.decode([t]) for t in encoding.encode(question)]
    print(tokens)

单词“ strawberry”会作为单个 token 输入，因此模型看不到其中的三个 r，只能从训练文本中回忆拼写。数字则会拆成“9”、“.”、“11”和“9”、“.”、“9”；在大量文本中，这些数字对是版本号、日期或书籍章节，而 9.11 确实排在 9.9 后面，11 也大于 9。模型会依据这些模式作答，而不是进行数值比较。

数据覆盖情况可以解释许多其他现象。训练数据中经常出现的技能会变得可靠，而罕见格式、少见措辞和边缘情况则仍然薄弱，不管这些情况在人看来有多简单。视觉模型也有相同表现。目标检测模型可能擅长检测白天常见的大型物体，却不擅长检测小目标、罕见类别或特殊视角，即使在人的眼中这些情况同样容易处理。

锯齿型能力与 Moravec 悖论不同。Hans Moravec 在 1988 年指出，对人类来说困难的任务（例如下棋）对计算机却很容易，而感知和运动等人类轻松掌握的技能对计算机很难。锯齿型能力与人类对任务难度的判断没有固定的对应关系，因此，凭直觉判断某件事“容易”并不能可靠地预测模型会在哪里失败。

工作中的锯齿状前沿#

同样的不均衡也会影响人们与 AI 协作的方式。在 2023 年针对 758 名波士顿咨询集团顾问开展的实地实验中，哈佛商学院及其他机构的研究人员描述了锯齿状技术前沿。在前沿范围内的 18 项任务中，使用 GPT-4 的顾问完成的任务多 12.2%，工作速度快 25.1%，工作质量评分高出 40% 以上。在一项刚好超出前沿的任务中，使用 AI 的顾问答对的可能性比不使用 AI 的顾问低 19 个百分点。锯齿型智能描述模型能力分布不均的特征；锯齿状前沿则指由此形成的边界，界定了 AI 能帮助改进的工作与 AI 会悄然使其变差的工作。

锯齿型能力也让关于通用人工智能（AGI）的说法更加复杂。广泛基准数据集上的平均分可能持续上升，但具体低谷依然存在，因此醒目的平均分并不能说明模型在任何特定任务上是否可靠。

衡量锯齿状能力表现#

将评估拆分为多个切片，而不是只报告一个数字，就能看出能力分布不均。对于检测器，第一种拆分方式是按类别划分。Ultralytics YOLO26的验证模式会报告整体以及验证标签中每个类别的平均精度均值（mAP），按类别指标排序，就能优先看到低谷：

from ultralytics import YOLO

# Validate a pretrained detector on labeled images
model = YOLO("yolo26n.pt")
metrics = model.val(data="coco8.yaml")

# One row per class in the validation labels, weakest first
rows = sorted(metrics.summary(), key=lambda row: row["mAP50-95"])
print(f"Overall mAP50-95: {metrics.box.map:.3f}")
for row in rows[:3]:
    print(f"{row['Class']}: {row['mAP50-95']} mAP50-95 over {row['Instances']} instances")

在 COCO 这类包含 5,000 张图像的完整验证集上，同样的细分结果可以指出哪些类别需要更多数据，或需要进一步检查其标签。类别只是第一个切片。光照、相机角度、运动和遮挡都可能各自造成能力低谷，而在这些条件下拍摄的新图像上进行模型测试，就能将这些问题暴露出来：

部署后，随着输入变化，能力分布也会持续变化；跟踪数据漂移可以发现生产图像何时开始落入验证集从未覆盖的区域。