Neural Scaling Laws

神经网络缩放定律是描述神经网络性能如何随模型规模、训练数据和计算量增加而变化的经验关系。它们通常遵循幂律：将某项资源按固定倍数增加，会使误差按可预测的比例下降，直至达到一个下限。因此，缩放定律有助于估算扩大训练规模带来的收益，并决定如何分配计算预算。

在 AI 领域，缩放定律通常是神经网络缩放定律的同义说法。可扩展性描述系统高效处理不断增长工作负载的能力。

神经网络缩放定律的工作原理#

大多数训练阶段的缩放分析围绕三个量展开：

• 模型规模：学习到的参数数量（包括模型权重）决定了网络表示模式的能力。
• 训练数据：训练数据提供用于学习这些模式的样例。语言模型数据集通常以词元计量，词元是模型处理的文本单位。
• 训练计算量：训练过程中执行的总算术运算量以浮点运算计量，通常缩写为 FLOPs。

这些资源相互影响：提高模型容量会改变可有效利用的数据量和训练投入。拟合得到的缩放关系将它们的联合分配与预期损失联系起来；预期损失是由损失函数衡量的数值误差。

当两个坐标轴都使用对数刻度时，幂律曲线看起来近似为直线。其指数表示增加资源后误差下降的速度。小规模实验可以确定这条曲线，让团队据此预测更大规模的训练。2017 年，Joel Hestness 及其同事展示了语言、视觉、翻译和语音任务中可预测的幂律误差缩放。

Jared Kaplan、Sam McCandlish 及其同事在 2020 年的论文《神经语言模型的缩放定律》中确立了广泛使用的语言模型关系。他们的实验将 Transformer 的交叉熵损失与参数、数据和计算量联系起来，其中一些趋势跨越了七个数量级以上。

计算最优训练与 Chinchilla 缩放#

计算最优训练会选择模型规模和训练时长的组合，使固定训练预算下的损失最低。较大的模型每个词元需要消耗更多计算量，因此在相同预算内可用的词元会更少。

Jordan Hoffmann 及其同事于 2022 年提出了影响深远的 Chinchilla 分配规则：随着计算量增加，模型参数和训练词元应大致同步增长。他们的实验涵盖了 400 多个语言模型。Chinchilla 的计算最优分配训练出的模型有 700 亿个参数，在相同训练计算预算下，性能超过了拥有 2800 亿个参数的 Gopher。

实际影响是，过多计算量分配给参数会导致模型训练不足。平衡模型容量和数据量，可以提升相同算力预算所获得的性能。部署还需考虑另一点：较小的模型执行推理所需计算量更少，因此训练阶段的资源分配也会影响提供预测服务的成本。

计算机视觉中的应用#

在计算机视觉领域，缩放分析将模型容量、图像数据集、训练投入和预测质量联系起来。这些分析有助于决定是扩充数据集，还是增大网络规模。

Google 的视觉 Transformer 缩放实验刻画了误差、数据和计算量之间的关系。由此得到的 20 亿参数视觉 Transformer在 ImageNet 上取得了 90.45% 的 top-1 准确率，展示了协调扩展对图像分类的实际价值。

Ultralytics YOLO 通过 YOLO26 的不同模型尺寸版本实现架构缩放，为用户提供适用于目标检测的不同模型容量和计算量选项。在 COCO 上采用 640 像素输入分辨率时，YOLO26n 有 240 万个参数，mAP50–95 为 40.9；而 YOLO26x 有 5570 万个参数，mAP50–95 为 57.5，提升了 16.6 个百分点。

缩放率为何不同#

缩放指数取决于任务、数据结构和学习方法。随机特征模型是一个可通过数学求解的例子：它将输入映射到固定的非线性特征，并学习这些特征的输出权重。Alexander Maloney、Daniel Roberts 和 James Sully 于 2022 年利用这一构造解释了数据集统计特性如何导致幂律测试损失和最终的性能平台期。

特征学习会在训练过程中改变内部表征。这不同于表征保持不变的固定特征提取。Blake Bordelon、Alexander Atanasov 和 Cengiz Pehlevan 展示了特征学习如何提升困难任务的缩放表现：在他们可求解的模型中，对于极难的目标函数，自适应特征会使计算缩放指数大致翻倍。