混合精度

混合精度是深度学习中使用的一种技术，旨在加速模型训练并减少内存消耗。它涉及在计算过程中使用低精度数值格式（如16位浮点数（FP16））和高精度格式（如32位浮点数（FP32））的组合。通过有策略地对模型的某些部分（如权重乘法）使用较低精度的数字，并将权重更新等关键组件保持在较高精度，混合精度训练可以显著提高现代GPU的性能，而不会大幅降低模型准确率。

混合精度的工作原理

混合精度背后的核心思想是利用较低精度数据类型的速度和内存效率。现代硬件，尤其是带有Tensor Cores的NVIDIA GPU，可以比32位数字更快地对16位数字执行运算。该过程通常涉及三个关键步骤：

1. 降低精度：模型的大部分运算，特别是计算密集型的矩阵乘法和卷积，都是使用半精度（FP16）算法执行的。这减少了内存占用并加快了计算速度。
2. 维护权重的主副本： 为了保持模型的准确性和稳定性，模型的权重主副本会以标准的 32 位浮点 (FP32) 格式保存。此主副本用于在训练过程中累积梯度和更新权重。
3. 损失缩放： 为了防止数值下溢——当小梯度值在转换为 FP16 时变为零——使用了一种称为损失缩放的技术。它包括在反向传播之前将损失乘以一个缩放因子，以使梯度值保持在 FP16 的可表示范围内。在更新权重之前，梯度会按比例缩小。

像 PyTorch 和 TensorFlow 这样的深度学习框架内置了对自动混合精度的支持，使得实现起来很容易。

应用和示例

混合精度被广泛应用于大规模机器学习（ML）模型的训练中，在这些场景下，效率至关重要。

• 训练大型语言模型 (LLM)： 像 GPT-3 和 BERT 这样的模型具有数十亿个参数。仅使用 FP32 训练它们将需要过多的 GPU 内存和时间。混合精度通过显着减少内存需求和加速计算，使训练此类基础模型成为可能。这使研究人员可以更快地迭代并构建更强大的语言模型。
• 加速计算机视觉模型： 在计算机视觉 (CV)中，混合精度加速了复杂模型的训练，例如卷积神经网络 (CNN)和Vision Transformers (ViT)。对于诸如目标检测和图像分割之类的任务，Ultralytics YOLO 模型，包括最新的 Ultralytics YOLO11，利用混合精度来实现更快的收敛。这对于 超参数调整 和在 Ultralytics HUB 等平台内的快速开发特别有用。更快的训练还有助于在大型数据集（如 COCO）上进行更快的实验。混合精度也可以在推理期间使用，以加速模型部署，尤其是在导出为 TensorRT 等格式时，该格式针对较低精度进行了大量优化。

相关概念

混合精度是用于提高深度学习模型效率的几种优化技术之一。重要的是要将其与相关概念区分开来：

• 模型量化: 量化通过将浮点数（如 FP32 或 FP16）转换为较低位数的整数格式（如 INT8）来减小模型大小和计算成本。虽然混合精度在训练期间使用不同的浮点格式，但量化通常在训练后（训练后量化）或训练期间（量化感知训练）应用，以优化推理，尤其是在边缘设备上。
• 模型剪枝: 剪枝是一种从神经网络中删除冗余或不重要连接（权重）的技术。与改变权重数值格式的混合精度不同，剪枝会改变模型本身的架构，以减小其大小和复杂性。这些技术可以结合使用，以获得更大的性能提升。