Mixed Precision

了解混合精度如何加速如 Ultralytics YOLO26 等模型的训练并降低内存占用。探索 FP16 和 FP32 在更快获得 AI 见解方面的优势。

混合精度是模型优化中的一项关键技术，用于加速深度学习模型的训练，同时减少内存消耗。通过策略性地结合不同的数值格式——通常是 16 位和 32 位浮点类型——这种方法使机器学习算法能够在不牺牲模型最终准确率的情况下更快地执行计算。它已成为现代人工智能开发的标准实践，特别是对于在海量数据集上训练 YOLO26 架构等资源密集型任务。

混合精度的工作原理#

在传统的深度学习工作流程中，模型通常使用单精度浮点格式 (FP32) 执行计算。FP32 中的每个数字需要 32 位内存。虽然精度极高，但这种格式在计算上可能成本高昂且极其耗费内存。

混合精度引入了半精度 (FP16) 的使用，它仅占用 16 位。然而，由于动态范围较小，仅使用 FP16 可能会导致数值不稳定。为了解决这个问题，混合精度方法在 FP32 中维护一份模型权重的“主副本”以确保稳定性，同时将 FP16 用于卷积和矩阵乘法等数学运算繁重的任务。

该过程通常涉及三个关键步骤：

**类型转换：**将模型的输入和激活转换为 FP16，以加速在兼容硬件（例如 NVIDIA Tensor Cores）上的执行。
**损失缩放：**放大损失函数值，以防止出现“下溢”，即小的梯度更新在 FP16 中变成零。
累加 (Accumulation)： 在 FP16 中执行算术运算，但在 FP32 中累加结果，以便在更新主权重之前保留必要的信息。

AI 训练的优势#

采用混合精度为有效利用计算资源的开发人员和研究人员带来了显著优势：

**更快的训练速度：**FP16 中的操作需要更少的内存带宽，并由现代 GPU 更快地处理。这可以大幅缩短一个轮次所需的时间。
**减少内存使用：**由于 FP16 张量占用的内存是 FP32 的一半，开发人员基本上可以将批次大小翻倍。更大的批次大小通常会带来更稳定的梯度估计和更快的收敛速度。
**能效：**计算负载的降低意味着更低的能耗，这对于大规模云端训练操作至关重要。

实际应用#

混合精度被广泛应用于各行各业，以高效地处理复杂模型和大型数据集。

自动驾驶#

在自动驾驶汽车的开发中，工程师必须在数百万帧高分辨率视频上训练目标检测模型。使用混合精度使他们能够高效地训练像 YOLO26 这样先进的模型。减小的内存占用使得处理更高分辨率的输入成为可能，这对于检测远处交通标志或行人等小目标至关重要。

医学图像分析#

医学图像分析通常涉及来自 MRI 或 CT 扫描的 3D 体积数据，这些数据极其消耗内存。在使用完整的 FP32 精度在此类数据上训练分割模型时，通常会导致“内存不足”(OOM) 错误。混合精度使研究人员能够将这些庞大的模型放入 GPU 内存中，从而促进开发能够协助医生更早诊断疾病的人工智能。

利用 Ultralytics 实现混合精度#

诸如 PyTorch 之类的现代框架通常通过名为自动混合精度 (AMP) 的功能自动处理混合精度的复杂性。ultralytics 软件包在训练期间默认启用 AMP，以确保最佳性能。

Here is a concise example of how to initiate training with Ultralytics YOLO26, where mixed precision is active by default (controllable via the amp argument):

from ultralytics import YOLO

# Load the latest YOLO26 model
model = YOLO("yolo26n.pt")

# Train the model on the COCO8 dataset
# amp=True is the default setting for mixed precision training
results = model.train(data="coco8.yaml", epochs=5, imgsz=640, amp=True)

混合精度与相关概念的对比#

为了避免混淆，将混合精度与术语表中的类似术语区分开来很有帮助：

**模型量化：**混合precision在训练期间使用较低精度的浮点数 (FP16)，而量化通常在训练后将权重转换为整数（例如 INT8）以进行部署。量化主要关注边缘设备上的推理延迟，而混合精度则侧重于训练速度和稳定性。
**半精度：**这专门指 FP16 数据格式本身。混合精度是将 FP16 和 FP32 结合使用的技术。在没有“混合”FP32 主副本的情况下使用纯半精度，往往会导致由于数值错误而无法收敛的模型。