Half-Precision

半精度通常记作 FP16，是一种在计算机内存中占用 16 位的浮点数据格式，而标准的单精度（FP32）格式则使用 32 位。在人工智能和机器学习领域，半精度是一种关键的优化技术，用于加速模型训练和推理，并显著降低内存消耗。通过使用较少的位数存储数值（例如神经网络的模型权重和梯度），开发者可以将更大的模型放入GPU 图形处理器中，或者让现有模型运行得更快。这种效率提升对于在资源受限的设备上部署现代复杂架构（如 YOLO26）且不牺牲大量准确率至关重要。

Link to this section浮点格式的运作机制#

要理解半精度，将其与全精度进行对比会有所帮助。标准的 32 位浮点数（FP32）将更多的位数用于指数和尾数，从而提供极宽的动态范围和高数值精度。然而，深度学习模型通常对微小的数值误差具有很强的适应力。神经网络即使在 16 位格式提供的较小动态范围和粒度下，通常也能有效地进行学习。

转换为半精度可以将内存带宽需求减半。这允许在训练期间使用更大的批次大小，从而稳定梯度更新并加速整体训练过程。现代硬件加速器（例如 NVIDIA 的 Tensor Cores）专门针对 FP16 矩阵乘法进行了优化，其速度显著高于 FP32。

Link to this sectionAI 工作流中的关键优势#

采用半精度为 AI 从业者带来了几个切实的好处：

• 降低内存占用： 模型所需的 VRAM（视频随机存取存储器）减少了一半，使开发者能够在相同的硬件上训练更大的网络或使用更高分辨率的训练数据。
• 更快的推理： 对于自动驾驶汽车或视频分析等实时应用，FP16 可以将吞吐量（每秒帧数）提高一倍，从而减少推理延迟。
• 能效提升： 处理较少的位数需要较少的能量，这对电池寿命受限的边缘 AI 设备和移动电话至关重要。
• 混合精度训练： 许多现代框架利用混合精度，即模型保持 FP32 格式的主权重副本以确保稳定性，但在进行繁重计算时使用 FP16。这提供了“鱼与熊掌兼得”的效果——既兼顾速度又保持收敛稳定性。

Link to this section实际应用#

半精度在生产级 AI 系统中随处可见。以下是两个具体示例：

1. 边缘设备上的实时目标检测： 想象一个运行 Ultralytics YOLO26 来检测入侵者的安防摄像头系统。以 FP16 部署模型，使其能够在 NVIDIA Jetson 或 Raspberry Pi AI Kit 等嵌入式芯片上流畅运行。降低的计算负载确保系统能在实时推理模式下处理视频流而不产生延迟，这对及时发出警报至关重要。

2. 大语言模型（LLM）部署： 生成式 AI 模型（如 GPT-4 或 Llama 变体）拥有数十亿个参数。以全精度（FP32）加载这些模型将需要巨大的服务器内存，其成本往往令人望而却步。通过将这些模型转换为 FP16（甚至更低格式），云服务商可以同时为成千上万的用户提供基础模型服务，从而使聊天机器人和自动化内容生成等服务在经济上变得可行。

Link to this section半精度与量化#

虽然这两种技术都旨在减小模型尺寸，但区分“半精度”与模型量化非常重要。

• 半精度（FP16）： 将位宽从 32 减少到 16，但仍将数据保留为浮点数。它保留了合理的动态范围，通常是 GPU 训练和推理的默认选择。
• Quantization (INT8): Converts floating-point numbers into integers (usually 8-bit). This offers even greater speed and memory savings but can sometimes lead to a more noticeable drop in accuracy if not done carefully (e.g., via quantization-aware training). FP16 is generally safer for preserving model performance, while INT8 is used for extreme optimization.

Link to this section使用 Ultralytics 实现半精度#

ultralytics 库使得利用半精度变得非常简单。在预测期间，如果硬件支持，模型可以自动切换到半精度，或者也可以显式请求使用。

这是一个 Python 示例，演示了如何加载 YOLO26 模型并使用半精度进行推理。请注意，运行 half=True 通常需要支持 CUDA 的 GPU。

import torch
from ultralytics import YOLO

# Check if CUDA (GPU) is available, as FP16 is primarily for GPU acceleration
device = "cuda" if torch.cuda.is_available() else "cpu"

# Load the latest YOLO26n model
model = YOLO("yolo26n.pt")

# Run inference on an image with half-precision enabled
# The 'half=True' argument tells the engine to use FP16
results = model.predict("https://ultralytics.com/images/bus.jpg", device=device, half=True)

# Print the device and precision status
print(f"Inference device: {results[0].orig_img.shape}, Speed: {results[0].speed}")

对于管理数据集和训练流水线的用户，Ultralytics Platform 在云端自动处理了许多此类优化，简化了从标注到优化模型部署的转换过程。

Link to this section延伸阅读与资源#

若要探索更多关于数值格式及其对 AI 影响的内容，请查阅关于 Tensor Cores 的 NVIDIA 深度学习性能文档。如需更全面地了解这些优化如何融入开发生命周期，请阅读有关机器学习运维（MLOps）的内容。

此外，对不同优化策略之间的权衡感兴趣的人可以研究剪枝（通过移除连接而不是降低位精度），或者查阅 IEEE 浮点数算术标准 (IEEE 754) 以获取数字算术的技术规范。理解这些基本原理有助于在将模型导出为 ONNX 或 TensorRT 等格式用于生产环境时，做出明智的决策。