Model Pruning

模型剪枝是一种机器学习技术，用于通过系统地移除不必要的参数来减小神经网络的规模和计算复杂度。就像园丁修剪枯死或过度生长的枝条以促进树木茁壮成长一样，开发人员通过剪枝人工网络使其变得更快、更小且更节能。这一过程对于在智能手机、嵌入式传感器和边缘计算硬件等资源受限的设备上部署现代深度学习架构至关重要。

Link to this section模型剪枝的工作原理#

剪枝背后的核心思想是深层神经网络通常存在“过度参数化”现象，这意味着它们包含的权重和偏差远超解决特定问题所需的数量。在训练过程中，模型会学习大量的连接，但并非所有连接都对最终输出有同等贡献。剪枝算法会分析训练好的模型，以识别这些冗余或无信息的连接（通常是那些权重接近于零的连接），并将它们移除。

剪枝模型的生命周期通常遵循以下步骤：

1. 训练： 训练一个大型模型直至收敛，以捕获复杂的特征。

2. 剪枝： 将低重要性的参数设置为零或从网络结构中物理移除。

3. 微调： 模型会经历第二轮微调，使剩余的参数能够进行调整，并恢复在剪枝阶段损失的任何准确率。

这种方法通常与彩票假设相关联，该假设认为密集网络中包含较小的、孤立的子网络（中奖彩票），如果单独训练，它们可以达到与原始模型相当的准确率。

Link to this section剪枝策略的类型#

剪枝方法通常根据所移除组件的结构进行分类。

• 非结构化剪枝： 这种方法根据阈值（例如幅值）移除模型中任意位置的单个权重。虽然这有效地减少了参数数量，但会导致稀疏矩阵，标准硬件难以高效处理。如果没有专门的软件或硬件加速器，非结构化剪枝可能无法带来显著的速度提升。
• 结构化剪枝： 这种方法移除整个几何结构，例如卷积神经网络 (CNN) 内的通道、滤波器或层。通过保留密集矩阵结构，剪枝后的模型保持了与标准 GPU 和 CPU 硬件的兼容性，从而直接改善了推理延迟和吞吐量。

Link to this section实际应用#

剪枝是边缘 AI 的关键赋能技术，它使复杂的模型能够在云连接不可用或速度过慢的环境中运行。

• 移动端目标检测： 移动设备上的应用程序（如实时语言翻译或增强现实）利用剪枝模型来节省电量并减少内存占用。像 YOLO26 这样优化的架构由于其固有的高效性，往往是执行这些任务的首选基础。
• 汽车安全： 自动驾驶汽车和自动驾驶车辆需要瞬间做出决策。剪枝模型允许车载计算机处理高分辨率摄像机馈送以进行行人检测，而无需因将数据传输到服务器而产生的延迟。
• 工业物联网： 在制造业中，装配线上的视觉检测系统使用轻量级模型来检测缺陷。剪枝确保这些系统可以在具有成本效益的微控制器上运行，而不是昂贵的服务器机架上。

Link to this section剪枝与相关优化技术的比较#

虽然模型剪枝是一种强大的工具，但它常与其他模型优化技术混淆或配合使用。

• 剪枝与量化： 剪枝减少了模型中参数（连接）的数量。相比之下，模型量化减少了这些参数的精度，例如将 32 位浮点数转换为 8 位整数。两者通常结合使用，以最大限度地提高模型部署的效率。
• 剪枝与知识蒸馏： 剪枝通过切割部分结构来修改原始模型。知识蒸馏涉及训练一个全新的、较小的“学生”模型，以模仿较大的“教师”模型的行为。

Link to this section实现示例#

以下 Python 示例演示了如何使用 PyTorch 对卷积层应用非结构化剪枝。这是在将模型导出为 ONNX 等优化格式之前的常见步骤。

import torch
import torch.nn as nn
import torch.nn.utils.prune as prune

# Initialize a standard convolutional layer
module = nn.Conv2d(in_channels=1, out_channels=20, kernel_size=3)

# Apply unstructured pruning to remove 30% of the connections
# This sets the weights with the lowest L1-norm to zero
prune.l1_unstructured(module, name="weight", amount=0.3)

# Calculate and print the sparsity (percentage of zero elements)
sparsity = 100.0 * float(torch.sum(module.weight == 0)) / module.weight.nelement()
print(f"Layer Sparsity: {sparsity:.2f}%")

对于希望管理数据集和模型全生命周期的用户（包括训练、评估和部署），Ultralytics Platform 提供了简化的界面。它简化了创建像 YOLO26 这样高度优化模型的过程，并支持将其导出为 TensorRT 或 CoreML 等硬件友好的格式。