Model Pruning
了解模型剪枝如何减小神经网络的规模和复杂性以适应边缘 AI。探索优化 Ultralytics YOLO26 以在移动设备上实现更快推理的策略。
模型剪枝是机器学习中的一种技术，通过系统性地移除不必要的参数来减小神经网络的体积和计算复杂度。正如园丁修剪枯死或过长的枝丫以促使树木茁壮成长一样，开发者通过剪枝人工网络来让它们运行得更快、体积更小、能耗更低。对于将现代深度学习架构部署到资源受限的设备（如智能手机、嵌入式传感器和边缘计算硬件）上而言，这一过程至关重要。
模型剪枝的工作原理#
剪枝背后的核心思想是深度神经网络通常具有“过参数化”的特点，这意味着它们包含的权重和偏置显著多于解决特定问题所需的严格数量。在训练过程中，模型会学习到大量的连接，但并非所有连接都对最终输出作出了相等的贡献。剪枝算法会分析训练好的模型，以识别出这些冗余的或不提供信息的连接（通常是那些权重接近于零的连接），并将其移除。
剪枝模型的生命周期通常遵循以下步骤：
这种方法通常与彩票假说相关联，该假说认为稠密网络包含较小的、隔离的子网络（中奖彩票），如果孤立地进行训练，它们可以达到与原始模型相当的精度。
剪枝策略的类型#
剪枝方法通常根据所移除组件的结构进行分类。
- 非结构化剪枝： 这种方法基于阈值（例如幅度）移除模型中任意位置的单个权重。虽然这有效地减少了参数数量，但它会产生稀疏矩阵，标准硬件可能难以对其进行高效处理。如果没有专用的软件或硬件加速器，非结构化剪枝可能无法带来显著的速度提升。
- 结构化剪枝： 这种方法移除卷积神经网络 (CNN)中的整个几何结构，例如通道、过滤器或层。通过保留稠密矩阵结构，剪枝后的模型能够保持与标准GPU和CPU硬件的兼容性，从而直接改善推理延迟和吞吐量。
实际应用#
剪枝是Edge AI的关键赋能因素，它允许复杂的模型在无法连接云端或连接速度过慢的环境中运行。
- 移动端目标检测： 移动设备上的应用程序（例如实时语言翻译或增强现实）利用剪枝模型来节省电池续航并减少内存占用。诸如YOLO26之类经过优化的架构由于其固有的高效性，通常是这些任务的首选基础。
- 汽车安全： 自动驾驶汽车和自动驾驶车辆需要进行电光石火般的决策。剪枝模型允许车载计算机处理用于行人检测的高分辨率摄像头画面，而不会产生将数据传输到服务器所引起的延迟。
- 工业物联网： 在制造业中，装配线上的视觉检测系统使用轻量级模型来检测缺陷。剪枝确保这些系统可以在具有成本效益的微控制器上运行，而不是昂贵的服务器机架上。
剪枝与相关优化技术的比较#
虽然模型剪枝是一个强大的工具，但它常与其他的模型优化技术相混淆，或与它们配合使用。
- 剪枝与量化： 剪枝减少了模型中参数（连接）的数量。相比之下，模型量化减少了这些参数的精度，例如，通过将32位浮点数转换为8位整数。为了最大化模型部署的效率，这两者通常会结合使用。
- 剪枝与知识蒸馏： 剪枝通过裁剪部分内容来修改原始模型。知识蒸馏则涉及训练一个全新的、更小的“学生”模型，来模仿更大“教师”模型的行为。
实现示例#
以下Python示例展示了如何使用PyTorch对卷积层应用非结构化剪枝。这是将模型导出为诸如ONNX等优化格式之前的常见步骤。
import torch
import torch.nn as nn
import torch.nn.utils.prune as prune
# Initialize a standard convolutional layer
module = nn.Conv2d(in_channels=1, out_channels=20, kernel_size=3)
# Apply unstructured pruning to remove 30% of the connections
# This sets the weights with the lowest L1-norm to zero
prune.l1_unstructured(module, name="weight", amount=0.3)
# Calculate and print the sparsity (percentage of zero elements)
sparsity = 100.0 * float(torch.sum(module.weight == 0)) / module.weight.nelement()
print(f"Layer Sparsity: {sparsity:.2f}%")对于希望管理数据集和模型整个生命周期（包括训练、评估和部署）的用户，Ultralytics Platform提供了一个简化的界面。它简化了创建诸如YOLO26之类高度优化的模型并将其导出为诸如TensorRT或CoreML等硬件友好格式的过程。
