Model Pruning
了解模型剪枝如何减少神经网络的规模和复杂度，以用于边缘 AI。探索优化 Ultralytics YOLO26 的策略，从而在移动设备上实现更快推理。
模型剪枝是机器学习中的一种技术，用于通过系统地移除不必要的参数来减小神经网络的规模和计算复杂度。就像园丁修剪枯死或过度生长的枝条以促进树木茁壮成长一样，开发者也会对人工神经网络进行剪枝，使其更快、更小且更节能。对于在资源有限的设备（如智能手机、嵌入式传感器和边缘计算硬件）上部署现代深度学习架构而言，这一过程至关重要。
模型剪枝的工作原理#
剪枝背后的核心理念是，深度神经网络通常存在“过度参数化”问题，也就是说，其中包含的权重和偏置远多于解决特定问题所严格需要的数量。在训练过程中，模型会学习大量连接，但并非所有连接都对最终输出有同等贡献。剪枝算法会分析训练好的模型，识别这些冗余或无信息的连接（通常是权重接近零的连接），并将其移除。
经过剪枝的模型通常会经历以下生命周期步骤：
这种方法通常与彩票假设相关，该假设认为，稠密网络中包含更小的、彼此独立的子网络（中奖彩票）；如果单独训练它们，其准确率可以达到与原始模型相当的水平。
剪枝策略的类型#
剪枝方法通常根据所移除组件的结构进行分类。
- 非结构化剪枝： 这种方法根据某个阈值（例如幅值）移除模型中任意位置的单个权重。虽然它能有效减少参数数量，但会产生标准硬件难以高效处理的稀疏矩阵。如果没有专用软件或硬件加速器，非结构化剪枝可能无法带来显著的速度提升。
- 结构化剪枝： 这种方法会移除卷积神经网络（CNN）中的完整几何结构，例如通道、滤波器或层。通过保留稠密矩阵结构，剪枝后的模型仍与标准的GPU和 CPU 硬件兼容，从而直接改善推理延迟和吞吐量。
实际应用#
剪枝是实现边缘 AI的关键技术，使复杂模型能够在云连接不可用或速度过慢的环境中运行。
- 移动端目标检测： 移动设备上的应用（例如实时语言翻译或增强现实）会使用剪枝模型来延长电池续航并减少内存使用量。由于具有出色的固有效率，YOLO26等优化架构通常是这些任务的首选基础。
- 汽车安全： 自动驾驶汽车和自动驾驶车辆需要在瞬间做出决策。剪枝模型能够让车载计算机处理高分辨率摄像头画面并检测行人，而不会产生将数据传输到服务器所带来的延迟。
- 工业物联网： 在制造业中，装配线上的视觉检测系统使用轻量级模型来检测缺陷。剪枝可确保这些系统能够运行在经济实惠的微控制器上，而不是昂贵的服务器机架上。
剪枝与相关优化技术的对比#
尽管模型剪枝是一种强大的工具，但它经常与其他模型优化技术混淆，或与它们结合使用。
- 剪枝与量化： 剪枝会减少模型中参数（连接）的数量。相比之下，模型量化会降低这些参数的精度，例如将 32 位浮点数转换为 8 位整数。为了最大限度地提高模型部署的效率，这两种方法通常会结合使用。
- 剪枝与知识蒸馏： 剪枝通过切除部分结构来修改原始模型。知识蒸馏则是训练一个全新的、更小的“学生”模型，使其模仿更大的“教师”模型的行为。
实现示例#
下面的 Python 示例演示了如何使用 PyTorch对卷积层应用非结构化剪枝。在将模型导出为 ONNX等优化格式之前，这是一个常见步骤。
import torch
import torch.nn as nn
import torch.nn.utils.prune as prune
# Initialize a standard convolutional layer
module = nn.Conv2d(in_channels=1, out_channels=20, kernel_size=3)
# Apply unstructured pruning to remove 30% of the connections
# This sets the weights with the lowest L1-norm to zero
prune.l1_unstructured(module, name="weight", amount=0.3)
# Calculate and print the sparsity (percentage of zero elements)
sparsity = 100.0 * float(torch.sum(module.weight == 0)) / module.weight.nelement()
print(f"Layer Sparsity: {sparsity:.2f}%")对于希望管理数据集和模型完整生命周期（包括训练、评估和部署）的用户，Ultralytics Platform提供了简化的界面。它简化了创建高度优化模型（如 YOLO26）并将其导出为适合硬件的格式（如 TensorRT或 CoreML）的过程。
