剪枝

剪枝是机器学习中的一项关键技术 剪枝是机器学习中的一项重要技术，旨在减少 神经网络（NN 神经网络（NN）的大小和计算复杂度。 参数，从而降低神经网络（NN）的规模和计算复杂度。就像修剪树上的枯枝以促进其健康成长一样，模型修剪可以识别并消除模型中的权重或连接。 消除对系统性能贡献极小的模型权重或连接 对系统输出贡献最小的模型权重或连接。其主要目标是创建一个稀疏的模型，在保持高精度的同时，大幅降低内存使用率和系统性能。 同时大幅降低内存使用率和 推理延迟。这一过程 对于部署复杂的架构至关重要，例如 Ultralytics YOLO11等复杂架构至关重要。 存储和处理能力有限的设备上。

剪枝如何工作

这一过程通常从预先训练好的模型开始。算法对网络进行分析，以找到参数--通常以张量表示--这些参数的值接近于零或对最终预测的影响有限。 这些参数的值接近于零或对最终预测的影响有限。这些参数 然后删除或 "清零"。由于删除连接会暂时降低性能，因此模型 通常会经历一个称为微调的过程，在这个过程中 在此过程中，模型会被重新训练几个历元，以便让剩余的 权重进行调整，以恢复失去的准确性。

修剪主要分为两类：

• 非结构化剪枝：这种方法根据权重的 大小。这种方法虽然能有效减少参数数量，但会产生不规则的内存访问模式，在没有专用 CPU 的标准 CPU 上可能无法提高速度。 在没有专门软件或硬件支持的情况下 软件或硬件支持，例如 NVIDIA）的稀疏性功能。
• 结构修剪：这种方法可以去除整个结构组件，如神经元、通道或层级、 或层。 卷积神经网络 (CNN)。通过保持矩阵结构，这种方法对标准硬件更友好，通常能在计算过程中 在 实时推理。

剪枝 vs. 量化 vs. 提炼

重要的是要将剪枝与其他 模型优化策略、 尽管它们经常同时使用：

• 模型量化：量化 量化：不是删除参数，而是降低权重的精度（例如，从 32 位浮点数转换为 8 位整数）。 浮点数转换为 8 位整数）。
• 知识蒸馏： 这包括训练一个较小的 "学生 "模型来模仿一个较大的 "教师 "模型的行为，而不是直接修改较大的模型。 而不是直接修改较大的模型。
• 剪枝：具体侧重于删除连接或结构，以诱导稀疏性。

实际应用

修剪在各行各业实现边缘人工智能方面发挥着重要作用。 在各行各业中发挥着至关重要的作用：

1. 自主机器人：利用计算机视觉导航的机器人 利用计算机视觉进行导航 视觉数据，以避免延迟。剪枝技术允许复杂的 物体检测模型在无人机或送货机器人的嵌入式 硬件上运行复杂的物体检测模型，从而确保安全和效率。了解更多 将计算机视觉集成到机器人技术中。
2. 移动医疗诊断：医疗应用通常需要直接在平板电脑或智能手机上分析高分辨率扫描结果 直接在平板电脑或智能手机上分析高分辨率扫描结果，以保护患者 数据隐私。剪枝模型能让这些设备 执行肿瘤检测等任务，而无需将敏感数据上传到云端。查看 医疗领域的人工智能如何改变诊断。

实例

而 Ultralytics YOLO模型是高度优化的开箱即用模型、 开发人员可以使用标准PyTorch 工具进行剪枝试验。下面的示例演示了如何 将非结构化剪枝应用于计算机视觉模型中的标准卷积层。

import torch
import torch.nn.utils.prune as prune
from ultralytics.nn.modules import Conv

# Initialize a standard convolutional block used in YOLO models
layer = Conv(c1=64, c2=128)

# Apply L1 unstructured pruning to remove 30% of the lowest magnitude weights
prune.l1_unstructured(layer.conv, name="weight", amount=0.3)

# Verify the sparsity (percentage of zero weights)
sparsity = float(torch.sum(layer.conv.weight == 0)) / layer.conv.weight.nelement()
print(f"Layer sparsity achieved: {sparsity:.2%}")

未来在高效架构方面的进步，如即将推出的YOLO26，旨在整合这些 这些优化原则，从而设计出更小、更快、更精确的模型。

关键概念和资源

• 稀疏性：矩阵包含大部分零值的情况，是积极剪枝的直接结果。 剪枝的直接结果。
• 彩票假说：麻省理工学院研究人员提出的一个开创性概念 麻省理工学院的研究人员提出的一个开创性概念。 子网络（中奖彩票），这些子网络在单独训练时可以达到原始精度。
• 微调：微调：重新训练 修剪模型，使其 剩余权重以适应新的简化结构。