计算机视觉中的剪枝与量化：快速指南

随着技术进步，边缘设备越来越普遍。从追踪心率的智能手表到监控街道的空中无人机，边缘系统都可以在设备本地实时处理数据。

这种方法通常比将数据发送到云端更快、更安全，尤其适用于涉及个人数据的应用，例如车牌检测或手势追踪。这些都是计算机视觉的应用示例。计算机视觉是人工智能 (AI) 的一个分支，能够让机器解读并理解视觉信息。

图 1. 车牌检测示例。(来源)

不过，一个重要的考量是，这类应用需要视觉 AI 模型具备处理大量计算、尽量减少资源占用并独立运行的能力。大多数计算机视觉模型都是为高性能系统开发的，因此不太适合直接部署到边缘设备上。

为弥合这一差距，开发者通常会采用有针对性的优化，让模型能够在较小的硬件上高效运行。这些调整对真实环境中的边缘部署至关重要，因为这类环境的内存和处理能力有限。

值得一提的是，像 Ultralytics YOLO11 这样的计算机视觉模型在设计时就考虑了边缘设备的效率，因此非常适合实时任务。不过，还可以通过剪枝和量化等模型优化技术进一步提升其性能，从而在资源受限的设备上实现更快的推理速度和更低的资源占用。

本文将深入介绍剪枝和量化的概念、工作原理，以及它们如何帮助 YOLO 模型在真实环境的边缘部署中发挥出色表现。我们开始吧！

剪枝和量化：模型优化的核心技术#

为在边缘设备上部署视觉 AI 模型做准备时，关键目标之一是在不牺牲性能的前提下，让模型更轻量、更可靠。这通常需要缩小模型体积并降低计算需求，让模型能在内存、功耗或处理能力有限的硬件上高效运行。剪枝和量化是实现这一目标的两种常见方法。

剪枝是一种 AI 模型优化技术，有助于让神经网络变得更小、更高效。在许多情况下，模型中的某些部分（例如特定连接或节点）对最终预测的贡献不大。剪枝会识别并移除这些不太重要的部分，从而缩小模型体积并提升运行速度。

另一方面，量化是一种降低模型所用数值精度的优化技术。模型不再使用高精度的 32 位浮点数，而是改用 8 位整数等更小、更高效的格式。这种改变有助于降低内存占用并加快推理速度，也就是模型进行预测的过程。

图 2. 剪枝和量化一览。(来源)

剪枝和量化的工作原理#

现在我们已经更好地了解了剪枝和量化的概念，接下来一起看看它们各自的工作原理。

剪枝通过一种称为敏感度分析的流程实现。它会识别神经网络模型中对最终预测结果贡献最小的部分，例如特定权重、神经元或通道。移除这些部分对准确率的影响很小。剪枝后，通常会重新训练模型以微调其性能。这个过程可以重复进行，以找到模型大小和准确率之间的合适平衡。

与此同时，模型量化关注的是模型处理数据的方式。量化从校准开始，模型会在样本数据上运行，以确定需要处理的数值范围。随后，这些数值会从 32 位浮点数转换为 8 位整数等低精度格式。

图 3. 量化有助于缩小模型体积并降低复杂度。(来源)

有多种工具可以简化剪枝和量化在实际 AI 项目中的应用。大多数 AI 框架（如 PyTorch 和 TensorFlow）都内置了对这些优化技术的支持，开发者可以将它们直接集成到模型部署流程中。

模型完成优化后，ONNX Runtime 等工具可以帮助模型在服务器、台式机和边缘设备等各种硬件平台上高效运行。此外，Ultralytics 提供的集成功能可以将 YOLO 模型导出为适合量化的格式（例如，在格式支持的情况下，可使用 quantize=8 进行 INT8 量化），从而更轻松地缩小模型体积并提升性能。

Ultralytics YOLO 模型优化概述#

YOLO11 等 Ultralytics YOLO 模型以快速的单阶段目标检测而广受认可，非常适合实时视觉 AI 任务。这些模型在设计上已经足够轻量、高效，适合边缘部署。不过，负责处理视觉特征的卷积层在推理期间仍可能需要大量计算资源。

你可能会想：既然 Ultralytics YOLO11 已经针对边缘应用进行了优化，为什么还需要进一步优化？简单来说，并非所有边缘设备都一样。有些设备运行在极其精简的硬件上，例如功耗比标准 LED 灯泡还低的微型嵌入式处理器。

在这些情况下，即使是 Ultralytics YOLO11 这样精简的模型，也需要进一步优化，才能确保性能流畅可靠。剪枝和量化等技术有助于缩小模型体积并加快推理速度，同时不会明显影响准确性，因此非常适合此类资源受限的环境。

为方便应用这些优化技术，Ultralytics 支持多种集成，可将 YOLO 模型导出为 ONNX、TensorRT、OpenVINO、CoreML 和 PaddlePaddle 等多种格式。每种格式都针对特定类型的硬件和部署环境进行了优化。

例如，由于 ONNX 与各种工具和平台兼容，因此常用于量化工作流。另一方面，TensorRT针对 NVIDIA 设备进行了高度优化，并支持使用 INT8 进行低精度推理，因此非常适合在边缘 GPU 上高速部署。

Ultralytics YOLO 模型优化的典型应用场景#

随着计算机视觉不断拓展到各种实际应用中，经过优化的 YOLO 模型让我们能够在更小、更快的硬件上执行目标检测、实例分割和目标跟踪等任务。接下来，我们来看看剪枝和量化如何让这些计算机视觉任务更加高效、实用。

由 Ultralytics YOLO11 驱动的智能监控#

许多工业场所和公共区域都依赖实时监控来保障安全。交通枢纽、制造工厂和大型户外设施等场所需要视觉 AI 系统快速、准确地检测人员或车辆。这些场所通常网络连接有限，硬件也受到限制，因此难以部署大型模型。

在这种情况下，像 Ultralytics YOLO11 这样经过优化的视觉 AI 模型是很好的解决方案。它体积小、运行速度快，非常适合在低功耗边缘设备上运行，例如嵌入式摄像头或智能传感器。这些模型可以直接在设备上处理视觉数据，实时检测安全违规、未授权访问或异常活动，无需持续连接云端。

图 4. Ultralytics YOLO11 可用于监控地铁站等公共场所。

使用 Ultralytics YOLO11 提升建筑工地安全#

建筑工地节奏快、充满不确定性，现场有重型机械、流动的工人和持续不断的作业。日程调整、设备移动，甚至突发天气变化都会让现场状况迅速改变。在这种动态环境中，保障工人安全始终是一项挑战。

实时监控至关重要，但传统系统往往依赖云端访问或昂贵的硬件，在工地上可能并不实用。这正是 Ultralytics YOLO11 等模型能够发挥重要作用的地方。YOLO11 可以优化后运行在小巧、高效的边缘设备上，直接在工地现场工作，无需互联网连接。

例如，设想一个占地数英亩的大型建筑工地，比如高速公路扩建项目。在这种环境下，人工跟踪每辆车或每件设备既困难又耗时。配备摄像头并运行优化版 Ultralytics YOLO11 模型的无人机可以自动检测和跟踪车辆、监控交通流量，并识别未授权访问或危险驾驶行为等安全问题。

图 5. 分析建筑工地的无人机图像。(来源)

计算机视觉中剪枝和量化的优缺点#

以下是剪枝和量化等计算机视觉模型优化方法带来的一些主要优势：

• 经济高效的部署：更小、更高效的模型可以减少对昂贵高端硬件的需求，让 AI 在不同应用场景中更易普及、更易扩展。
• 更低的延迟：通过简化模型架构并减少计算开销，这些技术有助于缩短实时应用的响应时间。
• 更高的能效：降低计算负载也能减少功耗，对电池供电或移动系统尤其有帮助。

剪枝和量化虽然有许多优势，但也存在一些取舍，开发者在优化模型时应加以考虑。以下是需要留意的一些局限：

• 准确率方面的取舍：如果剪枝过于激进，或采用极低位宽量化，模型准确率可能会下降，mAP 等指标可以衡量这种变化。
• 硬件限制：并非所有设备都能同样良好地支持 INT8 等低精度格式。这可能会限制优化后模型的部署地点和方式。
• 实现复杂度：要取得良好效果，通常需要针对具体模型进行细致调优。开发者可能需要重新训练模型并进行大量测试，才能在提升效率的同时保持性能。

要点#

剪枝和量化是有用的技术，有助于提升 YOLO 模型在边缘设备上的性能。它们可以缩小模型体积、降低计算需求并加快预测速度，通常只会轻微影响准确性。

这些优化方法还让开发者能够灵活地针对不同类型的硬件调整模型，而无需彻底重建模型。经过一些调优和测试后，在真实场景中应用视觉 AI 会更加轻松。

加入不断壮大的社区！查看我们的 GitHub 代码仓库，深入了解 AI。准备好开始你的计算机视觉项目了吗？了解我们的许可选项。访问我们的解决方案页面，探索农业 AI和医疗健康领域的视觉 AI！