什么是模型优化？快速指南

模型优化旨在提升机器学习模型的效率和性能。通过改进模型的结构和功能，优化可以让模型以更少的计算资源、更短的训练和评估时间，取得更好的效果。

这一过程在计算机视觉等领域尤为重要，因为模型通常需要大量资源来分析复杂图像。在移动设备或边缘系统等资源受限的环境中，经过优化的模型即使资源有限，也能保持良好的运行效果和准确性。

模型优化常用的技术包括超参数调优、模型剪枝、模型量化和混合精度。本文将介绍这些技术，以及它们为计算机视觉应用带来的益处。

了解模型优化#

计算机视觉模型通常具有深层结构和复杂架构，擅长识别图像中的精细模式，但也可能非常消耗处理能力。当这些模型被部署到硬件有限的设备上，例如手机或边缘设备，就可能面临一些挑战或限制。

这些设备的处理能力、内存和能源有限，模型可能难以跟上需求，导致性能明显下降。模型优化技术是解决这些问题的关键。它们有助于精简模型、降低计算需求，并确保模型在资源有限时仍能有效运行。模型优化可以通过简化模型架构、降低计算的数值精度，或移除不必要的组件来实现，从而让模型更轻量、速度更快。

图 1. 优化模型的原因。图片由作者提供。

以下是一些最常见的模型优化技术，我们将在后续章节中详细介绍：

• 超参数调优：系统地调整学习率和批量大小等超参数，以提升模型性能。
• 模型剪枝：这种技术会移除神经网络中不必要的权重和连接，从而降低模型的复杂度和计算成本。
• 模型量化：量化会降低模型权重和激活值的精度，通常从 32 位降至 16 位或 8 位，从而显著减少内存占用和计算需求。
• 精度调整：这种方法也称为混合精度训练，即对模型的不同部分使用不同的精度格式，在不影响准确性的前提下优化资源使用。

解读机器学习模型中的超参数#

通过调整超参数（即影响模型从数据中学习方式的设置），你可以帮助模型更好地学习和发挥性能。超参数调优是一种优化这些设置的技术，可以提升模型的效率和准确率。与模型在训练过程中学习到的参数不同，超参数是预先设定、用于指导训练过程的值。

下面来看一些可以调整的超参数示例：

• 学习率：该参数控制模型调整内部权重时采用的步长。较高的学习率可以加快学习速度，但可能错过最优解；较低的学习率可能更准确，但速度较慢。
• 批量大小：它定义每个训练步骤中处理的数据样本数量。较大的批量大小能让学习更稳定，但需要更多内存。较小的批量训练速度更快，但稳定性可能较差。
• 训练轮数：你可以通过这个参数设置模型遍历完整数据集的次数。增加训练轮数可以提高准确率，但也可能导致过拟合。
• 卷积核大小：它定义了卷积神经网络 (CNNs) 中滤波器的尺寸。较大的卷积核能捕捉更广泛的模式，但需要更多处理；较小的卷积核则更关注细节。

超参数调优的工作原理#

超参数调优通常从为每个超参数设定可能的取值范围开始。随后，搜索算法会探索这些范围内的不同组合，找出性能最佳的设置。

常见的调优方法包括网格搜索、随机搜索和贝叶斯优化。网格搜索会测试指定范围内所有可能的取值组合。随机搜索会随机选择组合，通常能更快找到有效设置。贝叶斯优化会根据先前结果，使用概率模型预测有希望的超参数值。这种方法通常能减少所需的试验次数。

最终，系统会评估每种超参数组合下模型的性能。这个过程会不断重复，直至达到预期结果。

超参数与模型参数#

在进行超参数调优时，你可能会想知道超参数与模型参数有何区别。

超参数是在训练前设定、用于控制模型学习方式的值，例如学习率或批次大小。这些设置在训练期间保持不变，并直接影响学习过程。另一方面，模型参数是在训练过程中由模型自身学习得到的。这些参数包括权重和偏置，它们会随着模型训练而调整，并最终决定模型的预测结果。简而言之，超参数决定学习过程，而模型参数则是学习的结果。

图 2。参数与超参数对比。

模型剪枝为何对深度学习很重要#

模型剪枝是一种缩小模型体积的技术，它会移除模型中不必要的权重和参数，从而提高模型效率。在计算机视觉中，尤其是深度神经网络中，大量参数（例如权重和激活值，即用于计算最终输出的中间结果）会增加模型的复杂度和计算需求。剪枝通过识别并移除对性能贡献很小的参数来精简模型，最终得到更轻量、更高效的模型。

图 3. 模型剪枝前后对比。

模型训练完成后，可以使用基于幅值的剪枝或敏感度分析等技术评估每个参数的重要性。随后会采用三种主要技术之一剪除不重要的参数：权重剪枝、神经元剪枝或结构化剪枝。

权重剪枝会移除对输出影响很小的单个连接。神经元剪枝会移除输出对模型功能贡献很小的整个神经元。结构化剪枝则会移除更大的结构，例如卷积滤波器或全连接层中的神经元，以优化模型效率。剪枝完成后，需要重新训练模型以微调剩余参数，确保模型在缩小后仍保持较高准确率。

利用量化降低 AI 模型延迟#

模型量化会减少表示模型权重和激活值所用的位数。它通常会将高精度的 32 位浮点值转换为较低精度，例如 16 位浮点数或 8 位整数。通过降低位精度，量化可以显著减小模型体积和内存占用，并降低计算成本。

在计算机视觉中，32 位浮点数是常见标准，但转换为 16 位或 8 位可以提升效率。量化主要分为两种：权重量化和激活值量化。权重量化会降低模型权重的精度，在缩小模型体积的同时兼顾准确率。激活值量化会降低激活值的精度，进一步减少内存和计算需求。

图 4. 从 32 位浮点数到 8 位整数的量化示例。

混合精度如何加速 AI 推理#

混合精度是一种在神经网络不同部分使用不同数值精度的技术。通过结合 32 位浮点数等高精度值与 16 位或 8 位浮点数等低精度值，混合精度可以加快计算机视觉模型的训练并减少内存使用，同时不牺牲准确率。

训练期间，混合精度通过在特定层使用较低精度，并在网络中需要的地方保留较高精度来实现。这是通过类型转换和损失缩放完成的。类型转换会根据模型需要在不同精度的数据类型之间进行转换。损失缩放会调整降低后的精度，以防止数值下溢，确保训练稳定。混合精度特别适用于大型模型和较大的批次大小。

图 5. 混合精度训练同时使用 16 位 (FP16) 和 32 位 (FP32) 浮点类型。

平衡模型准确率与效率#

介绍了几种模型优化技术后，接下来讨论如何根据你的具体需求选择合适的技术。选择取决于可用硬件、部署环境的计算和内存限制，以及所需的准确率。

例如，资源有限的移动设备更适合较小、速度更快的模型，而高性能系统则可以使用更大、准确率更高的模型。以下是各项技术与不同目标的适配方式：

• 剪枝：它非常适合在不明显影响准确率的情况下缩小模型体积，因此很适用于手机或物联网 (IoT) 设备等资源受限的设备。
• 量化：非常适合缩小模型体积并加快推理速度，尤其适用于内存和处理能力有限的移动设备与嵌入式系统。对于可以接受准确率略有下降的应用，它效果很好。
• 混合精度：这项技术面向大规模模型，可减少内存使用量，并在支持混合精度运算的 GPU 和 TPU 等硬件上加快训练。它常用于注重效率的高性能任务。
• 超参数调优：虽然计算开销较大，但对于医疗影像或自动驾驶等要求高准确率的应用来说，这项技术必不可少。

要点#

模型优化是机器学习的重要环节，对于在现实应用中部署 AI 尤其如此。超参数调优、模型剪枝、量化和混合精度等技术有助于提升计算机视觉模型的性能、效率和资源利用率。这些优化能让模型运行更快、资源消耗更低，因此非常适合内存和处理能力有限的设备。优化后的模型也更易于扩展，并能部署到不同平台，从而让 AI 解决方案既有效又能适应广泛的用途。

访问 Ultralytics GitHub 仓库，加入我们的社区，进一步了解 AI 在制造业和农业中的应用。