使用 Deci 编译和量化 Ultralytics YOLOv5，提升性能

在 Ultralytics，我们与其他初创公司开展商业合作，帮助为 YOLOv5 等开源工具的研发提供资金，让所有人都能免费使用这些工具。本文可能包含指向合作伙伴的联盟链接。

更新：NVIDIA 于 2024 年收购了 Deci，deci.ai 现已重定向至 NVIDIA。以下 Deci 平台操作步骤仅供参考。

Deci 平台提供免费工具，帮助你轻松管理、优化并在任何生产环境中部署 YOLOv5 模型。Deci 支持所有常用的深度学习框架，例如 TensorFlow、PyTorch、Keras 和 ONNX。你只需使用我们的网页版平台，或使用 Python 客户端从代码中运行即可。

为什么选择 Deci？#

除了导出模型，你还可以使用 Deci 对模型进行剪枝和量化。

Deci 提供便捷的界面，可将模型导出为任意格式，并比较原始模型与转换后模型的性能。用户可以选择通过量化进一步优化模型。

使用 Deci，你可以：#

将推理性能提升最多 10 倍#

自动编译和量化模型，并评估不同的生产设置，从而在你的硬件上实现更低延迟、更高吞吐量，并减少模型大小和内存占用。

为你的应用找到最佳推理硬件#

只需点击按钮，即可在各种硬件设备（包括边缘设备）上对模型性能进行基准测试。无需手动设置和测试多种硬件及生产配置。

只需几行代码即可部署#

利用 Deci 基于 Python 的推理引擎。它兼容多种框架和硬件类型。

首次设置#

第 1 步#

创建免费账户。

第 2 步#

要开始优化预训练的 YOLOv5 模型，你需要先将其转换为 ONNX 格式。请参阅 YOLOv5 导出教程，了解如何将模型转换为 ONNX 格式。

第 3 步#

前往“Lab”选项卡，然后点击屏幕右上角的“New Model”按钮，上传你的 YOLOv5 ONNX 模型。

按照模型上传向导中的步骤，选择目标硬件，以及模型编译所需的批量大小和量化级别。

填写相关信息后，点击“Start”。Deci 平台会针对你所选的硬件自动优化 Ultralytics YOLOv5 模型的运行时，并在各种硬件类型上对模型进行基准测试。此过程大约需要 10 分钟。

完成后，屏幕上会在你之前上传的基线模型下方出现一行新内容。在这里，你可以看到预训练 Ultralytics YOLOv5 模型的优化版本。

接下来呢？#

然后，你可以点击“Deploy”按钮下载优化后的模型。

系统随后会提示你下载模型，并提供安装和使用 Infery（Deci 的运行时推理引擎）的说明。

Infery 为可选项。你可以获取原始 Python 文件，并将其与任意其他推理引擎搭配使用。

在“Insights”选项卡中查看优化和基准测试结果。

准备好开始了吗？#

在结束之前，我们来聊聊 Deci 的一些优势：

• 在不影响准确率的前提下，优化模型的推理吞吐量和延迟
• 支持优化所有热门框架的模型
• 支持面向任意深度学习任务的模型
• 支持在热门 CPU 和 GPU 设备上部署
• 在不同硬件主机和云服务提供商上对模型的适用性进行基准测试
• 让已上传的模型做好服务、推理和部署的准备

正如你刚刚看到的，你可以在大约 15 分钟内将 Ultralytics YOLOv5 模型的性能提升一倍。Deci 平台简单直观，易于使用。

有任何问题？加入我们的社区，今天就来提问吧！