使用 Deci 编译和量化 Ultralytics YOLOv5 以获得更好的性能

Ultralytics 在商业上与其他初创公司合作，以帮助我们资助我们出色的开源工具（如 YOLOv5）的研发，以保持它们对所有人免费。本文可能包含指向这些合作伙伴的附属链接。

Deci 平台包括用于轻松管理、优化和部署 YOLOv5 模型到任何生产环境的免费工具。Deci 支持所有流行的 DL 框架，例如 TensorFlow、PyTorch、Keras 和 ONNX。您只需要我们的基于 Web 的平台或我们的 Python 客户端即可从您的代码运行它。

为什么选择 Deci？

您不仅可以使用 Deci 导出模型，还可以对模型进行剪枝和量化！

Deci 提供了一个友好的界面，可以导出为任何格式，并比较原始模型和转换后模型的性能。用户可以选择通过量化进一步优化他们的模型。

使用 Deci，您可以：

将推理性能提升高达 10 倍

‍自动编译和量化您的模型，并评估不同的生产设置，以在您的硬件上实现更好的延迟、吞吐量以及模型大小和内存占用量的减少。

‍为您的应用找到最佳的推理硬件

‍只需按一下按钮，即可在各种硬件（包括边缘设备）上对模型的性能进行基准测试。无需手动设置和测试多个硬件和生产设置。

‍用几行代码部署

‍利用 Deci 基于 Python 的推理引擎。与多种框架和硬件类型兼容。

有关 Deci 平台的更多信息，请访问 Deci 的网站。

首次设置

步骤 1

开设您的免费账户。

步骤 2

要开始优化预训练的 YOLOv5 模型，您需要将其转换为 ONNX 格式。有关如何将模型转换为 ONNX 格式的说明，请参阅 YOLOv5 导出教程。

步骤 3

转到“Lab”选项卡，然后单击屏幕右上角的“New Model”按钮，以上传您的 YOLOv5 ONNX 模型。

按照模型上传向导的步骤选择您的目标硬件，以及模型编译所需的批量大小和量化级别。

填写相关信息后，点击“Start”。Deci平台将自动对您的YOLOv5模型进行运行时优化，以适应您选择的硬件，并在各种硬件类型上对您的模型进行基准测试。此过程大约需要10分钟。

完成后，您先前上传的基线模型下方会显示一个新行。在这里，您可以看到预训练的 YOLOv5 模型的优化版本。

下一步是什么？

然后，您可以单击“部署”按钮下载您优化后的模型。

然后，系统将提示您下载模型，并接收有关如何安装和使用 Infery（Deci 的运行时推理引擎）的说明。

Infery 的使用是可选的。您可以获取 python 原始文件，并将它们与您选择的任何其他推理引擎一起使用。

在“Insights”选项卡上探索优化和基准测试结果。

准备好开始了吗？

在结束之前，让我们讨论一下Deci提供的一些优势：

• 优化模型的推理吞吐量和延迟，同时不影响准确性
• 允许您优化来自所有流行的框架的模型
• 支持针对任何深度学习任务的模型
• 支持在流行的 CPU 和 GPU 机器上部署
• 在不同的硬件主机和云提供商上对您的模型进行性能基准测试
• 准备好上传的模型，以便进行服务、推理和部署

正如您刚才所看到的，您可以在 15 分钟的总时间内将 YOLOv5 模型的性能提高一倍。Deci 平台非常易于使用且直观。

有任何问题？加入我们的社区，立即提出您的问题！

​