使用 Deci 对 Ultralytics YOLOv5 进行编译和量化以提高性能

Ultralytics 团队

4 分钟阅读

2022年10月26日

利用 Deci 平台优化和部署 Ultralytics YOLOv5 模型,最高可将性能提高 10 倍。免费开始使用并利用自动模型优化。

在 Ultralytics,我们经常与其他初创公司合作,帮助我们为研发 YOLOv5 等优秀的开源工具提供资金支持,使这些工具能够免费提供给所有人使用。本文可能包含这些合作伙伴的关联链接。

Deci 平台包含免费工具,可在任何生产环境中轻松管理、优化和部署YOLOv5模型。Deci 支持所有流行的 DL 框架,如 TensorFlow、PyTorch、Keras 和 ONNX。您所需要的只是我们基于 Web 的平台或我们的 Python 客户端,以便从您的代码中运行它。

为什么是德西?

使用 Deci 不仅可以导出模型,还可以对模型进行剪枝和量化!

Deci 提供了一个很好的界面,可以导出任何格式的数据,并对原始模型和转换后的模型进行性能比较。用户可以选择通过量化进一步优化模型。

有了德西,您就能

将推理性能最多提高 10 倍

自动编译和量化模型,并评估不同的制作设置,以获得更好的延迟、贯穿性,并减少模型大小和硬件内存占用。

为您的应用找到最佳推理硬件

只需一个按钮,即可在各种硬件(包括边缘)设备上对机型性能进行基准测试。无需手动设置和测试多种硬件和生产设置。

‍只需几行代码即可部署

利用 Deci 基于 python 的推理引擎。兼容多种框架和硬件类型。

有关德西平台的更多信息,请访问德西网站

首次设置

步骤 1

开设免费账户

开始使用 Deci 和 Ultralytics YOLOv5

步骤 2

要开始优化预训练的 YOLOv5 模型,您需要将其转换为 ONNX 格式。有关如何将模型转换为 ONNX 格式的说明,请参阅YOLOv5 导出教程

步骤 3

转到 "实验室 "选项卡,点击屏幕右上方的 "新建模型 "按钮,上传您的YOLOv5ONNX 模型。

将 Ultralytics YOLOv5 模型转换为 ONNX,以便将来与 Deci 一起部署

按照模型上传向导的步骤选择目标硬件以及所需的批量大小和模型编译的量化级别。

编译 Ultralytics YOLOv5 模型,以便与 Deci 一起部署

填写相关信息后,点击 "Start(开始)"。德西平台将自动针对您选择的硬件对您的 YOLOv5 模型进行运行优化,并在各种硬件类型上对您的模型进行基准测试。此过程大约需要 10 分钟。

完成后,屏幕上将出现一行新内容,位于您之前上传的基线模型下方。在这里,您可以看到预训练 YOLOv5 模型的优化版本。

Ultralytics YOLOv5 优化模型,与 Deci 一起部署

下一步是什么?

然后,您可以点击 "部署 "按钮下载优化后的模型。

Ultralytics YOLOv5 模型已准备好与 Deci 一起部署

然后,系统会提示您下载您的模型,并向您提供如何安装和使用 Infery 的说明--Infery 是 Deci 的运行时推理引擎。

Infery 的使用是可选的。您可以获取 python 原始文件,并将其用于您选择的任何其他推理引擎。

使用 Deci Infery 部署 Ultralytics YOLOv5

在 "洞察 "选项卡上查看优化和基准结果。

使用德西优化 Ultralytics YOLOv5 模型

准备好开始了吗?

在结束之前,让我们来讨论一下德西提供的一些优势:

  • 优化模型的推理吞吐量和延迟,同时不影响准确性
  • 允许您优化所有流行框架的模型
  • 支持针对任何深度学习任务的模型
  • 支持在常用 CPU 和 GPU 机器上部署
  • 在不同的硬件主机和云服务提供商上对您的模型的适用性进行基准测试
  • 让上传的模型为服务、推理和部署做好准备

正如您刚才看到的,您可以在 15 分钟内将 YOLOv5 型号的性能提高一倍。德西平台使用起来超级简单直观。

有问题吗?现在就加入我们的社区,留下您的问题!

让我们共同打造人工智能的未来

开始您的未来机器学习之旅

免费开始
链接复制到剪贴板