深圳Yolo 视觉
深圳
立即加入

使用 Deci 对Ultralytics YOLOv5 进行编译和量化以提高性能

Ultralytics 团队

4 分钟阅读

2022年10月26日

利用 Deci 平台优化和部署Ultralytics YOLOv5 模型,最高可将性能提高 10 倍。免费开始使用并利用自动模型优化。

在Ultralytics ,我们经常与其他初创公司合作,帮助我们为研发YOLOv5 等优秀的开源工具提供资金支持,使这些工具能够免费提供给所有人使用。本文可能包含这些合作伙伴的关联链接。

德西平台包含免费工具,可轻松管理、优化和部署您的 YOLOv5模型。Deci 支持所有流行的 DL 框架,如TensorFlow、PyTorch、Keras 和ONNX。您所需要的只是我们基于 Web 的平台或我们的Python 客户端,以便从您的代码中运行它。

为什么选择 Deci?

您不仅可以使用 Deci 导出模型,还可以对模型进行剪枝和量化!

Deci 提供了一个友好的界面,可以导出为任何格式,并比较原始模型和转换后模型的性能。用户可以选择通过量化进一步优化他们的模型。

使用 Deci,您可以:

将推理性能提升高达 10 倍

自动编译和量化您的模型,并评估不同的生产设置,以在您的硬件上实现更好的延迟、吞吐量以及模型大小和内存占用量的减少。

为您的应用找到最佳的推理硬件

只需按一下按钮,即可在各种硬件(包括边缘设备)上对模型的性能进行基准测试。无需手动设置和测试多个硬件和生产设置。

用几行代码部署

利用 Decipython 的推理引擎。兼容多种框架和硬件类型。

有关 Deci 平台的更多信息,请访问 Deci 的网站

首次设置

步骤 1

开设您的免费账户。

开始使用 Deci 和Ultralytics YOLOv5

步骤 2

要开始优化预训练的YOLOv5 模型,您需要将其转换为ONNX 格式。有关如何将模型转换为ONNX 格式的说明,请参阅YOLOv5 导出教程

步骤 3

转到 "实验室 "选项卡,点击屏幕右上方的 "新模型 "按钮,上传您的 YOLOv5ONNX 模型。

将Ultralytics YOLOv5 模型转换为ONNX ,以便将来与 Deci 一起部署

按照模型上传向导的步骤选择您的目标硬件,以及模型编译所需的批量大小和量化级别。

编译Ultralytics YOLOv5 模型,以便与 Deci 一起部署

填写相关信息后,点击 "Start(开始)"。德西平台将自动针对您选择的硬件对您的YOLOv5 模型进行运行优化,并在各种硬件类型上对您的模型进行基准测试。此过程大约需要 10 分钟。

完成后,屏幕上将出现一行新内容,位于您之前上传的基线模型下方。在这里,您可以看到预训练YOLOv5 模型的优化版本。

Ultralytics YOLOv5 优化模型,与 Deci 一起部署

下一步是什么?

然后,您可以单击“部署”按钮下载您优化后的模型。

Ultralytics YOLOv5 模型已准备好与 Deci 一起部署

然后,系统将提示您下载模型,并接收有关如何安装和使用 Infery(Deci 的运行时推理引擎)的说明。

Infery 的使用是可选的。您可以获取python 原始文件,并将其用于您选择的任何其他推理引擎。

使用 Deci Infery 部署Ultralytics YOLOv5

在“Insights”选项卡上探索优化和基准测试结果。

使用德西优化Ultralytics YOLOv5 模型

准备好开始了吗?

在结束之前,让我们讨论一下Deci提供的一些优势:

  • 优化模型的推理吞吐量和延迟,同时不影响准确性
  • 允许您优化来自所有流行的框架的模型
  • 支持针对任何深度学习任务的模型
  • 支持在常用CPU 和GPU 机器上部署
  • 在不同的硬件主机和云提供商上对您的模型进行性能基准测试
  • 准备好上传的模型,以便进行服务、推理和部署

正如您刚才看到的,您可以在 15 分钟内将YOLOv5 型号的性能提高一倍。德西平台使用起来超级简单直观。

有任何问题?加入我们的社区,立即提出您的问题!

让我们一起构建人工智能的未来!

开启您的机器学习未来之旅

免费开始