使用 DeGirum 在边缘设备上部署量化的 Ultralytics YOLOv8 模型

欢迎回顾我们在马德里充满活力的 Google for Startups 园区举办的 YOLO VISION 2023 (YV23) 活动中的另一次富有洞察力的演讲。本次演讲由 Shashi Chilappagar（DeGirum 的首席架构师兼联合创始人）发表。演讲深入探讨了量化和部署量化模型的迷人世界，探索了关键挑战、解决方案和未来可能性。

量化和部署量化模型简介

Shashi 全面概述了量化，强调了其在优化 Ultralytics YOLO 模型以在边缘设备上部署方面的重要性。从讨论基础知识到探索改进量化的方法，与会者对模型移植和部署的复杂性有了宝贵的了解。

量化 YOLO 模型中的挑战

量化通常会带来挑战，尤其是在 TFLite 中的 YOLO 模型中。我们的听众了解到，当所有输出都以相同的比例/零点进行量化时，会观察到准确率显着下降，这揭示了在量化过程中保持模型准确率的复杂性。

改进 YOLO 模型的量化

幸运的是，存在解决这些挑战的方案。DigiRAM 分支的引入通过分离输出和优化边界框解码，提供了一种量化友好的方法。通过这些增强功能，量化模型的准确率从基线水平显着提高。

更量化友好的模型架构

探索新的模型架构是最大限度地减少量化损失的关键。与会者了解到，用有界的 Relu6 激活替换 CILU 会导致最小的量化损失，从而为保持量化模型的准确率提供了有希望的结果。

部署量化模型

部署量化模型从未如此简单，只需五行代码即可在 Digitim 云平台上运行任何模型。一个实时代码演示展示了使用量化的 Ultralytics YOLOv5 模型检测物体的简便性，突出了量化模型与实际应用的无缝集成。 

为此，Ultralytics 提供了多种模型部署选项，使最终用户能够有效地将其应用程序部署在嵌入式和边缘设备上。不同的导出格式包括 OpenVINO、TorchScript、TensorRT、CoreML、TFlite 和 TFlite EDGE TPU，提供了多功能性和兼容性。 

这种与第三方应用程序集成的部署方式，允许用户评估我们的模型在实际场景中的性能。

在不同的硬件上使用不同的模型

与会者还深入了解了在各种硬件平台上部署不同模型的多功能性，展示了单个代码库如何支持跨不同加速器的多个模型。在不同的硬件平台上运行不同检测任务的示例证明了我们方法的灵活性和可扩展性。

资源和文档

为了进一步增强与会者的能力，我们引入了一个全面的资源部分，提供对我们的云平台、示例、文档等的访问。我们的目标是确保每个人都拥有成功有效地部署量化模型所需的工具和支持。

总结

随着量化领域的不断发展，及时了解情况并积极参与至关重要。我们致力于提供持续的支持和资源，以帮助您完成这段激动人心的旅程。点击此处查看完整演讲！ 

加入我们，继续探索机器学习和人工智能的最新趋势和创新。我们将共同塑造技术的未来，并推动世界发生积极的改变。