利用 DeGirum 在边缘设备上部署量化的 Ultralytics YOLOv8 模型

欢迎收看YOLO VISION 2023(YV23) 活动的精彩回顾，该活动在马德里充满活力的谷歌初创企业园区举行。本次演讲由DeGirum 的首席架构师兼联合创始人Shashi Chilappagar 主讲。演讲深入探讨了量化和部署量化模型的迷人世界，探讨了主要挑战、解决方案和未来的可能性。

量化和部署量化模型简介

Shashi 全面概述了量化问题，强调了量化在优化UltralyticsYOLO 模型以便在边缘设备上部署方面的重要性。从讨论基础知识到探索改进量化的方法，与会者对模型移植和部署的复杂性获得了宝贵的见解。

量化 YOLO 模型的挑战

量化经常带来挑战，尤其是TFLite 中的 YOLO 模型。我们的听众了解到，当所有输出都使用相同的标度/零点进行量化时，观察到的精度会显著下降，这揭示了在量化过程中保持模型精度的复杂性。

改进 YOLO 模型的量化

幸运的是，目前已有应对这些挑战的解决方案。DigiRAM fork 的推出，通过分离输出和优化边界框解码，提供了一种量化友好型方法。有了这些改进，量化模型的准确性比基准水平有了显著提高。

更便于量化的模型架构

探索新的模型架构是最大限度减少量化损失的关键。与会者发现了用有界 Relu6 激活替代 CILU 如何将量化损失降到最低，为保持量化模型的准确性提供了可喜的成果。

部署量化模型

在Digitim云平台上运行任何模型只需五行代码，部署量化模型从未如此简单。现场代码演示展示了使用量化的Ultralytics YOLOv5模型检测物体的简便性，凸显了量化模型与实际应用的无缝集成。 

为此，Ultralytics 提供了多种模型部署选项，使最终用户能够在嵌入式设备和边缘设备上有效地部署应用程序。不同的导出格式包括OpenVINO、TorchScript、TensorRT、CoreML、TFlite 和TFlite EDGE TPU，具有多样性和兼容性。 

通过与第三方应用程序的集成部署，用户可以评估我们的模型在实际场景中的性能。

在不同的硬件上使用不同的模型

与会者还深入了解了在不同硬件平台上部署不同模型的多功能性，展示了单一代码库如何支持不同加速器上的多种模型。在不同硬件平台上运行不同检测任务的实例展示了我们方法的灵活性和可扩展性。

资源和文件

为了进一步增强与会者的能力，我们推出了一个综合资源部分，提供对我们的云平台、示例、文档等的访问。我们的目标是确保每个人都能获得有效部署量化模型所需的工具和支持。

总结

随着量子化领域的不断发展，了解和参与其中至关重要。我们致力于为您提供持续的支持和资源，帮助您走过这段激动人心的旅程。点击这里查看完整讲座！ 

加入我们，继续探索机器学习和人工智能的最新趋势和创新。我们将共同塑造技术的未来，推动世界发生积极的变化。