使用 DeGirum 在边缘设备上部署量化后的 Ultralytics YOLOv8 模型

Welcome to the recap of another insightful talk from our YOLO VISION 2023 (YV23) event, held at the vibrant Google for Startups Campus in Madrid. This talk was delivered by Shashi Chilappagar, Chief Architect and Co-Founder at DeGirum. It delved into the fascinating world of quantization and deploying quantized models, exploring key challenges, solutions, and future possibilities.

Link to this section量化与量化模型部署简介#

Shashi 全面概述了量化技术，并强调了它在优化 Ultralytics YOLO 模型以用于边缘设备部署方面的重要性。从讨论基础知识到探索改善量化的方法，与会者对模型移植和部署的复杂性获得了宝贵的见解。

Link to this sectionYOLO 模型量化中的挑战#

量化通常会带来挑战，特别是在 TFLite 中的 YOLO 模型。我们的听众了解到，当所有输出都使用相同的尺度/零点进行量化时，模型精度会显著下降，这揭示了在量化过程中保持模型精度的复杂性。

Link to this section改善 YOLO 模型的量化#

幸运的是，已有解决方案可以应对这些挑战。DeGirum 分支的引入通过分离输出和优化边界框解码提供了一种对量化友好的方法。通过这些增强功能，量化模型的准确性较基准水平有了显著提高。

Link to this section更适合量化的模型架构#

探索新的模型架构是最大限度减少量化损失的关键。与会者了解到，将 SiLU 替换为有界的 ReLU6 激活函数可以使量化损失降至最低，这为保持量化模型的准确性提供了广阔的前景。

Link to this section部署量化模型#

部署量化模型从未如此简单，仅需五行代码即可在 DeGirum 云平台上运行任何模型。现场代码演示展示了使用量化的 Ultralytics YOLOv5 模型检测对象的简便性，突显了将量化模型无缝集成到实际应用中的能力。

为此，Ultralytics 提供了多种模型部署选项，使终端用户能够有效地在嵌入式和边缘设备上部署他们的应用。不同的导出格式包括 OpenVINO、TorchScript、TensorRT、CoreML、TFLite 和 TFLite Edge TPU，提供了多功能性和兼容性。

这种与第三方应用部署的集成，允许用户在实际场景中评估我们模型的性能。

Link to this section在不同硬件上使用不同模型#

与会者还深入了解了在各种硬件平台上部署不同模型的多功能性，展示了单一代码库如何支持跨不同加速器的多种模型。在不同硬件平台上运行不同检测任务的示例，证明了我们方法的灵活性和可扩展性。

Link to this section资源与文档#

为了进一步为与会者提供支持，我们引入了一个全面的资源部分，提供对我们的云平台、示例、文档等的访问权限。我们的目标是确保每个人都拥有有效部署量化模型所需的工具和支持。

Link to this section总结#

随着量化领域的不断发展，保持信息获取和积极参与至关重要。我们致力于提供持续的支持和资源，帮助你顺利踏上这段激动人心的旅程。点击 观看完整演讲 即可查看全部内容！

加入我们，共同探索机器学习和人工智能的最新趋势与创新。我们将携手塑造技术的未来，并为世界带来积极的变革。