使用 DeGirum 在边缘设备上部署量化后的 Ultralytics YOLOv8 模型

欢迎回顾我们在马德里充满活力的 Google for Startups Campus 举办的 YOLO VISION 2023 (YV23) 活动中的又一场精彩演讲。本次演讲由 DeGirum 的首席架构师兼联合创始人 Shashi Chilappagar 带来。演讲深入探讨了量化和部署量化模型的迷人世界，并探索了核心挑战、解决方案及未来的可能性。

量化与量化模型部署简介#

Shashi 对量化进行了全面概述，强调了其在优化 Ultralytics YOLO 模型以在边缘设备上进行部署时的重要性。从探讨基础知识到探索改进量化的方法，与会者对模型移植和部署的复杂性获得了宝贵的见解。

YOLO 模型量化中的挑战#

量化通常会带来挑战，特别是对于 TFLite 中的 YOLO 模型。我们的观众了解了当所有输出都使用相同的比例/零点进行量化时所观察到的精度的大幅下降，这揭示了在量化过程中保持模型精度的复杂性。

改善 YOLO 模型的量化#

幸运的是，已有解决方案可以应对这些挑战。DeGirum 分支的引入通过分离输出和优化边界框解码提供了一种对量化友好的方法。通过这些增强功能，量化模型的准确性较基准水平有了显著提高。

更适合量化的模型架构#

探索新的模型架构是最大限度减少量化损失的关键。与会者了解到，将 SiLU 替换为有界的 ReLU6 激活函数可以使量化损失降至最低，这为保持量化模型的准确性提供了广阔的前景。

部署量化模型#

部署量化模型从未如此简单，只需五行代码即可在 DeGirum 云平台上运行任何模型。现场代码演示展示了使用量化的 Ultralytics YOLOv5 模型检测物体的简便性，突出了量化模型无缝集成到实际应用中的优势。

为此，Ultralytics 提供了多种模型部署选项，使最终用户能够在其嵌入式和边缘设备上有效地部署其应用。不同的导出格式包括 OpenVINO、TorchScript、TensorRT、CoreML、TFLite 和 TFLite Edge TPU，具备极高的通用性和兼容性。

这种与第三方应用部署的集成，允许用户在实际场景中评估我们模型的性能。

在不同硬件上使用不同模型#

与会者还深入了解了在各种硬件平台上部署不同模型的多功能性，展示了单一代码库如何支持跨不同加速器的多种模型。在不同硬件平台上运行不同检测任务的示例，证明了我们方法的灵活性和可扩展性。

资源与文档#

为了进一步赋能与会者，我们引入了一个全面的资源板块，提供对我们的云平台、示例、文档等的访问权限。我们的目标是确保每个人都拥有成功部署量化模型所需的工具和支持。

总结#

随着量化领域的不断发展，保持信息灵通和积极参与至关重要。我们致力于提供持续的支持和资源，帮助你开启这段激动人心的旅程。查看完整演讲 Watch the full talk！

加入我们，共同探索机器学习和人工智能的最新趋势与创新。我们将携手塑造技术的未来，并为世界带来积极的变革。