使用 DeGirum 在边缘设备上部署量化 Ultralytics YOLOv8 模型

欢迎回顾我们在马德里充满活力的 Google for Startups Campus 举办的 YOLO VISION 2023（YV23）活动中的又一场精彩演讲。本次演讲由 DeGirum 首席架构师兼联合创始人 Shashi Chilappagar 主讲。演讲深入探讨了量化和部署量化模型这一引人入胜的领域，涵盖了关键挑战、解决方案和未来可能性。

量化与部署量化模型简介#

Shashi 全面介绍了量化技术，重点说明了它对于优化 Ultralytics YOLO 模型、以便在边缘设备上部署的重要性。从基础知识到改进量化的方法，与会者深入了解了模型移植和部署的复杂细节。

YOLO 模型量化面临的挑战#

量化通常会带来挑战，尤其是在 TFLite 中处理 YOLO 模型时。当所有输出都使用相同的缩放值/零点进行量化时，模型精度会显著下降。我们的观众了解了这一现象，也进一步认识到在量化过程中保持模型精度的复杂性。

改进 YOLO 模型的量化效果#

幸运的是，有一些解决方案可以应对这些挑战。DeGirum 分支通过分离输出并优化边界框解码，提供了一种更适合量化的方法。这些改进使量化模型的精度较基准水平有了显著提升。

更适合量化的模型架构#

探索新的模型架构是尽量减少量化损失的关键。与会者了解到，用有界的 ReLU6 激活函数替代 SiLU 可以将量化损失降至最低，为保持量化模型的精度带来了有希望的结果。

部署量化模型#

部署量化模型从未如此简单，只需五行代码即可在 DeGirum 云平台上运行任意模型。现场代码演示展示了如何使用量化的 Ultralytics YOLOv5 模型轻松进行目标检测，突出了量化模型与实际应用之间的无缝集成。

为此，Ultralytics 提供了多种模型部署选项，使终端用户能够在嵌入式设备和边缘设备上高效部署应用。不同的导出格式包括 OpenVINO、TorchScript、TensorRT、CoreML、TFLite 和 TFLite Edge TPU，带来了灵活性和兼容性。

这种与第三方部署应用的集成使用户能够在真实场景中评估我们模型的性能。

在不同硬件上使用不同模型#

与会者还深入了解了在各种硬件平台上部署不同模型的灵活性，展示了单一代码库如何在不同加速器上支持多个模型。在多种硬件平台上运行不同检测任务的示例，体现了我们方法的灵活性和可扩展性。

资源与文档#

为了进一步帮助与会者，我们介绍了全面的资源专区，提供云平台、示例、文档等内容。我们的目标是确保每个人都拥有成功高效部署量化模型所需的工具和支持。

总结#

随着量化领域不断发展，及时了解最新动态并积极参与至关重要。我们致力于持续提供支持和资源，帮助你应对这段令人兴奋的探索之旅。查看完整演讲 观看完整演讲！

加入我们，一起持续探索机器学习和人工智能领域的最新趋势与创新。让我们共同塑造技术的未来，推动世界发生积极变化。