使用 DeGirum 在边缘设备上部署量化的 Ultralytics YOLOv8 模型

欢迎回顾我们在 Google for Startups Campus（马德里）举办的 YOLO VISION 2023（YV23）活动中的又一场精彩演讲。演讲由 DeGirum 首席架构师兼联合创始人 Shashi Chilappagar 主讲，内容涵盖量化和量化模型部署，并探讨了关键挑战、解决方案和未来可能性。

量化与量化模型部署简介#

Shashi 全面介绍了量化，并强调量化对于优化 Ultralytics YOLO 模型、使其能够部署到边缘设备上的重要性。与会者从基础知识到改进量化的方法进行了深入探讨，对模型移植和部署的复杂性有了宝贵的认识。

YOLO 模型量化面临的挑战#

量化往往会带来挑战，尤其是在 TFLite 中使用 YOLO 模型时。与会者了解到，如果所有输出都使用相同的缩放因子/零点进行量化，准确率会显著下降，这揭示了量化过程中维持模型准确性的复杂性。

改进 YOLO 模型的量化#

幸运的是，有一些解决方案可以应对这些挑战。DeGirum 分支版本的推出提供了一种对量化友好的方法：将输出分离，并优化边界框解码。通过这些改进，量化模型的准确率相较于基准水平有了显著提升。

更适合量化的模型架构#

探索新的模型架构是减少量化损失的关键。与会者了解到，将 SiLU 替换为有界 ReLU6 激活函数可以最大限度地减少量化损失，为维持量化模型的准确性带来良好前景。

部署量化模型#

部署量化模型非常简单，只需五行代码，就能在 DeGirum 云平台上运行任何模型。现场代码演示展示了使用量化的 Ultralytics YOLOv5 模型进行目标检测是多么简单，也说明了量化模型可以轻松集成到实际应用中。

为此，Ultralytics 提供多种模型部署选项，让最终用户能够在嵌入式设备和边缘设备上有效部署应用。不同的导出格式包括 OpenVINO、TorchScript、TensorRT、CoreML、TFLite 和 TFLite Edge TPU，提供了灵活性和兼容性。

与第三方部署应用集成后，用户可以在现实场景中评估我们模型的性能。

在不同硬件上使用不同模型#

与会者还深入了解了如何在各种硬件平台上部署不同模型，展示了同一代码库如何支持多个加速器上的多种模型。在不同硬件平台上运行不同检测任务的示例，展现了我们方法的灵活性和可扩展性。

资源与文档#

为了进一步帮助与会者，我们介绍了一个全面的资源板块，提供云平台、示例、文档等内容。我们的目标是确保每个人都能获得有效部署量化模型所需的工具和支持。

总结#

随着量化领域不断发展，及时了解最新动态并积极参与至关重要。我们致力于持续提供支持和资源，帮助你探索这一不断发展的领域。在 YouTube 上观看完整演讲。

与我们一同探索机器学习和人工智能领域的最新趋势与创新。