Развертывание квантованных моделей Ultralytics YOLOv8 на периферийных устройствах с DeGirum

Добро пожаловать на краткий обзор еще одного интересного выступления на нашем мероприятии YOLO VISION 2023 (YV23), которое прошло в оживленном кампусе Google for Startups в Мадриде. Эту презентацию провел Shashi Chilappagar, главный архитектор и сооснователь DeGirum. Он углубился в захватывающий мир квантования и развертывания квантованных моделей, рассмотрев ключевые проблемы, решения и будущие возможности.

Link to this sectionВведение в квантование и развертывание квантованных моделей#

Shashi представил всесторонний обзор квантования, подчеркнув его важность для оптимизации моделей Ultralytics YOLO при развертывании на периферийных устройствах. От обсуждения основ до изучения подходов к улучшению квантования — слушатели получили ценные знания о тонкостях переноса и развертывания моделей.

Link to this sectionПроблемы при квантовании моделей YOLO#

Квантование часто создает трудности, особенно с моделями YOLO в TFLite. Наша аудитория узнала о значительном падении точности, которое наблюдается, когда все выходы квантуются с использованием одного и того же масштаба/нулевой точки, что проливает свет на сложности поддержания точности модели в процессе квантования.

Link to this sectionУлучшение квантования моделей YOLO#

К счастью, существуют решения этих проблем. Внедрение форка DeGirum предлагает подход, дружественный к квантованию, за счет разделения выходов и оптимизации декодирования BBox. Благодаря этим улучшениям точность квантованной модели значительно возрастает по сравнению с базовыми уровнями.

Link to this sectionБолее дружественные к квантованию архитектуры моделей#

Исследование новых архитектур моделей — ключ к минимизации потерь при квантовании. Участники узнали, как замена SiLU на ограниченную активацию ReLU6 приводит к минимальным потерям при квантовании, обеспечивая многообещающие результаты для поддержания точности в квантованных моделях.

Link to this sectionРазвертывание квантованных моделей#

Развертывание квантованных моделей стало проще, чем когда-либо: для запуска любой модели на облачной платформе DeGirum нужно всего пять строк кода. Демонстрация кода в прямом эфире показала простоту обнаружения объектов с помощью квантованной модели Ultralytics YOLOv5, подчеркнув бесшовную интеграцию квантованных моделей в реальные приложения.

Для этого Ultralytics предоставляет множество вариантов развертывания моделей, позволяя конечным пользователям эффективно внедрять свои приложения на встроенные и периферийные устройства. Различные форматы экспорта включают OpenVINO, TorchScript, TensorRT, CoreML, TFLite и TFLite Edge TPU, что обеспечивает универсальность и совместимость.

Такая интеграция со сторонними приложениями для развертывания позволяет пользователям оценивать производительность наших моделей в реальных сценариях.

Link to this sectionИспользование разных моделей на разном оборудовании#

Участники также узнали об универсальности развертывания различных моделей на разнообразных аппаратных платформах, убедившись, что одна кодовая база может поддерживать несколько моделей на разных ускорителях. Примеры выполнения различных задач обнаружения на разнообразном оборудовании продемонстрировали гибкость и масштабируемость нашего подхода.

Link to this sectionРесурсы и документация#

Чтобы дать участникам еще больше возможностей, мы представили раздел с исчерпывающими ресурсами, обеспечив доступ к нашей облачной платформе, примерам, документации и многому другому. Наша цель — убедиться, что у тебя есть все необходимые инструменты и поддержка для успешного развертывания квантованных моделей.

Link to this sectionЗаключение#

По мере развития области квантования очень важно оставаться в курсе событий и активно участвовать в процессе. Мы стремимся предоставлять постоянную поддержку и ресурсы, чтобы помочь тебе в этом захватывающем путешествии. Посмотри полное выступление Watch the full talk!

Присоединяйся к нам, пока мы продолжаем изучать последние тенденции и инновации в области машинного обучения и искусственного интеллекта. Вместе мы формируем будущее технологий и движем позитивные перемены в мире.