Развёртывание квантованных моделей Ultralytics YOLOv8 на периферийных устройствах с помощью DeGirum

Добро пожаловать на обзор ещё одного содержательного выступления с нашего мероприятия YOLO VISION 2023 (YV23), которое прошло в оживлённом кампусе Google for Startups в Мадриде. Выступление провёл Shashi Chilappagar, главный архитектор и сооснователь DeGirum. В нём подробно рассматривались увлекательные аспекты квантования и развертывания квантованных моделей, включая ключевые проблемы, решения и перспективы развития.

Знакомство с квантованием и развертыванием квантованных моделей#

Shashi представил подробный обзор квантования, подчеркнув его важность для оптимизации моделей Ultralytics YOLO при развертывании на периферийных устройствах. Участники обсудили основы и подходы к улучшению квантования, получив ценные сведения о тонкостях переноса и развертывания моделей.

Проблемы квантования моделей YOLO#

Квантование часто сопряжено с трудностями, особенно для моделей YOLO в TFLite. Участники узнали о существенном снижении точности, которое наблюдается, когда для всех выходов используется один и тот же масштаб и нулевая точка, что наглядно демонстрирует сложность сохранения точности модели в процессе квантования.

Улучшение квантования моделей YOLO#

К счастью, существуют решения этих проблем. Форк DeGirum предлагает удобный для квантования подход, разделяя выходы и оптимизируя декодирование ограничивающих рамок. Благодаря этим улучшениям точность квантованной модели значительно повышается по сравнению с исходным уровнем.

Архитектуры моделей, более удобные для квантования#

Изучение новых архитектур моделей — ключ к минимизации потерь при квантовании. Участники узнали, что замена SiLU на ограниченную активацию ReLU6 приводит к минимальным потерям при квантовании и позволяет многообещающе сохранять точность квантованных моделей.

Развертывание квантованных моделей#

Развертывать квантованные модели стало проще, чем когда-либо: для запуска любой модели на облачной платформе DeGirum требуется всего пять строк кода. Живая демонстрация кода показала, насколько просто обнаруживать объекты с помощью квантованной модели Ultralytics YOLOv5, продемонстрировав бесшовную интеграцию квантованных моделей в реальные приложения.

Для этого Ultralytics предоставляет множество вариантов развертывания моделей, позволяя конечным пользователям эффективно запускать свои приложения на встраиваемых и периферийных устройствах. Доступны различные форматы экспорта, включая OpenVINO, TorchScript, TensorRT, CoreML, TFLite и TFLite Edge TPU, что обеспечивает универсальность и совместимость.

Эта интеграция со сторонними приложениями для развертывания позволяет пользователям оценивать производительность наших моделей в реальных сценариях.

Использование разных моделей на различном оборудовании#

Участники также узнали о гибкости развертывания разных моделей на различных аппаратных платформах и увидели, как одна кодовая база может поддерживать несколько моделей на разных ускорителях. Примеры выполнения различных задач обнаружения на разнообразных аппаратных платформах продемонстрировали гибкость и масштабируемость нашего подхода.

Ресурсы и документация#

Чтобы предоставить участникам дополнительные возможности, мы представили подробный раздел с ресурсами, где доступны наша облачная платформа, примеры, документация и многое другое. Наша цель — обеспечить всех необходимыми инструментами и поддержкой для успешного развертывания квантованных моделей.

Подводя итоги#

По мере развития области квантования важно быть в курсе событий и активно участвовать в её развитии. Мы стремимся постоянно предоставлять поддержку и ресурсы, которые помогут тебе пройти этот увлекательный путь. Посмотри полную запись выступления: Смотреть полную запись выступления!

Присоединяйся к нам, чтобы продолжить изучение последних тенденций и инноваций в машинном обучении и искусственном интеллекте. Вместе мы формируем будущее технологий и способствуем позитивным изменениям в мире.