Развёртывание квантованных моделей Ultralytics YOLOv8 на периферийных устройствах с помощью DeGirum

Добро пожаловать на обзор еще одного интересного выступления с мероприятия YOLO VISION 2023 (YV23), которое прошло в Google for Startups Campus в Мадриде. Доклад представил Шаши Чилаппагар, главный архитектор и сооснователь DeGirum. Он рассказал о квантовании и развертывании квантованных моделей, рассмотрев ключевые проблемы, решения и перспективы.

Введение в квантование и развёртывание квантованных моделей#

Шаши подробно рассказал о квантовании и подчеркнул его важность для оптимизации моделей Ultralytics YOLO при развертывании на периферийных устройствах. Участники узнали об основах квантования и подходах к его улучшению, а также получили полезные сведения о переносе и развертывании моделей.

Сложности квантования моделей YOLO#

Квантование часто сопряжено со сложностями, особенно для моделей YOLO в TFLite. Участники узнали о значительном снижении точности, которое наблюдается, когда все выходные данные квантованы с одинаковыми масштабом и точкой отсчёта, а также о сложностях сохранения точности модели в процессе квантования.

Улучшение квантования моделей YOLO#

К счастью, для решения этих проблем есть подходящие методы. Форк DeGirum предлагает удобный для квантования подход: он разделяет выходные данные и оптимизирует декодирование ограничивающих рамок. Благодаря этим улучшениям точность квантованной модели значительно повышается по сравнению с исходным уровнем.

Архитектуры моделей, более удобные для квантования#

Изучение новых архитектур моделей — ключ к сокращению потерь при квантовании. Участники узнали, что замена SiLU на ограниченную функцию активации ReLU6 сводит потери при квантовании к минимуму и помогает сохранять точность квантованных моделей.

Развёртывание квантованных моделей#

Развернуть квантованные модели просто: для запуска любой модели на облачной платформе DeGirum нужно всего пять строк кода. В демонстрации кода в реальном времени показали, насколько легко обнаруживать объекты с помощью квантованной модели Ultralytics YOLOv5 и интегрировать квантованные модели в реальные приложения.

Для этого Ultralytics предлагает различные варианты развёртывания моделей, позволяя конечным пользователям эффективно запускать приложения на встраиваемых и периферийных устройствах. Среди доступных форматов экспорта — OpenVINO, TorchScript, TensorRT, CoreML, TFLite и TFLite Edge TPU, что обеспечивает гибкость и совместимость.

Интеграция со сторонними приложениями для развёртывания позволяет пользователям оценивать производительность наших моделей в реальных условиях.

Использование разных моделей на разных аппаратных платформах#

Участники также узнали, насколько гибко можно развёртывать разные модели на различных аппаратных платформах и как одна кодовая база может поддерживать несколько моделей на разных ускорителях. Примеры выполнения различных задач обнаружения на разнообразных аппаратных платформах продемонстрировали гибкость и масштабируемость нашего подхода.

Ресурсы и документация#

Чтобы участники могли узнать больше, мы представили раздел с подборкой ресурсов, где доступны наша облачная платформа, примеры, документация и многое другое. Наша цель — предоставить всем необходимые инструменты и поддержку для успешного развёртывания квантованных моделей.

Подводя итоги#

По мере развития квантования важно быть в курсе новостей и участвовать в жизни сообщества. Мы стремимся постоянно оказывать поддержку и предоставлять ресурсы, которые помогут тебе разобраться в этой развивающейся области. Смотри полную запись выступления на YouTube.

Продолжим вместе изучать последние тенденции и инновации в машинном обучении и искусственном интеллекте.