Развертывание квантованных моделей Ultralytics YOLOv8 на периферийных устройствах с DeGirum

Добро пожаловать в обзор еще одного содержательного выступления с нашего мероприятия YOLO VISION 2023 (YV23), которое прошло в оживленном кампусе Google for Startups в Мадриде. Это выступление провел Shashi Chilappagar, главный архитектор и сооснователь компании DeGirum. В нем рассматривался увлекательный мир квантования и развертывания квантованных моделей, а также ключевые проблемы, решения и будущие возможности.

Введение в квантование и развертывание квантованных моделей#

Shashi представил исчерпывающий обзор квантования, подчеркнув его важность при оптимизации моделей Ultralytics YOLO для развертывания на периферийных устройствах. От обсуждения основ до изучения подходов к улучшению квантования — участники получили ценные сведения о тонкостях переноса и развертывания моделей.

Проблемы при квантовании моделей YOLO#

Квантование часто создает трудности, особенно для моделей YOLO в формате TFLite. Наша аудитория узнала о значительном падении точности, которое наблюдается, когда все выходы квантуются с использованием одного и того же масштаба и нулевой точки, что проливает свет на сложности поддержания точности модели в процессе квантования.

Улучшение квантования моделей YOLO#

К счастью, существуют решения этих проблем. Внедрение форка DeGirum предлагает подход, дружественный к квантованию, за счет разделения выходов и оптимизации декодирования BBox. Благодаря этим улучшениям точность квантованной модели значительно возрастает по сравнению с базовыми уровнями.

Более дружественные к квантованию архитектуры моделей#

Исследование новых архитектур моделей — ключ к минимизации потерь при квантовании. Участники узнали, как замена SiLU на ограниченную активацию ReLU6 приводит к минимальным потерям при квантовании, обеспечивая многообещающие результаты для поддержания точности в квантованных моделях.

Развертывание квантованных моделей#

Развертывание квантованных моделей еще никогда не было таким простым: требуется всего пять строк кода для запуска любой модели на облачной платформе DeGirum. Живая демонстрация кода показала всю простоту обнаружения объектов с помощью квантованной модели Ultralytics YOLOv5, подчеркнув бесшовную интеграцию квантованных моделей в реальные приложения.

С этой целью Ultralytics предлагает различные варианты развертывания моделей, позволяя конечным пользователям эффективно развертывать свои приложения на встраиваемых и периферийных устройствах. Доступные форматы экспорта включают OpenVINO, TorchScript, TensorRT, CoreML, TFLite и TFLite Edge TPU, обеспечивая универсальность и совместимость.

Такая интеграция со сторонними приложениями для развертывания позволяет пользователям оценивать производительность наших моделей в реальных сценариях.

Использование разных моделей на разном оборудовании#

Участники также узнали об универсальности развертывания различных моделей на разнообразных аппаратных платформах, убедившись, что одна кодовая база может поддерживать несколько моделей на разных ускорителях. Примеры выполнения различных задач обнаружения на разнообразном оборудовании продемонстрировали гибкость и масштабируемость нашего подхода.

Ресурсы и документация#

Чтобы еще больше расширить возможности участников, мы представили исчерпывающий раздел ресурсов, предоставляющий доступ к нашей облачной платформе, примерам, документации и многому другому. наша цель — гарантировать, что у каждого есть инструменты и поддержка, необходимые для успешного развертывания квантованных моделей.

Заключение#

Поскольку сфера квантования развивается, важно оставаться в курсе событий и вовлеченными. мы стремимся предоставлять постоянную поддержку и ресурсы, которые помогут тебе в этом захватывающем путешествии. Посмотри полное выступление Watch the full talk!

Присоединяйся к нам, пока мы продолжаем изучать последние тенденции и инновации в области машинного обучения и искусственного интеллекта. Вместе мы формируем будущее технологий и движем позитивные перемены в мире.