Развертывание квантованных моделей Ultralytics YOLOv8 на пограничных устройствах с помощью DeGirum

Введение в квантование и развертывание квантованных моделей

Шаши представил всеобъемлющий обзор квантования, подчеркнув его важность для оптимизации моделей Ultralytics YOLO для развертывания на пограничных устройствах. От обсуждения основ до изучения подходов к улучшению квантования слушатели получили ценные сведения о тонкостях переноса и развертывания моделей.

Проблемы квантования моделей YOLO

Квантование часто создает проблемы, особенно при использовании моделей YOLO в TFLite. Наши слушатели узнали о значительном снижении точности, наблюдаемом при квантовании всех выходов с одинаковым масштабом/нулевой точкой, что проливает свет на сложности сохранения точности модели в процессе квантования.

Улучшение квантования моделей YOLO

К счастью, существуют решения для устранения этих проблем. Вилка DigiRAM предлагает подход, благоприятный для квантования, благодаря разделению выходов и оптимизации декодирования границ. Благодаря этим усовершенствованиям точность квантованных моделей значительно повышается по сравнению с базовыми уровнями.

Более удобные для квантования архитектуры моделей

Изучение новых архитектур моделей является ключевым моментом для минимизации потерь при квантовании. Слушатели узнали, как замена CILU на ограниченную активацию Relu6 приводит к минимальным потерям при квантовании, предлагая многообещающие результаты для поддержания точности в квантованных моделях.

Развертывание квантованных моделей

Развертывание квантованных моделей никогда не было таким простым: для запуска любой модели на облачной платформе Digitim требуется всего пять строк кода. Демонстрация кода в реальном времени показала простоту обнаружения объектов с помощью квантованной модели Ultralytics YOLOv5, подчеркивая беспрепятственную интеграцию квантованных моделей в реальные приложения. 

Для этого Ultralytics предоставляет множество вариантов развертывания моделей, позволяя конечным пользователям эффективно внедрять свои приложения на встраиваемых и граничных устройствах. Различные форматы экспорта включают OpenVINO, TorchScript, TensorRT, CoreML, TFlite и TFlite EDGE TPU, обеспечивая универсальность и совместимость. 

Интеграция со сторонними приложениями для развертывания позволяет пользователям оценить эффективность наших моделей в реальных сценариях.

Использование разных моделей на разном оборудовании

Слушатели также получили представление об универсальности развертывания различных моделей на различных аппаратных платформах, продемонстрировав, как одна кодовая база может поддерживать несколько моделей на различных ускорителях. Примеры выполнения различных задач обнаружения на разных аппаратных платформах продемонстрировали гибкость и масштабируемость нашего подхода.

Ресурсы и документация

Чтобы еще больше расширить возможности участников, мы представили обширный раздел ресурсов, предоставляющий доступ к нашей облачной платформе, примерам, документации и многому другому. Наша цель - обеспечить всех необходимыми инструментами и поддержкой для эффективного развертывания квантованных моделей.

Подведение итогов

По мере развития области квантования важно оставаться в курсе событий. Мы готовы оказывать постоянную поддержку и предоставлять ресурсы, чтобы помочь вам пройти этот увлекательный путь. Ознакомьтесь с полным текстом доклада здесь! 

Присоединяйтесь к нам, продолжая изучать последние тенденции и инновации в области машинного обучения и искусственного интеллекта. Вместе мы формируем будущее технологий и способствуем позитивным изменениям в мире.