27 марта 2024 г.
Узнайте о развертывании квантованных моделей YOLOv8 с помощью DeGirum. Узнайте о проблемах, решениях и методах развертывания пограничных устройств. Формируйте будущее вместе с нами!
Добро пожаловать на обзор еще одного содержательного доклада с нашего мероприятия YOLO VISION 2023 (YV23), прошедшего в оживленном кампусе Google for Startups в Мадриде. Этот доклад сделал Шаши Чилаппагар, главный архитектор и соучредитель компании DeGirum. Он погрузился в увлекательный мир квантования и развертывания квантованных моделей, изучая ключевые проблемы, решения и будущие возможности.
Шаши представил всеобъемлющий обзор квантования, подчеркнув его важность для оптимизации Ultralytics YOLO для развертывания на пограничных устройствах. От обсуждения основ до изучения подходов к улучшению квантования слушатели получили ценные сведения о тонкостях переноса и развертывания моделей.
Квантование часто создает проблемы, особенно при использовании моделей YOLO в TFLite. Наши слушатели узнали о значительном снижении точности, наблюдаемом при квантовании всех выходов с одинаковым масштабом/нулевой точкой, что проливает свет на сложности сохранения точности модели в процессе квантования.
К счастью, существуют решения для устранения этих проблем. Внедрение форка DigiRAM предлагает подход, благоприятный для квантования, за счет разделения выходов и оптимизации декодирования ограничивающих рамок. Благодаря этим улучшениям точность квантованной модели значительно повышается по сравнению с базовыми уровнями.
Изучение новых архитектур моделей — ключ к минимизации потерь при квантовании. Участники узнали, как замена CILU на ограниченную активацию Relu6 приводит к минимальным потерям при квантовании, предлагая многообещающие результаты для поддержания точности в квантованных моделях.
Развертывание квантованных моделей никогда не было таким простым: для запуска любой модели на облачной платформе Digitim требуется всего пять строк кода. Демонстрация кода в реальном времени показала простоту обнаружения объектов с помощью квантованной модели Ultralytics YOLOv5 подчеркивая простоту интеграции квантованных моделей в реальные приложения.
Для этого Ultralytics предоставляет множество вариантов развертывания моделей, позволяя конечным пользователям эффективно внедрять свои приложения на встраиваемых и граничных устройствах. Различные форматы экспорта включают OpenVINO, TorchScript, TensorRT, CoreML, TFlite и TFlite EDGE TPU, обеспечивая универсальность и совместимость.
Эта интеграция со сторонними приложениями для развертывания позволяет пользователям оценивать производительность наших моделей в реальных сценариях.
Участники также получили представление об универсальности развертывания различных моделей на различных аппаратных платформах, демонстрируя, как единая кодовая база может поддерживать несколько моделей на разных ускорителях. Примеры выполнения различных задач обнаружения на различных аппаратных платформах продемонстрировали гибкость и масштабируемость нашего подхода.
Чтобы еще больше расширить возможности участников, мы представили раздел с исчерпывающими ресурсами, предоставив доступ к нашей облачной платформе, примерам, документации и многому другому. Наша цель - обеспечить, чтобы у каждого были инструменты и поддержка, необходимые для успешного развертывания квантованных моделей.
По мере развития области квантования важно оставаться в курсе событий и быть вовлеченным в процесс. Мы стремимся оказывать постоянную поддержку и предоставлять ресурсы, которые помогут вам сориентироваться в этом увлекательном путешествии. Посмотрите полную версию доклада здесь!
Присоединяйтесь к нам, и мы продолжим изучать последние тенденции и инновации в области машинного обучения и искусственного интеллекта. Вместе мы формируем будущее технологий и способствуем позитивным изменениям в мире.
