27 марта 2024 г.
Узнайте о развертывании квантованных моделей YOLOv8 с помощью DeGirum. Изучите проблемы, решения и методы развертывания для периферийных устройств. Создавайте будущее вместе с нами!
Представляем вашему вниманию краткий обзор еще одного содержательного доклада с нашего мероприятия YOLO VISION 2023 (YV23), которое проходило в оживленном кампусе Google for Startups в Мадриде. Этот доклад был представлен Шаши Чилаппагаром, главным архитектором и соучредителем компании DeGirum. В нем рассматривался увлекательный мир квантования и развертывания квантованных моделей, изучались ключевые проблемы, решения и будущие возможности.
Шаши представил всесторонний обзор квантования, подчеркнув его важность в оптимизации моделей Ultralytics YOLO для развертывания на периферийных устройствах. От обсуждения основ до изучения подходов к улучшению квантования, участники получили ценные сведения о тонкостях портирования и развертывания моделей.
Квантование часто создает проблемы, особенно с моделями YOLO в TFLite. Наша аудитория узнала о значительном падении точности, наблюдаемом при квантовании всех выходов с одинаковым масштабом/нулевой точкой, что проливает свет на сложности поддержания точности модели в процессе квантования.
К счастью, существуют решения для устранения этих проблем. Внедрение форка DigiRAM предлагает подход, благоприятный для квантования, за счет разделения выходов и оптимизации декодирования ограничивающих рамок. Благодаря этим улучшениям точность квантованной модели значительно повышается по сравнению с базовыми уровнями.
Изучение новых архитектур моделей — ключ к минимизации потерь при квантовании. Участники узнали, как замена CILU на ограниченную активацию Relu6 приводит к минимальным потерям при квантовании, предлагая многообещающие результаты для поддержания точности в квантованных моделях.
Развертывание квантованных моделей еще никогда не было таким простым: всего пять строк кода необходимо для запуска любой модели на облачной платформе Digitim. В демонстрации живого кода была продемонстрирована простота обнаружения объектов с помощью квантованной модели Ultralytics YOLOv5, что подчеркивает плавную интеграцию квантованных моделей в реальные приложения.
В связи с этим Ultralytics предоставляет различные варианты развертывания моделей, позволяя конечным пользователям эффективно развертывать свои приложения на встроенных и периферийных устройствах. Различные форматы экспорта включают OpenVINO, TorchScript, TensorRT, CoreML, TFlite и TFlite EDGE TPU, предлагая универсальность и совместимость.
Эта интеграция со сторонними приложениями для развертывания позволяет пользователям оценивать производительность наших моделей в реальных сценариях.
Участники также получили представление об универсальности развертывания различных моделей на различных аппаратных платформах, демонстрируя, как единая кодовая база может поддерживать несколько моделей на разных ускорителях. Примеры выполнения различных задач обнаружения на различных аппаратных платформах продемонстрировали гибкость и масштабируемость нашего подхода.
Чтобы еще больше расширить возможности участников, мы представили раздел с исчерпывающими ресурсами, предоставив доступ к нашей облачной платформе, примерам, документации и многому другому. Наша цель - обеспечить, чтобы у каждого были инструменты и поддержка, необходимые для успешного развертывания квантованных моделей.
По мере развития области квантования важно оставаться в курсе событий и быть вовлеченным в процесс. Мы стремимся оказывать постоянную поддержку и предоставлять ресурсы, которые помогут вам сориентироваться в этом увлекательном путешествии. Посмотрите полную версию доклада здесь!
Присоединяйтесь к нам, и мы продолжим изучать последние тенденции и инновации в области машинного обучения и искусственного интеллекта. Вместе мы формируем будущее технологий и способствуем позитивным изменениям в мире.
