Показываем на практике: развёртывание Ultralytics YOLOv8 на встраиваемых устройствах

Показываем на практике: развертывание Ultralytics YOLOv8 на встроенных устройствах#

На мероприятии YOLO Vision 2023 (YV23) Лакшанте Диссанаяке подробно рассказал о развертывании моделей Ultralytics YOLOv8 на встраиваемых устройствах, в частности на платформах NVIDIA Jetson и MCU. Вот основные моменты его доклада, представленного в кампусе Google for Startups в Мадриде.

Знакомься: Лакшанта Диссанаяке#

Лакшанте Диссанаяке, инженер по приложениям в Seeed Studio, занимается инициативами компании в области AIoT. В своем докладе он подчеркнул стремление Seeed Studio развивать партнерство с разработчиками, независимыми поставщиками программного обеспечения и системными интеграторами, уделяя особое внимание доступности технологий.

Эволюция периферийных вычислений#

Переход к периферийным вычислениям меняет подход к вычислениям в сторону децентрализованной обработки данных. Запуск рабочих нагрузок на периферийных устройствах обеспечивает обработку в реальном времени, снижает задержку и повышает отзывчивость систем в самых разных отраслях.

В ходе презентации Лакшанте обсудил сложности и развитие периферийных устройств, а также их роль в повышении доступности технологий. Он рассмотрел особенности оптимизации производительности на периферии, в частности для приложений видеоаналитики.

Как преодолеть сложности развертывания#

На рынок выходит множество новых GPU-устройств, но цены на них довольно высоки. В то же время встраиваемые устройства, например серия Jetson, предлагают широкий набор возможностей для развертывания, упрощая конечным пользователям проведение необходимой аналитики. Если хочешь узнать, как начать работу с устройствами Jetson от Seeed Studio, прочитай нашу статью о том, как добавить возможности любой камере с помощью Ultralytics YOLOv8 и периферийных устройств Seeed Studio.

Лакшанте поделился практическими решениями проблем развертывания Ultralytics YOLOv8 на периферийных устройствах. В докладе он последовательно разобрал каждый этап — от установки операционной системы (OS) до настройки среды, — сделав процесс развертывания доступнее для разработчиков.

TensorRT и DeepStream#

TensorRT — высокопроизводительный движок инференса для встраиваемых устройств NVIDIA. Он может квантовать и оптимизировать модель Ultralytics YOLOv8, повышая ее производительность на периферийных устройствах.

Лакшанте также показал, как TensorRT повышает производительность инференса, а DeepStream увеличивает эффективность приложений с несколькими потоками. Практические демонстрации показали, как эти инструменты помогают моделям YOLO эффективно работать на встраиваемых устройствах.

Представляем платформу MCU#

Ещё одним ярким моментом стала демонстрация Лакшанты в реальном времени: он развернул модели YOLO на платформе MCU с помощью SenseCraft Model Assistant. Демонстрация показала аудитории, куда движется периферийный ИИ.

Подводя итоги#

Сегодня основное внимание уделяется встраиваемым устройствам: клиенты ищут экономичные решения, требующие минимального обслуживания. Встраиваемые устройства Seeed Studio поддерживают предварительную загрузку, упрощая работу разработчиков и конечных пользователей.

В целом на сессии рассмотрели технические детали развертывания на периферии и подчеркнули дух сотрудничества в сообществе ИИ сообществе.

Посмотри полное выступление о развертывании Ultralytics YOLOv8 на встраиваемых устройствах.