Эффективное развёртывание Ultralytics YOLO11 на Rockchip для периферийного ИИ

В последнее время в сообществе ИИ часто говорят об ИИ на периферии, особенно когда речь идет о компьютерном зрении. По мере роста числа приложений на базе ИИ становится все важнее эффективно запускать модели на встраиваемых устройствах с ограниченными вычислительными ресурсами и энергопотреблением.

Например, дроны используют Vision AI для навигации в реальном времени, умные камеры мгновенно обнаруживают объекты, а системы промышленной автоматизации выполняют контроль качества без обращения к облачным вычислениям. Для таких приложений необходима быстрая и эффективная обработка данных ИИ непосредственно на периферийных устройствах, чтобы обеспечить работу в реальном времени и низкую задержку. Однако запускать модели ИИ на периферийных устройствах не всегда просто. Моделям ИИ часто требуется больше мощности и памяти, чем могут предоставить многие периферийные устройства.

Rockchip RKNN Toolkit помогает решить эту проблему, оптимизируя модели глубокого обучения для устройств на базе Rockchip. Для ускорения инференса он использует специализированные нейронные процессоры (NPU), снижая задержку и энергопотребление по сравнению с обработкой на CPU или GPU.

Сообщество Vision AI давно хотело запускать Ultralytics YOLO11 на устройствах на базе Rockchip, и мы вас услышали. Мы добавили поддержку экспорта YOLO11 в формат модели RKNN. В этой статье мы разберем, как работает экспорт в RKNN и почему развертывание YOLO11 на устройствах Rockchip так полезно для Edge AI.

Что такое Rockchip и RKNN Toolkit?#

Rockchip — компания, которая разрабатывает системы на кристалле (SoCs): компактные, но мощные процессоры для самых разных встраиваемых устройств. Эти чипы объединяют CPU, GPU и нейронный процессор (NPU), чтобы выполнять задачи от общих вычислений до приложений Vision AI, использующих обнаружение объектов и обработку изображений.

Системы на кристалле Rockchip используются в самых разных устройствах, включая одноплатные компьютеры (SBCs), платы для разработки, промышленные системы ИИ и умные камеры. Многие известные производители оборудования — Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas и Banana Pi — выпускают устройства на базе SoCs Rockchip. Эти платы популярны для приложений ИИ на периферии и компьютерного зрения благодаря сочетанию производительности, энергоэффективности и доступной цены.

Рис. 1. Пример устройства на базе Rockchip.

Чтобы модели ИИ эффективно работали на этих устройствах, Rockchip предоставляет RKNN (Rockchip Neural Network) Toolkit. С его помощью разработчики могут преобразовывать и оптимизировать модели глубокого обучения для работы на нейронных процессорах (NPUs) Rockchip.

Модели RKNN оптимизированы для инференса с низкой задержкой и эффективного энергопотребления. Преобразовав модели в RKNN, разработчики могут добиться более высокой скорости обработки, снизить энергопотребление и повысить эффективность устройств на базе Rockchip.

Модели RKNN оптимизированы#

Давай подробнее рассмотрим, как модели RKNN повышают производительность ИИ на устройствах с поддержкой Rockchip.

В отличие от CPU и GPU, которые выполняют самые разные вычислительные задачи, нейронные процессоры (NPUs) Rockchip специально разработаны для глубокого обучения. Преобразовав модели ИИ в формат RKNN, разработчики могут запускать инференс непосредственно на NPU. Благодаря этому модели RKNN особенно полезны для задач компьютерного зрения в реальном времени, например для задач компьютерного зрения, где важна быстрая и эффективная обработка.

NPU быстрее и эффективнее CPU и GPU справляются с задачами ИИ, поскольку специально разработаны для параллельных вычислений в нейронных сетях. CPU обрабатывают задачи последовательно, GPU распределяют нагрузку между множеством ядер, а NPU оптимизированы для более эффективного выполнения вычислений, характерных для ИИ.

В результате модели RKNN работают быстрее и потребляют меньше энергии, поэтому они отлично подходят для устройств с батарейным питанием, умных камер, промышленной автоматизации и других периферийных приложений ИИ, которым необходимо принимать решения в реальном времени.

Обзор моделей Ultralytics YOLO#

Модели Ultralytics YOLO (You Only Look Once) разработаны для задач компьютерного зрения в реальном времени, таких как обнаружение объектов, сегментация экземпляров и классификация изображений. Они известны своей скоростью, точностью и эффективностью и широко применяются в сельском хозяйстве, производстве, здравоохранении и автономных системах.

Со временем эти модели значительно улучшились. Например, Ultralytics YOLOv5 упростила работу с детекцией объектов благодаря PyTorch. Затем Ultralytics YOLOv8 добавила новые задачи, например оценку позы, и объединила детекцию, сегментацию, классификацию и оценку позы в одном фреймворке. Теперь YOLO11 идет еще дальше: повышает точность, используя меньше ресурсов. Так, YOLO11m показывает лучшие результаты на наборе данных COCO, используя на 22% меньше параметров, чем YOLOv8m, поэтому она точнее и эффективнее.

Рис. 2. Обнаружение объектов с помощью Ultralytics YOLO11.

Модели Ultralytics YOLO также поддерживают экспорт в различные форматы, обеспечивая гибкое развертывание на разных платформах. Среди этих форматов — ONNX, TensorRT, CoreML и OpenVINO, что позволяет разработчикам оптимизировать производительность с учетом целевого оборудования.

Благодаря добавленной поддержке экспорта YOLO11 в формат модели RKNN теперь может использовать NPU Rockchip. Самая маленькая модель, YOLO11n в формате RKNN, выполняет инференс одного изображения за 99,5 мс, что позволяет обрабатывать данные в реальном времени даже на встраиваемых устройствах.

Экспорт модели Ultralytics YOLO11 в формат RKNN#

На момент написания этой статьи модели Ultralytics YOLO11 для детекции объектов можно было экспортировать в формат RKNN. С тех пор экспорт в RKNN стал доступен для всех задач Ultralytics и INT8-квантования (quantize=8), как описано в руководстве по интеграции RKNN выше.

Экспорт Ultralytics YOLO11 в формат RKNN — простой процесс. Загрузи свою модель, обученную на собственных данных, укажи целевую платформу Rockchip и преобразуй модель в формат RKNN с помощью нескольких строк кода. Формат RKNN совместим с различными SoCs Rockchip, включая RK3588, RK3566 и RK3576, что обеспечивает широкую аппаратную поддержку.

Рис. 3. Экспорт Ultralytics YOLO11 в формат моделей RKNN.

Развертывание Ultralytics YOLO11 на устройствах на базе Rockchip#

После экспорта модель RKNN можно развернуть на устройствах на базе Rockchip. Для этого достаточно загрузить экспортированный файл RKNN на устройство Rockchip и запустить инференс — процесс использования обученной модели ИИ для анализа новых изображений или видео и обнаружения объектов в реальном времени. Всего несколько строк кода — и можно начать распознавать объекты на изображениях или в видеопотоках.

Рис. 4. Запуск инференса с помощью экспортированной модели RKNN.

Периферийные приложения ИИ на базе Ultralytics YOLO11 и Rockchip#

Чтобы понять, где можно применять Ultralytics YOLO11 на устройствах с поддержкой Rockchip, рассмотрим несколько ключевых периферийных приложений ИИ из реальной практики.

Процессоры Rockchip широко используются в планшетах на базе Android, платах для разработки и промышленных системах ИИ. Благодаря поддержке Android, Linux и Python ты можешь легко создавать и развертывать решения на базе Vision AI для самых разных отраслей.

Защищенные планшеты с Ultralytics YOLO11#

Защищенные планшеты — один из распространенных вариантов применения Ultralytics YOLO11 на устройствах Rockchip. Эти прочные высокопроизводительные планшеты рассчитаны на эксплуатацию в сложных условиях, например на складах, строительных площадках и промышленных объектах. С помощью обнаружения объектов такие планшеты помогают повысить эффективность и безопасность.

Например, в сфере складской логистики сотрудники могут использовать планшет на базе Rockchip с YOLO11 для автоматического сканирования и обнаружения товаров на складе, сокращая число ошибок и ускоряя обработку. На строительных площадках такие планшеты помогают проверять, используют ли рабочие необходимые средства защиты — например, каски и жилеты. Это позволяет компаниям соблюдать нормативы и предотвращать несчастные случаи.

Рис. 5. Обнаружение средств защиты с помощью Ultralytics YOLO11.

Промышленный ИИ для контроля качества#

В производстве и автоматизации промышленные платы на базе Rockchip могут играть важную роль в контроле качества и мониторинге процессов. Промышленная плата — это компактный высокопроизводительный вычислительный модуль, предназначенный для встраиваемых систем в промышленных условиях. Такие платы обычно включают процессоры, память, интерфейсы ввода-вывода и средства подключения, которые можно интегрировать с датчиками, камерами и автоматизированным оборудованием.

Запуск моделей Ultralytics YOLO11 на этих платах позволяет анализировать производственные линии в реальном времени, мгновенно обнаруживать проблемы и повышать эффективность. Например, при производстве автомобилей система ИИ на базе оборудования Rockchip и YOLO11 может обнаруживать царапины, смещенные детали и дефекты окраски, пока машины движутся по конвейеру. Выявляя такие дефекты в реальном времени, производители сокращают количество отходов и производственные затраты, а также обеспечивают более высокое качество автомобилей до их передачи покупателям.

Преимущества запуска Ultralytics YOLO11 на устройствах на базе Rockchip#

Устройства на базе Rockchip обеспечивают удачный баланс производительности, стоимости и эффективности, поэтому отлично подходят для развертывания Ultralytics YOLO11 в периферийных приложениях ИИ.

Вот несколько преимуществ запуска Ultralytics YOLO11 на устройствах на базе Rockchip:

• Повышенная производительность ИИ: устройства с поддержкой Rockchip эффективнее выполняют инференс ИИ, чем платы на базе CPU, например Raspberry Pi, обеспечивая более быстрое обнаружение объектов и меньшую задержку.
• Экономичное решение: если ты экспериментируешь с ИИ и ищешь доступный вариант, который при этом обеспечивает высокую производительность, Rockchip — отличный выбор. Он позволяет запускать Ultralytics YOLO11 по доступной цене без ущерба для скорости и эффективности.
• Энергоэффективность: запуск моделей компьютерного зрения на устройствах Rockchip потребляет меньше энергии, чем на GPU, поэтому это отличный вариант для устройств с батарейным питанием и встраиваемых приложений ИИ.

Главные выводы#

Ultralytics YOLO11 эффективно работает на устройствах на базе Rockchip благодаря аппаратному ускорению и формату RKNN. Это сокращает время инференса и повышает производительность, поэтому модель отлично подходит для задач компьютерного зрения в реальном времени и периферийных приложений ИИ.

RKNN Toolkit предоставляет ключевые инструменты оптимизации, например квантование, которые помогают моделям Ultralytics YOLO11 эффективно работать на платформах Rockchip. По мере распространения периферийного ИИ оптимизация моделей для эффективной обработки непосредственно на устройстве будет приобретать все большее значение. Правильно подобранные инструменты и оборудование помогут разработчикам раскрыть новые возможности решений компьютерного зрения в разных отраслях.

Присоединяйся к нашему сообществу и загляни в наш репозиторий GitHub, чтобы узнать больше об ИИ. Посети страницы наших решений и узнай, как компьютерное зрение в сельском хозяйстве и ИИ в здравоохранении помогают внедрять инновации. Также ознакомься с вариантами лицензирования, чтобы уже сегодня начать создавать свои решения на базе Vision AI!