Развертывание Ultralytics YOLO11 на Rockchip для эффективного Edge AI

Недавно в сообществе ИИ часто стали говорить о периферийном ИИ, особенно в контексте компьютерного зрения. По мере роста числа приложений на основе ИИ всё острее становится потребность эффективно запускать модели на встраиваемых устройствах с ограниченными ресурсами питания и вычислений.

Например, дроны используют ИИ для компьютерного зрения и навигации в реальном времени, умные камеры мгновенно обнаруживают объекты, а системы промышленной автоматизации выполняют контроль качества без использования облачных вычислений. Для таких приложений требуется быстрая и эффективная обработка ИИ непосредственно на периферийных устройствах, чтобы обеспечить работу в реальном времени и низкую задержку. Однако запуск моделей ИИ на периферийных устройствах не всегда прост. Моделям ИИ часто требуется больше энергии и памяти, чем могут предоставить многие периферийные устройства.

RKNN Toolkit от Rockchip помогает решить эту проблему, оптимизируя модели глубокого обучения для устройств на базе Rockchip. Он использует специализированные нейронные процессоры (NPUs) для ускорения инференса, снижая задержку и энергопотребление по сравнению с обработкой на CPU или GPU.

Сообщество Vision AI давно хотело запускать Ultralytics YOLO11 на устройствах на базе Rockchip — и мы тебя услышали. Мы добавили поддержку экспорта YOLO11 в формат модели RKNN. В этой статье мы рассмотрим, как работает экспорт в RKNN и почему развёртывание YOLO11 на устройствах с Rockchip меняет правила игры.

Что такое Rockchip и RKNN Toolkit?#

Rockchip — компания, которая проектирует системы на кристалле (SoCs) — небольшие, но мощные процессоры, используемые во многих встраиваемых устройствах. Эти микросхемы объединяют CPU, GPU и нейронный процессор (NPU), чтобы выполнять самые разные задачи — от общих вычислений до приложений Vision AI, использующих обнаружение объектов и обработку изображений.

SoC Rockchip используются в самых разных устройствах, включая одноплатные компьютеры (SBCs), отладочные платы, промышленные системы ИИ и умные камеры. Многие известные производители оборудования — Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas и Banana Pi — выпускают устройства на базе SoC Rockchip. Эти платы популярны для задач периферийного ИИ и компьютерного зрения, поскольку обеспечивают баланс производительности, энергоэффективности и доступной цены.

Рис. 1. Пример устройства на базе Rockchip.

Чтобы модели ИИ эффективно работали на этих устройствах, Rockchip предоставляет RKNN Toolkit. Он позволяет разработчикам преобразовывать и оптимизировать модели глубокого обучения для использования нейронных процессоров (NPUs) Rockchip.

Модели RKNN оптимизированы для инференса с низкой задержкой и эффективного энергопотребления. Преобразование моделей в RKNN позволяет разработчикам добиться более высокой скорости обработки, сниженного энергопотребления и повышенной эффективности на устройствах с Rockchip.

Модели RKNN оптимизированы#

Давай подробнее рассмотрим, как модели RKNN повышают производительность ИИ на устройствах с поддержкой Rockchip.

В отличие от CPU и GPU, которые выполняют широкий спектр вычислительных задач, NPU Rockchip специально разработаны для глубокого обучения. Преобразуя модели ИИ в формат RKNN, разработчики могут запускать инференс непосредственно на NPU. Благодаря этому модели RKNN особенно полезны для задач компьютерного зрения в реальном времени, где необходима быстрая и эффективная обработка.

NPU быстрее и эффективнее CPU и GPU справляются с задачами ИИ, поскольку созданы для параллельной обработки вычислений нейронных сетей. CPU обрабатывают задачи последовательно, а GPU распределяют нагрузку между несколькими ядрами, тогда как NPU оптимизированы для более эффективного выполнения специализированных вычислений ИИ.

В результате модели RKNN работают быстрее и потребляют меньше энергии, что делает их идеальными для устройств с питанием от батареи, умных камер, систем промышленной автоматизации и других приложений периферийного ИИ, требующих принятия решений в реальном времени.

Обзор моделей Ultralytics YOLO#

Модели Ultralytics YOLO (один проход — один взгляд) предназначены для задач компьютерного зрения в реальном времени, таких как обнаружение объектов, сегментация экземпляров и классификация изображений. Они известны своей скоростью, точностью и эффективностью и широко применяются в таких отраслях, как сельское хозяйство, производство, здравоохранение и автономные системы.

Со временем эти модели значительно улучшились. Например, Ultralytics YOLOv5 упростила использование обнаружения объектов с PyTorch. Затем Ultralytics YOLOv8 добавила новые возможности, такие как оценка позы и классификация изображений. Теперь YOLO11 развивает эти возможности, повышая точность при использовании меньшего количества ресурсов. В частности, YOLO11m показывает лучшие результаты на наборе данных COCO, используя на 22% меньше параметров, чем YOLOv8m, что делает её одновременно более точной и эффективной.

Рис. 2. Обнаружение объектов с помощью Ultralytics YOLO11.

Модели Ultralytics YOLO также поддерживают экспорт в несколько форматов, обеспечивая гибкое развёртывание на разных платформах. К ним относятся ONNX, TensorRT, CoreML и OpenVINO, что позволяет разработчикам оптимизировать производительность под целевое оборудование.

Благодаря добавленной поддержке экспорта YOLO11 в формат модели RKNN YOLO11 теперь может использовать NPU Rockchip. Самая компактная модель, YOLO11n в формате RKNN, демонстрирует впечатляющее время инференса — 99,5 мс на изображение, обеспечивая обработку в реальном времени даже на встраиваемых устройствах.

Экспорт модели Ultralytics YOLO11 в формат RKNN#

В настоящее время модели Ultralytics YOLO11 для обнаружения объектов можно экспортировать в формат RKNN. Следи за обновлениями: мы работаем над добавлением поддержки других задач компьютерного зрения и квантования INT8 в будущих версиях.

Экспорт Ultralytics YOLO11 в формат RKNN — простой процесс. Ты можешь загрузить свою модель YOLO11, обученную на собственных данных, указать целевую платформу Rockchip и преобразовать её в формат RKNN всего несколькими строками кода. Формат RKNN совместим с различными SoC Rockchip, включая RK3588, RK3566 и RK3576, что обеспечивает широкую поддержку оборудования.

Рис. 3. Экспорт Ultralytics YOLO11 в формат модели RKNN.

Развёртывание Ultralytics YOLO11 на устройствах на базе Rockchip#

После экспорта модель RKNN можно развернуть на устройствах на базе Rockchip. Для этого достаточно загрузить экспортированный файл RKNN на устройство Rockchip и запустить инференс — процесс использования обученной модели ИИ для анализа новых изображений или видео и обнаружения объектов в реальном времени. Всего несколькими строками кода ты сможешь начать обнаруживать объекты на изображениях или в видеопотоках.

Рис. 4. Запуск инференса с использованием экспортированной модели RKNN.

Применение периферийного ИИ с Ultralytics YOLO11 и Rockchip#

Чтобы лучше понять, где в реальных условиях можно развернуть Ultralytics YOLO11 на устройствах с поддержкой Rockchip, рассмотрим несколько ключевых применений периферийного ИИ.

Процессоры Rockchip широко используются в планшетах на базе Android, отладочных платах и промышленных системах ИИ. Благодаря поддержке Android, Linux и Python ты можешь легко создавать и развёртывать решения на основе Vision AI для самых разных отраслей.

Защищённые планшеты с интеграцией Ultralytics YOLO11#

Распространённый вариант применения Ultralytics YOLO11 на устройствах с Rockchip — защищённые планшеты. Это прочные высокопроизводительные планшеты, предназначенные для работы в сложных условиях, например на складах, строительных площадках и промышленных объектах. Такие планшеты могут использовать обнаружение объектов для повышения эффективности и безопасности.

Например, в сфере складской логистики работники могут использовать планшет на базе Rockchip с YOLO11 для автоматического сканирования и обнаружения товаров, сокращая количество ошибок и ускоряя обработку. Аналогично, на строительных площадках такие планшеты могут определять, используют ли работники необходимые средства индивидуальной защиты, например каски и жилеты, помогая компаниям соблюдать нормы и предотвращать несчастные случаи.

Рис. 5. Обнаружение средств индивидуальной защиты с помощью Ultralytics YOLO11.

Промышленный ИИ для контроля качества#

В производстве и автоматизации промышленные платы на базе Rockchip могут играть важную роль в контроле качества и мониторинге процессов. Промышленная плата — это компактный высокопроизводительный вычислительный модуль, предназначенный для встраиваемых систем в промышленных условиях. Такие платы обычно включают процессоры, память, интерфейсы ввода-вывода и средства подключения, которые могут интегрироваться с датчиками, камерами и автоматизированным оборудованием.

Запуск моделей Ultralytics YOLO11 на таких платах позволяет анализировать производственные линии в реальном времени, мгновенно выявлять проблемы и повышать эффективность. Например, в автомобильном производстве система ИИ на базе оборудования Rockchip и YOLO11 может обнаруживать царапины, неправильно установленные детали или дефекты окраски по мере движения автомобилей по конвейеру. Выявляя такие дефекты в реальном времени, производители могут сократить отходы, снизить производственные затраты и обеспечить более высокие стандарты качества до того, как автомобили попадут к клиентам.

Преимущества запуска Ultralytics YOLO11 на устройствах на базе Rockchip#

Устройства на базе Rockchip обеспечивают хороший баланс производительности, стоимости и эффективности, что делает их отличным выбором для развёртывания Ultralytics YOLO11 в приложениях периферийного ИИ.

Вот несколько преимуществ запуска Ultralytics YOLO11 на устройствах на базе Rockchip:

• Повышенная производительность ИИ: устройства с поддержкой Rockchip эффективнее выполняют инференс ИИ, чем платы на базе CPU, например Raspberry Pi, обеспечивая более быстрое обнаружение объектов и меньшую задержку.
• Экономичное решение: если ты экспериментируешь с ИИ и тебе нужен доступный вариант, который при этом обеспечивает высокую производительность, Rockchip — отличный выбор. Он позволяет недорого запускать Ultralytics YOLO11 без компромиссов в скорости и эффективности.
• Энергоэффективность: запуск моделей компьютерного зрения на устройствах с Rockchip потребляет меньше энергии, чем на GPU, что делает их идеальными для устройств с батарейным питанием и встраиваемых приложений ИИ.

Основные выводы#

Ultralytics YOLO11 может эффективно работать на устройствах на базе Rockchip благодаря аппаратному ускорению и формату RKNN. Это сокращает время инференса и повышает производительность, делая модель идеальной для задач компьютерного зрения в реальном времени и приложений периферийного ИИ.

RKNN Toolkit предоставляет такие важные инструменты оптимизации, как квантование и тонкая настройка, обеспечивая эффективную работу моделей Ultralytics YOLO11 на платформах Rockchip. По мере распространения периферийного ИИ оптимизация моделей для эффективной обработки непосредственно на устройстве будет становиться всё важнее. С правильными инструментами и оборудованием разработчики смогут открыть новые возможности для решений компьютерного зрения в различных отраслях.

Присоединяйся к нашему сообществу и изучай наш репозиторий на GitHub, чтобы узнать больше об ИИ. Посети страницы наших решений, чтобы увидеть, как компьютерное зрение в сельском хозяйстве и ИИ в здравоохранении способствуют инновациям. Также ознакомься с нашими вариантами лицензирования, чтобы начать создавать собственные решения Vision AI уже сегодня!