Развертывание Ultralytics YOLO11 на Rockchip для эффективного Edge AI

Недавнее модное слово в ИИ-сообществе — это периферийный ИИ (edge AI), особенно когда речь заходит о компьютерном зрении. С ростом числа приложений на базе ИИ возникает острая необходимость эффективно запускать модели на встраиваемых устройствах с ограниченными питанием и вычислительными ресурсами.

Например, дроны используют ИИ-зрение для навигации в реальном времени, умные камеры мгновенно распознают объекты, а системы промышленной автоматизации выполняют контроль качества без обращения к облачным вычислениям. Эти задачи требуют быстрого и эффективного ИИ-процессинга непосредственно на периферийных устройствах для обеспечения производительности в реальном времени и низкой задержки. Однако запуск ИИ-моделей на таких устройствах не всегда прост. Часто ИИ-модели требуют больше мощности и памяти, чем могут предоставить многие периферийные устройства.

RKNN Toolkit от Rockchip помогает решить эту проблему путем оптимизации моделей глубокого обучения для устройств на базе Rockchip. Он использует специализированные нейронные процессоры (NPU) для ускорения инференса, что снижает задержку и энергопотребление по сравнению с использованием CPU или GPU.

Сообщество Vision AI с нетерпением ждало возможности запустить Ultralytics YOLO11 на устройствах на базе Rockchip, и мы тебя услышали. Мы добавили поддержку экспорта YOLO11 в формат модели RKNN. В этой статье мы рассмотрим, как работает экспорт в RKNN и почему развертывание YOLO11 на устройствах с процессорами Rockchip меняет правила игры.

Что такое Rockchip и RKNN Toolkit?#

Rockchip — это компания, которая разрабатывает однокристальные системы (SoC) — крошечные, но мощные процессоры, на базе которых работает множество встраиваемых устройств. Эти чипы объединяют в себе CPU, GPU и нейронный процессор (NPU) для обработки всего — от общих вычислительных задач до приложений компьютерного зрения, использующих обнаружение объектов и обработку изображений.

SoC от Rockchip используются в самых разных устройствах, включая одноплатные компьютеры (SBC), отладочные платы, промышленные ИИ-системы и умные камеры. Множество известных производителей аппаратного обеспечения, таких как Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas и Banana Pi, создают устройства на базе SoC Rockchip. Эти платы пользуются популярностью для периферийного ИИ и приложений компьютерного зрения, поскольку они предлагают оптимальный баланс производительности, энергоэффективности и доступности.

Рис. 1. Пример устройства на базе Rockchip.

Чтобы помочь ИИ-моделям работать эффективно на этих устройствах, Rockchip предоставляет RKNN (Rockchip Neural Network) Toolkit. Он позволяет разработчикам конвертировать и оптимизировать модели глубокого обучения для использования нейронных процессоров (NPU) от Rockchip.

Модели RKNN оптимизированы для инференса с низкой задержкой и эффективного энергопотребления. Преобразуя модели в RKNN, разработчики могут добиться более высокой скорости обработки, снижения энергопотребления и повышения общей эффективности на устройствах Rockchip.

Модели RKNN оптимизированы#

Давай подробнее рассмотрим, как модели RKNN улучшают производительность ИИ на устройствах Rockchip.

В отличие от CPU и GPU, которые справляются с широким спектром вычислительных задач, NPU от Rockchip разработаны специально для глубокого обучения. Преобразуя ИИ-модели в формат RKNN, ты можешь выполнять инференс напрямую на NPU. Это делает модели RKNN особенно полезными для задач компьютерного зрения в реальном времени, где критически важна быстрая и эффективная обработка.

NPU работают быстрее и эффективнее CPU и GPU при решении задач ИИ, поскольку они созданы для параллельных вычислений в нейронных сетях. Пока CPU обрабатывают задачи пошагово, а GPU распределяют нагрузку по множеству ядер, NPU оптимизированы для более эффективного выполнения специфических вычислений ИИ.

В результате модели RKNN работают быстрее и потребляют меньше энергии, что делает их идеальными для устройств на батарейном питании, умных камер, промышленной автоматизации и других периферийных ИИ-приложений, требующих принятия решений в реальном времени.

Обзор моделей Ultralytics YOLO#

Модели Ultralytics YOLO (You Only Look Once) предназначены для задач компьютерного зрения в реальном времени, таких как обнаружение объектов, сегментация экземпляров и классификация изображений. Они известны своей скоростью, точностью и эффективностью и широко используются в таких отраслях, как сельское хозяйство, производство, здравоохранение и автономные системы.

Эти модели со временем существенно улучшились. Например, Ultralytics YOLOv5 упростила использование обнаружения объектов с помощью PyTorch. Затем Ultralytics YOLOv8 добавила новые функции, такие как оценка позы (pose estimation) и классификация изображений. Теперь YOLO11 идет дальше, повышая точность при меньшем потреблении ресурсов. Фактически, YOLO11m показывает лучшие результаты на датасете COCO, используя на 22% меньше параметров, чем YOLOv8m, что делает ее одновременно более точной и более эффективной.

Рис. 2. Обнаружение объектов с помощью Ultralytics YOLO11.

Модели Ultralytics YOLO также поддерживают экспорт в различные форматы, обеспечивая гибкое развертывание на разных платформах. К таким форматам относятся ONNX, TensorRT, CoreML и OpenVINO, что дает тебе свободу оптимизировать производительность под целевое железо.

Благодаря добавлению поддержки экспорта YOLO11 в формат RKNN, теперь YOLO11 может использовать нейронные процессоры Rockchip. Самая маленькая модель, YOLO11n в формате RKNN, достигает впечатляющего времени инференса — 99,5 мс на изображение, что позволяет выполнять обработку в реальном времени даже на встроенных устройствах.

Экспорт твоей модели Ultralytics YOLO11 в формат RKNN#

В настоящее время модели обнаружения объектов Ultralytics YOLO11 можно экспортировать в формат RKNN. Следи за обновлениями: мы работаем над добавлением поддержки других задач компьютерного зрения и квантования INT8 в будущих обновлениях.

Экспорт модели Ultralytics YOLO11 в формат RKNN — это простой процесс. Ты можешь загрузить свою обученную на пользовательских данных модель YOLO11, указать целевую платформу Rockchip и конвертировать её в формат RKNN с помощью всего нескольких строк кода. Формат RKNN совместим с различными SoC от Rockchip, включая RK3588, RK3566 и RK3576, что обеспечивает широкую аппаратную поддержку.

Рис. 3. Экспорт Ultralytics YOLO11 в формат модели RKNN.

Развертывание Ultralytics YOLO11 на устройствах на базе Rockchip#

После экспорта модель RKNN можно развернуть на устройствах Rockchip. Чтобы развернуть модель, просто загрузи экспортированный файл RKNN на свое устройство и запусти инференс — процесс использования обученной ИИ-модели для анализа новых изображений или видео и обнаружения объектов в реальном времени. Всего несколькими строками кода ты можешь начать распознавать объекты на изображениях или в видеопотоках.

Рис. 4. Запуск инференса с использованием экспортированной модели RKNN.

Периферийные приложения искусственного интеллекта на базе Ultralytics YOLO11 и Rockchip#

Чтобы лучше представлять, где именно Ultralytics YOLO11 может применяться на устройствах с поддержкой Rockchip в реальных условиях, давай рассмотрим ключевые сценарии использования Edge AI.

Процессоры Rockchip широко используются в планшетах на базе Android, платах для разработки и промышленных ИИ-системах. Благодаря поддержке Android, Linux и Python ты можешь легко создавать и развертывать решения на базе ИИ-зрения для самых разных отраслей.

Защищенные планшеты со встроенной Ultralytics YOLO11#

Обычным сценарием применения Ultralytics YOLO11 на устройствах с процессорами Rockchip являются защищенные планшеты. Это прочные высокопроизводительные планшеты, разработанные для работы в сложных условиях, таких как склады, строительные площадки и промышленные объекты. Такие планшеты могут задействовать обнаружение объектов для повышения эффективности и безопасности.

Например, в складской логистике работники могут использовать планшет на базе Rockchip с YOLO11 для автоматического сканирования и обнаружения инвентаря, сокращая количество человеческих ошибок и ускоряя обработку. Аналогичным образом на строительных площадках такие планшеты можно использовать для проверки того, носят ли рабочие необходимые средства защиты, такие как каски и жилеты, помогая компаниям соблюдать правила и предотвращать несчастные случаи.

Fig 5. Обнаружение средств индивидуальной защиты с помощью Ultralytics YOLO11.

Промышленный ИИ для контроля качества#

Что касается производства и автоматизации, промышленные платы на базе Rockchip могут играть важную роль в контроле качества и мониторинге процессов. Промышленная плата — это компактный высокопроизводительный вычислительный модуль, предназначенный для встроенных систем в промышленной среде. Такие платы обычно включают процессоры, память, интерфейсы ввода-вывода и возможности подключения, которые позволяют интегрироваться с датчиками, камерами и автоматизированным оборудованием.

Запуск моделей Ultralytics YOLO11 на этих платах позволяет анализировать производственные линии в реальном времени, мгновенно выявляя проблемы и повышая эффективность. Например, в автомобилестроении система искусственного интеллекта на базе оборудования Rockchip и YOLO11 может обнаруживать царапины, смещенные детали или дефекты покраски по мере движения автомобилей по сборочной линии. Выявляя эти дефекты в реальном времени, производители могут сократить отходы, снизить производственные затраты и обеспечить более высокие стандарты качества до того, как автомобили попадут к клиентам.

Преимущества запуска Ultralytics YOLO11 на устройствах на базе Rockchip#

Устройства на базе Rockchip предлагают удачный баланс производительности, стоимости и эффективности, что делает их отличным выбором для развертывания Ultralytics YOLO11 в приложениях Edge AI.

Вот несколько преимуществ запуска Ultralytics YOLO11 на устройствах на базе Rockchip:

• Повышенная производительность ИИ: устройства с поддержкой Rockchip обрабатывают инференс ИИ эффективнее, чем платы на базе CPU вроде Raspberry Pi, обеспечивая более быстрое обнаружение объектов и меньшую задержку.
• Экономичное решение: Если ты экспериментируешь с искусственным интеллектом и тебе нужен недорогой вариант, обеспечивающий высокую производительность, Rockchip — отличный выбор. Он предоставляет доступный способ запуска Ultralytics YOLO11 без ущерба для скорости или эффективности.
• Энергоэффективность: Запуск моделей компьютерного зрения на устройствах Rockchip потребляет меньше энергии, чем при работе на GPU, что делает их идеальными для устройств на батарейках и встроенных ИИ-приложений.

Основные выводы#

Ultralytics YOLO11 может эффективно работать на устройствах на базе Rockchip за счет использования аппаратного ускорения и формата RKNN. Это сокращает время инференса и повышает производительность, что делает его идеальным для задач компьютерного зрения в реальном времени и периферийных ИИ-приложений.

Набор инструментов RKNN Toolkit предоставляет ключевые инструменты оптимизации, такие как квантование и дообучение, обеспечивая отличную работу моделей Ultralytics YOLO11 на платформах Rockchip. Оптимизация моделей для эффективной обработки данных прямо на устройстве будет иметь решающее значение по мере роста популярности Edge AI. Имея правильные инструменты и аппаратное обеспечение, ты сможешь открыть новые возможности для решений в области компьютерного зрения в различных отраслях.

Присоединяйся к нашему сообществу и изучай репозиторий на GitHub, чтобы узнать больше об ИИ. Узнай, как компьютерное зрение в сельском хозяйстве и ИИ в здравоохранении стимулируют инновации, посетив наши страницы решений. Кроме того, ознакомься с нашими вариантами лицензирования, чтобы начать создание своих решений для компьютерного зрения уже сегодня!