Развертывание Ultralytics YOLO11 на Rockchip для эффективного Edge AI

Один из популярных терминов в ИИ-сообществе сейчас — это периферийный ИИ (edge AI), особенно в контексте компьютерного зрения. По мере роста числа ИИ-приложений возрастает потребность в эффективном запуске моделей на встроенных устройствах с ограниченным питанием и вычислительными ресурсами.

Например, дроны используют ИИ-зрение для навигации в реальном времени, умные камеры мгновенно распознают объекты, а системы промышленной автоматизации выполняют контроль качества без обращения к облачным вычислениям. Эти задачи требуют быстрого и эффективного ИИ-процессинга непосредственно на периферийных устройствах для обеспечения производительности в реальном времени и низкой задержки. Однако запуск ИИ-моделей на таких устройствах не всегда прост. Часто ИИ-модели требуют больше мощности и памяти, чем могут предоставить многие периферийные устройства.

RKNN Toolkit от Rockchip помогает решить эту проблему путем оптимизации моделей глубокого обучения для устройств на базе Rockchip. Он использует специализированные нейронные процессоры (NPU) для ускорения инференса, что снижает задержку и энергопотребление по сравнению с использованием CPU или GPU.

Сообщество Vision AI давно хотело запускать Ultralytics YOLO11 на устройствах на базе Rockchip, и мы вас услышали. Мы добавили поддержку экспорта YOLO11 в формат RKNN. В этой статье мы разберем, как работает экспорт в RKNN и почему развертывание YOLO11 на устройствах с процессорами Rockchip меняет правила игры.

Link to this sectionЧто такое Rockchip и RKNN Toolkit?#

Rockchip — это компания, которая разрабатывает системы на кристалле (SoC) — миниатюрные, но мощные процессоры, управляющие множеством встроенных устройств. Эти чипы объединяют CPU, GPU и нейронный процессор (NPU) для выполнения любых задач: от общих вычислений до ИИ-приложений для компьютерного зрения, основанных на обнаружении объектов и обработке изображений.

SoC Rockchip используются в самых разных устройствах, включая одноплатные компьютеры (SBC), платы для разработки, промышленные ИИ-системы и умные камеры. Многие известные производители оборудования — Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas и Banana Pi — создают устройства на базе SoC Rockchip. Эти платы популярны для периферийного ИИ и задач компьютерного зрения, поскольку они предлагают баланс производительности, энергоэффективности и доступности.

Рис. 1. Пример устройства на базе Rockchip.

Чтобы помочь ИИ-моделям работать эффективно на этих устройствах, Rockchip предоставляет RKNN (Rockchip Neural Network) Toolkit. Он позволяет разработчикам конвертировать и оптимизировать модели глубокого обучения для использования нейронных процессоров (NPU) от Rockchip.

Модели RKNN оптимизированы для инференса с низкой задержкой и эффективного энергопотребления. Преобразуя модели в RKNN, разработчики могут добиться более высокой скорости обработки, снижения энергопотребления и повышения общей эффективности на устройствах Rockchip.

Link to this sectionМодели RKNN оптимизированы#

Давай подробнее рассмотрим, как модели RKNN улучшают производительность ИИ на устройствах Rockchip.

В отличие от CPU и GPU, которые справляются с широким спектром вычислительных задач, NPU от Rockchip разработаны специально для глубокого обучения. Преобразуя ИИ-модели в формат RKNN, разработчики могут запускать инференс непосредственно на NPU. Это делает модели RKNN особенно полезными для задач компьютерного зрения в реальном времени, где важна быстрая и эффективная обработка.

NPU работают быстрее и эффективнее CPU и GPU при решении задач ИИ, поскольку они созданы для параллельных вычислений в нейронных сетях. Пока CPU обрабатывают задачи пошагово, а GPU распределяют нагрузку по множеству ядер, NPU оптимизированы для более эффективного выполнения специфических вычислений ИИ.

В результате модели RKNN работают быстрее и потребляют меньше энергии, что делает их идеальными для устройств на батарейном питании, умных камер, промышленной автоматизации и других периферийных ИИ-приложений, требующих принятия решений в реальном времени.

Link to this sectionОбзор моделей Ultralytics YOLO#

Модели Ultralytics YOLO (You Only Look Once) предназначены для задач компьютерного зрения в реальном времени, таких как обнаружение объектов, сегментация экземпляров и классификация изображений. Они славятся своей скоростью, точностью и эффективностью и широко используются в таких отраслях, как сельское хозяйство, производство, здравоохранение и автономные системы.

Эти модели значительно улучшились с течением времени. Например, Ultralytics YOLOv5 упростил использование обнаружения объектов с помощью PyTorch. Затем Ultralytics YOLOv8 добавил новые функции, такие как оценка позы и классификация изображений. Теперь YOLO11 идет еще дальше, повышая точность при использовании меньшего количества ресурсов. Более того, YOLO11m показывает лучшие результаты на наборе данных COCO, используя на 22% меньше параметров, чем YOLOv8m, что делает его одновременно более точным и эффективным.

Рис. 2. Обнаружение объектов с помощью YOLO11.

Модели Ultralytics YOLO также поддерживают экспорт в несколько форматов, что обеспечивает гибкое развертывание на разных платформах. Среди этих форматов — ONNX, TensorRT, CoreML и OpenVINO, что дает разработчикам свободу оптимизировать производительность под конкретное оборудование.

Благодаря добавлению поддержки экспорта YOLO11 в формат RKNN, теперь YOLO11 может использовать нейронные процессоры Rockchip. Самая маленькая модель, YOLO11n в формате RKNN, достигает впечатляющего времени инференса — 99,5 мс на изображение, что позволяет выполнять обработку в реальном времени даже на встроенных устройствах.

Link to this sectionЭкспорт твоей модели YOLO11 в формат RKNN#

В настоящее время модели обнаружения объектов YOLO11 можно экспортировать в формат RKNN. Следи за обновлениями — мы работаем над добавлением поддержки других задач компьютерного зрения и квантования INT8 в будущих версиях.

Экспорт YOLO11 в формат RKNN — простой процесс. Ты можешь загрузить свою обученную на пользовательских данных модель YOLO11, указать целевую платформу Rockchip и конвертировать её в формат RKNN всего несколькими строками кода. Формат RKNN совместим с различными SoC Rockchip, включая RK3588, RK3566 и RK3576, что обеспечивает широкую аппаратную поддержку.

Рис. 3. Экспорт YOLO11 в формат модели RKNN.

Link to this sectionРазвертывание YOLO11 на устройствах на базе Rockchip#

После экспорта модель RKNN можно развернуть на устройствах Rockchip. Чтобы развернуть модель, просто загрузи экспортированный файл RKNN на свое устройство и запусти инференс — процесс использования обученной ИИ-модели для анализа новых изображений или видео и обнаружения объектов в реальном времени. Всего несколькими строками кода ты можешь начать распознавать объекты на изображениях или в видеопотоках.

Рис. 4. Запуск инференса с использованием экспортированной модели RKNN.

Link to this sectionПериферийные ИИ-приложения для YOLO11 и Rockchip#

Чтобы лучше понять, где YOLO11 можно развернуть на устройствах Rockchip в реальных условиях, давай рассмотрим некоторые ключевые сценарии использования периферийного ИИ.

Процессоры Rockchip широко используются в планшетах на базе Android, платах для разработки и промышленных ИИ-системах. Благодаря поддержке Android, Linux и Python ты можешь легко создавать и развертывать решения на базе ИИ-зрения для самых разных отраслей.

Link to this sectionЗащищенные планшеты, интегрированные с YOLO11#

Частое применение YOLO11 на устройствах Rockchip — это защищенные планшеты. Это прочные и высокопроизводительные планшеты, разработанные для суровых условий, таких как склады, строительные площадки и промышленные объекты. Эти планшеты могут использовать обнаружение объектов для повышения эффективности и безопасности.

Например, в складской логистике работники могут использовать планшет на базе Rockchip с YOLO11 для автоматического сканирования и учета инвентаря, сокращая количество ошибок и ускоряя обработку. Аналогично, на стройплощадках такие планшеты могут использоваться для проверки наличия на рабочих обязательных средств индивидуальной защиты, таких как каски и жилеты, помогая компаниям соблюдать правила и предотвращать несчастные случаи.

Рис. 5. Обнаружение средств защиты с помощью YOLO11.

Link to this sectionПромышленный ИИ для контроля качества#

Что касается производства и автоматизации, промышленные платы на базе Rockchip могут играть важную роль в контроле качества и мониторинге процессов. Промышленная плата — это компактный высокопроизводительный вычислительный модуль, предназначенный для встроенных систем в промышленной среде. Такие платы обычно включают процессоры, память, интерфейсы ввода-вывода и возможности подключения, которые позволяют интегрироваться с датчиками, камерами и автоматизированным оборудованием.

Запуск моделей YOLO11 на таких платах позволяет анализировать производственные линии в реальном времени, мгновенно выявляя проблемы и повышая эффективность. Например, в автомобилестроении ИИ-система на оборудовании Rockchip и YOLO11 может обнаруживать царапины, смещенные детали или дефекты покраски по мере движения автомобилей по сборочной линии. Выявляя эти дефекты в реальном времени, производители могут сократить количество брака, снизить производственные затраты и обеспечить более высокие стандарты качества до того, как автомобили попадут к клиентам.

Link to this sectionПреимущества запуска YOLO11 на устройствах на базе Rockchip#

Устройства на базе Rockchip предлагают хороший баланс производительности, стоимости и эффективности, что делает их отличным выбором для развертывания YOLO11 в приложениях периферийного ИИ.

Вот несколько преимуществ запуска YOLO11 на устройствах Rockchip:

• Повышенная производительность ИИ: устройства на базе Rockchip обрабатывают ИИ-инференс эффективнее, чем платы на базе CPU, такие как Raspberry Pi, обеспечивая более быстрое обнаружение объектов и меньшую задержку.
• Экономически эффективное решение: Если ты экспериментируешь с ИИ и ищешь бюджетный вариант, который при этом обеспечивает высокую производительность, Rockchip — отличный выбор. Он предоставляет доступный способ запуска YOLO11 без ущерба для скорости и эффективности.
• Энергоэффективность: Запуск моделей компьютерного зрения на устройствах Rockchip потребляет меньше энергии, чем при работе на GPU, что делает их идеальными для устройств на батарейках и встроенных ИИ-приложений.

Link to this sectionОсновные выводы#

Ultralytics YOLO11 может эффективно работать на устройствах на базе Rockchip за счет использования аппаратного ускорения и формата RKNN. Это сокращает время инференса и повышает производительность, что делает его идеальным для задач компьютерного зрения в реальном времени и периферийных ИИ-приложений.

RKNN Toolkit предоставляет ключевые инструменты оптимизации, такие как квантование и дообучение, гарантируя, что модели YOLO11 будут эффективно работать на платформах Rockchip. Оптимизация моделей для эффективной обработки непосредственно на устройстве станет крайне важной по мере роста популярности периферийного ИИ. Имея правильные инструменты и оборудование, разработчики могут открыть новые возможности для решений в области компьютерного зрения в самых разных отраслях.

Присоединяйся к нашему сообществу и изучи наш репозиторий GitHub, чтобы узнать больше об ИИ. Посмотри, как компьютерное зрение в сельском хозяйстве и ИИ в здравоохранении стимулируют инновации, посетив страницы наших решений. Кроме того, ознакомься с нашими вариантами лицензирования, чтобы начать создавать свои решения на базе ИИ-зрения уже сегодня!