12 февраля 2025 г.
Узнайте, как развернуть Ultralytics YOLO11 на Rockchip с помощью RKNN Toolkit для эффективного Edge AI, ускорения ИИ и обнаружения объектов в реальном времени.
В последнее время в сообществе специалистов по искусственному интеллекту часто звучит словосочетание "краевой ИИ", особенно когда речь идет о компьютерном зрении. По мере развития приложений, основанных на ИИ, возрастает потребность в эффективной работе моделей на встраиваемых устройствах с ограниченной мощностью и вычислительными ресурсами.
Например, беспилотники используют ИИ Vision для навигации в реальном времени, умные камеры мгновенно обнаруживают объекты, а системы промышленной автоматизации осуществляют контроль качества, не прибегая к облачным вычислениям. Эти приложения требуют быстрой и эффективной обработки ИИ непосредственно на граничных устройствах, чтобы обеспечить производительность в реальном времени и низкую задержку. Однако запуск моделей ИИ на граничных устройствах не всегда прост. Модели ИИ часто требуют больше мощности и памяти, чем могут обеспечить многие пограничные устройства.
Инструментарий RKNN от Rockchip помогает решить эту проблему, оптимизируя модели глубокого обучения для устройств на базе Rockchip. Он использует специальные блоки нейронной обработки (NPU) для ускорения вычислений, уменьшая задержки и энергопотребление по сравнению с CPU или GPU.
Сообщество Vision AI с нетерпением ждало возможности запуска Ultralytics YOLO11 на устройствах на базе Rockchip, и мы услышали вас. Мы добавили поддержку экспорта YOLO11 в формат модели RKNN. В этой статье мы расскажем о том, как работает экспорт в RKNN и почему развертывание YOLO11 на устройствах на базе Rockchip станет переломным моментом.
Rockchip - компания, разрабатывающая системы-на-чипах (SoC) - миниатюрные, но мощные процессоры, на которых работают многие встраиваемые устройства. Эти чипы сочетают в себе CPU, GPU и блок нейронной обработки (NPU) для решения самых разных задач - от общих вычислений до приложений Vision AI, связанных с обнаружением объектов и обработкой изображений.
SoC от Rockchip используются в различных устройствах, включая одноплатные компьютеры (SBC), платы разработки, промышленные системы искусственного интеллекта и умные камеры. Многие известные производители оборудования, такие как Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas и Banana Pi, создают устройства на базе SoC от Rockchip. Эти платы популярны в приложениях искусственного интеллекта и компьютерного зрения, поскольку обеспечивают баланс производительности, энергоэффективности и доступности.
Чтобы помочь моделям ИИ эффективно работать на этих устройствах, Rockchip предлагает набор инструментов RKNN (Rockchip Neural Network) Toolkit. Он позволяет разработчикам конвертировать и оптимизировать модели глубокого обучения для использования нейропроцессоров Rockchip.
Модели RKNN оптимизированы для вычислений с низкой задержкой и эффективного энергопотребления. Преобразование моделей в RKNN позволяет разработчикам добиться более высокой скорости обработки, снижения энергопотребления и повышения эффективности работы устройств на базе Rockchip.
Давайте подробнее рассмотрим, как модели RKNN повышают производительность ИИ на устройствах с поддержкой Rockchip.
В отличие от CPU и GPU, которые выполняют широкий спектр вычислительных задач, NPU Rockchip разработаны специально для глубокого обучения. Преобразуя модели ИИ в формат RKNN, разработчики могут выполнять выводы непосредственно на NPU. Это делает модели RKNN особенно полезными для задач компьютерного зрения в реальном времени, где важна быстрая и эффективная обработка данных.
NPU быстрее и эффективнее CPU и GPU в задачах ИИ, поскольку они созданы для параллельной обработки вычислений нейронных сетей. В то время как CPU обрабатывают задачи по одному шагу за раз, а GPU распределяют рабочую нагрузку между несколькими ядрами, NPU оптимизированы для более эффективного выполнения специфических для ИИ вычислений.
В результате модели RKNN работают быстрее и потребляют меньше энергии, что делает их идеальными для устройств с питанием от батарей, интеллектуальных камер, промышленной автоматизации и других приложений ИИ, требующих принятия решений в реальном времени.
Модели Ultralytics YOLO (You Only Look Once) разработаны для задач компьютерного зрения в реальном времени, таких как обнаружение объектов, сегментация объектов и классификация изображений. Они известны своей скоростью, точностью и эффективностью и широко используются в таких отраслях, как сельское хозяйство, производство, здравоохранение и автономные системы.
Со временем эти модели значительно улучшились. Например, Ultralytics YOLOv5 упростила обнаружение объектов с помощью PyTorch. Затем Ultralytics YOLOv8 добавила новые функции, такие как оценка позы и классификация изображений. Теперь YOLO11 идет дальше, повышая точность и используя меньше ресурсов. Фактически, YOLO11m показывает лучшие результаты на наборе данных COCO, используя на 22 % меньше параметров, чем YOLOv8m, что делает его более точным и эффективным.
Модели Ultralytics YOLO также поддерживают экспорт в несколько форматов, что позволяет гибко развертывать их на различных платформах. Эти форматы включают ONNX, TensorRT, CoreML и OpenVINO, что дает разработчикам возможность оптимизировать производительность в зависимости от целевого оборудования.
Благодаря добавлению поддержки экспорта YOLO11 в формат модели RKNN, YOLO11 теперь может использовать преимущества NPU от Rockchip. Самая маленькая модель, YOLO11n в формате RKNN, достигает впечатляющего времени вывода - 99,5 мс на изображение, что позволяет выполнять обработку в реальном времени даже на встраиваемых устройствах.
В настоящее время модели обнаружения объектов YOLO11 можно экспортировать в формат RKNN. Также следите за новостями - мы работаем над добавлением поддержки других задач компьютерного зрения и квантования INT8 в будущих обновлениях.
Экспорт YOLO11 в формат RKNN - это простой процесс. Вы можете загрузить свою натренированную модель YOLO11, указать целевую платформу Rockchip и преобразовать ее в формат RKNN с помощью нескольких строк кода. Формат RKNN совместим с различными SoC Rockchip, включая RK3588, RK3566 и RK3576, что обеспечивает широкую аппаратную поддержку.
После экспорта модель RKNN может быть развернута на устройствах на базе Rockchip. Чтобы развернуть модель, достаточно загрузить экспортированный файл RKNN на устройство Rockchip и запустить процесс inference - процесс использования обученной модели ИИ для анализа новых изображений или видео и обнаружения объектов в режиме реального времени. Всего несколько строк кода - и вы можете приступать к идентификации объектов из изображений или видеопотоков.
Чтобы лучше понять, где YOLO11 может быть использован в устройствах на базе Rockchip в реальном мире, давайте рассмотрим некоторые ключевые приложения краевого ИИ.
Процессоры Rockchip широко используются в планшетах на базе Android, платах разработки и промышленных системах искусственного интеллекта. Благодаря поддержке Android, Linux и Python вы можете легко создавать и внедрять решения на основе искусственного интеллекта Vision для различных отраслей промышленности.
Распространенной областью применения YOLO11 на устройствах, работающих на базе Rockchip, являются прочные планшеты. Это прочные, высокопроизводительные планшеты, предназначенные для работы в сложных условиях, таких как склады, строительные площадки и промышленные объекты. Эти планшеты могут использовать функцию обнаружения объектов для повышения эффективности и безопасности.
Например, в складской логистике работники могут использовать планшеты на базе Rockchip с YOLO11 для автоматического сканирования и обнаружения инвентаря, что сокращает количество человеческих ошибок и ускоряет время обработки. Аналогичным образом, на строительных площадках эти планшеты могут использоваться для определения того, надеты ли на рабочих необходимые средства защиты, такие как каски и жилеты, что помогает компаниям следить за соблюдением правил и предотвращать несчастные случаи.
Что касается производства и автоматизации, то промышленные платы на базе Rockchip могут сыграть важную роль в контроле качества и мониторинге процессов. Промышленная плата - это компактный высокопроизводительный вычислительный модуль, предназначенный для встраиваемых систем в промышленных условиях. Такие платы обычно включают в себя процессоры, память, интерфейсы ввода-вывода и возможности подключения, которые могут интегрироваться с датчиками, камерами и автоматизированным оборудованием.
Запуск моделей YOLO11 на этих платах позволяет анализировать производственные линии в режиме реального времени, мгновенно выявляя проблемы и повышая эффективность. Например, в автомобилестроении система искусственного интеллекта, использующая аппаратное обеспечение Rockchip и YOLO11, может обнаружить царапины, несоосность деталей или дефекты покраски во время движения автомобилей по сборочной линии. Выявляя эти дефекты в режиме реального времени, производители могут сократить количество отходов, снизить производственные затраты и обеспечить более высокие стандарты качества до того, как автомобили попадут к покупателям.
Устройства на базе Rockchip предлагают хороший баланс между производительностью, стоимостью и эффективностью, что делает их отличным выбором для внедрения YOLO11 в пограничные приложения искусственного интеллекта.
Вот несколько преимуществ работы YOLO11 на устройствах на базе Rockchip:
Ultralytics YOLO11 может эффективно работать на устройствах на базе Rockchip за счет использования аппаратного ускорения и формата RKNN. Это сокращает время вывода и повышает производительность, что делает его идеальным для задач компьютерного зрения в реальном времени и приложений краевого ИИ.
Инструментарий RKNN Toolkit предоставляет ключевые инструменты оптимизации, такие как квантование и тонкая настройка, что обеспечивает хорошую работу моделей YOLO11 на платформах Rockchip. Оптимизация моделей для эффективной обработки на устройстве будет иметь большое значение по мере роста внедрения краевого ИИ. С помощью правильных инструментов и оборудования разработчики смогут открыть новые возможности для решений в области компьютерного зрения в различных отраслях.
Присоединяйтесь к нашему сообществу и изучайте наш репозиторий GitHub, чтобы узнать больше об искусственном интеллекте. Посетите страницы наших решений и узнайте, как компьютерное зрение в сельском хозяйстве и ИИ в здравоохранении способствуют инновациям. Также ознакомьтесь с нашими вариантами лицензирования, чтобы начать создавать свои решения Vision AI уже сегодня!
.webp)
