12 февраля 2025 г.
Узнайте, как развернуть Ultralytics YOLO11 на Rockchip с помощью RKNN Toolkit для эффективного Edge AI, ускорения ИИ и обнаружения объектов в реальном времени.
В последнее время в сообществе ИИ все чаще говорят о периферийном ИИ, особенно когда речь идет о компьютерном зрении. По мере роста числа приложений, управляемых ИИ, возрастает потребность в эффективном запуске моделей на встроенных устройствах с ограниченной мощностью и вычислительными ресурсами.
Например, беспилотники используют ИИ Vision для навигации в реальном времени, умные камеры мгновенно detect объекты, а системы промышленной автоматизации осуществляют контроль качества, не прибегая к облачным вычислениям. Эти приложения требуют быстрой и эффективной обработки ИИ непосредственно на граничных устройствах, чтобы обеспечить производительность в реальном времени и низкую задержку. Однако запуск моделей ИИ на граничных устройствах не всегда прост. Модели ИИ часто требуют больше мощности и памяти, чем могут обеспечить многие пограничные устройства.
Инструментарий RKNN от Rockchip помогает решить эту проблему, оптимизируя модели глубокого обучения для устройств на базе Rockchip. Он использует специальные блоки нейронной обработки (NPU) для ускорения вычислений, уменьшая задержки и энергопотребление по сравнению с CPU или GPU .
Сообщество Vision AI с нетерпением ждало запуска Ultralytics YOLO11 на устройствах на базе Rockchip, и мы услышали вас. Мы добавили поддержку экспорта YOLO11 в формат модели RKNN. В этой статье мы расскажем о том, как работает экспорт в RKNN и почему развертывание YOLO11 на устройствах на базе Rockchip станет революционным событием.
Rockchip - компания, разрабатывающая системы-на-чипах (SoC) - миниатюрные, но мощные процессоры, на которых работают многие встраиваемые устройства. Эти чипы сочетают в себе CPU, GPU и блок нейронной обработки (NPU) для решения самых разных задач - от общих вычислений до приложений Vision AI, связанных с обнаружением объектов и обработкой изображений.
SoC Rockchip используются в различных устройствах, включая одноплатные компьютеры (SBC), отладочные платы, промышленные системы ИИ и интеллектуальные камеры. Многие известные производители оборудования, такие как Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas и Banana Pi, создают устройства на базе SoC Rockchip. Эти платы популярны для периферийного ИИ и приложений компьютерного зрения, поскольку они предлагают баланс производительности, энергоэффективности и доступности.
Чтобы помочь моделям AI эффективно работать на этих устройствах, Rockchip предоставляет RKNN (Rockchip Neural Network) Toolkit. Он позволяет разработчикам конвертировать и оптимизировать модели глубокого обучения для использования нейронных процессоров (NPU) Rockchip.
Модели RKNN оптимизированы для логического вывода с низкой задержкой и эффективного энергопотребления. Преобразуя модели в RKNN, разработчики могут добиться более высокой скорости обработки, снижения энергопотребления и повышения эффективности на устройствах на базе Rockchip.
Давайте подробнее рассмотрим, как модели RKNN улучшают производительность ИИ на устройствах с поддержкой Rockchip.
В отличие от ЦП и графических процессоров, которые выполняют широкий спектр вычислительных задач, NPU Rockchip разработаны специально для глубокого обучения. Преобразуя модели ИИ в формат RKNN, разработчики могут запускать логические выводы непосредственно на NPU. Это делает модели RKNN особенно полезными для задач компьютерного зрения в реальном времени, где важна быстрая и эффективная обработка.
NPU быстрее и эффективнее, чем CPU и GPU, для задач ИИ, поскольку они созданы для параллельной обработки вычислений нейронных сетей. В то время как CPU обрабатывают задачи пошагово, а GPU распределяют рабочую нагрузку между несколькими ядрами, NPU оптимизированы для более эффективного выполнения вычислений, специфичных для ИИ.
В результате модели RKNN работают быстрее и потребляют меньше энергии, что делает их идеальными для устройств с батарейным питанием, интеллектуальных камер, промышленной автоматизации и других периферийных приложений ИИ, требующих принятия решений в реальном времени.
МоделиUltralytics YOLO (You Only Look Once) разработаны для задач компьютерного зрения в реальном времени, таких как обнаружение объектов, сегментация объектов и классификация изображений. Они известны своей скоростью, точностью и эффективностью и широко используются в таких отраслях, как сельское хозяйство, производство, здравоохранение и автономные системы.
С течением времени эти модели значительно усовершенствовались. Например, Ultralytics YOLOv5 упростила обнаружение объектов с помощью PyTorch. Затем Ultralytics YOLOv8 добавила новые функции, такие как оценка позы и классификация изображений. Теперь YOLO11 идет дальше, повышая точность и используя меньше ресурсов. Фактически, YOLO11m показывает лучшие результаты на наборе данных COCO , используя на 22 % меньше параметров, чем YOLOv8m, что делает его более точным и эффективным.
Модели Ultralytics YOLO также поддерживают экспорт в несколько форматов, что позволяет гибко развертывать их на различных платформах. Эти форматы включают ONNX, TensorRT, CoreML и OpenVINO, что дает разработчикам возможность оптимизировать производительность в зависимости от целевого оборудования.
Благодаря добавлению поддержки экспорта YOLO11 в формат модели RKNN, YOLO11 теперь может использовать преимущества NPU от Rockchip. Самая маленькая модель, YOLO11n в формате RKNN, достигает впечатляющего времени вывода - 99,5 мс на изображение, что позволяет выполнять обработку в реальном времени даже на встраиваемых устройствах.
В настоящее время модели обнаружения объектов YOLO11 можно экспортировать в формат RKNN. Также следите за новостями - мы работаем над добавлением поддержки других задач компьютерного зрения и квантования INT8 в будущих обновлениях.
Экспорт YOLO11 в формат RKNN - это простой процесс. Вы можете загрузить свою натренированную модель YOLO11 , указать целевую платформу Rockchip и преобразовать ее в формат RKNN с помощью нескольких строк кода. Формат RKNN совместим с различными SoC Rockchip, включая RK3588, RK3566 и RK3576, что обеспечивает широкую аппаратную поддержку.
После экспорта модель RKNN может быть развернута на устройствах на базе Rockchip. Чтобы развернуть модель, достаточно загрузить экспортированный файл RKNN на устройство Rockchip и запустить процесс inference - процесс использования обученной модели искусственного интеллекта для анализа новых изображений или видео и detect объектов в режиме реального времени. Всего несколько строк кода - и вы можете приступать к идентификации объектов из изображений или видеопотоков.
Чтобы лучше понять, где YOLO11 может быть использован в устройствах на базе Rockchip в реальном мире, давайте рассмотрим некоторые ключевые приложения краевого ИИ.
Процессоры Rockchip широко используются в планшетах Android, платах разработки и промышленных системах искусственного интеллекта. Благодаря поддержке Android, Linux и Python вы можете легко создавать и внедрять решения на основе искусственного интеллекта Vision для различных отраслей промышленности.
Распространенной областью применения YOLO11 на устройствах, работающих на базе Rockchip, являются прочные планшеты. Это прочные, высокопроизводительные планшеты, предназначенные для работы в сложных условиях, таких как склады, строительные площадки и промышленные объекты. Эти планшеты могут использовать функцию обнаружения объектов для повышения эффективности и безопасности.
Например, в складской логистике работники могут использовать планшет на базе Rockchip с YOLO11 для автоматического сканирования и detect инвентаря, что сокращает количество человеческих ошибок и ускоряет время обработки. Аналогичным образом, на строительных площадках эти планшеты могут использоваться для detect того, надеты ли на рабочих необходимые средства защиты, такие как каски и жилеты, что помогает компаниям следить за соблюдением правил и предотвращать несчастные случаи.
Что касается производства и автоматизации, промышленные платы на базе Rockchip могут играть большую роль в контроле качества и мониторинге процессов. Промышленная плата — это компактный, высокопроизводительный вычислительный модуль, предназначенный для встраиваемых систем в промышленных условиях. Эти платы обычно включают процессоры, память, интерфейсы ввода-вывода и возможности подключения, которые могут интегрироваться с датчиками, камерами и автоматизированным оборудованием.
Запуск моделей YOLO11 на этих платах позволяет анализировать производственные линии в режиме реального времени, мгновенно выявляя проблемы и повышая эффективность. Например, в автомобилестроении система искусственного интеллекта, использующая аппаратное обеспечение Rockchip и YOLO11 , может detect царапины, несоосность деталей или дефекты покраски во время движения автомобилей по сборочной линии. Выявляя эти дефекты в режиме реального времени, производители могут сократить количество отходов, снизить производственные затраты и обеспечить более высокие стандарты качества до того, как автомобили попадут к покупателям.
Устройства на базе Rockchip предлагают хороший баланс между производительностью, стоимостью и эффективностью, что делает их отличным выбором для внедрения YOLO11 в пограничные приложения искусственного интеллекта.
Вот несколько преимуществ работы YOLO11 на устройствах на базе Rockchip:
Ultralytics YOLO11 может эффективно работать на устройствах на базе Rockchip за счет использования аппаратного ускорения и формата RKNN. Это сокращает время вывода и повышает производительность, что делает его идеальным для задач компьютерного зрения в реальном времени и приложений краевого ИИ.
Инструментарий RKNN Toolkit предоставляет ключевые инструменты оптимизации, такие как квантование и тонкая настройка, что обеспечивает хорошую работу моделей YOLO11 на платформах Rockchip. Оптимизация моделей для эффективной обработки на устройстве будет иметь большое значение по мере роста внедрения краевого ИИ. С помощью правильных инструментов и оборудования разработчики смогут открыть новые возможности для решений в области компьютерного зрения в различных отраслях.
Присоединяйтесь к нашему сообществу и изучите наш репозиторий на GitHub, чтобы узнать больше об ИИ. Посмотрите, как компьютерное зрение в сельском хозяйстве и ИИ в здравоохранении стимулируют инновации, посетив наши страницы решений. Кроме того, ознакомьтесь с нашими вариантами лицензирования, чтобы начать создавать свои решения Vision AI уже сегодня!
.webp)