12 февраля 2025 г.
Узнайте, как развернуть Ultralytics YOLO11 на Rockchip с помощью RKNN Toolkit для эффективного Edge AI, ускорения ИИ и обнаружения объектов в реальном времени.
В последнее время в сообществе ИИ все чаще говорят о периферийном ИИ, особенно когда речь идет о компьютерном зрении. По мере роста числа приложений, управляемых ИИ, возрастает потребность в эффективном запуске моделей на встроенных устройствах с ограниченной мощностью и вычислительными ресурсами.
Например, дроны используют Vision AI для навигации в режиме реального времени, интеллектуальные камеры мгновенно обнаруживают объекты, а системы промышленной автоматизации выполняют контроль качества, не полагаясь на облачные вычисления. Эти приложения требуют быстрой и эффективной обработки AI непосредственно на периферийных устройствах для обеспечения производительности в реальном времени и низкой задержки. Однако запуск моделей AI на периферийных устройствах не всегда прост. Модели AI часто требуют больше энергии и памяти, чем могут предоставить многие периферийные устройства.
RKNN Toolkit от Rockchip помогает решить эту проблему, оптимизируя модели глубокого обучения для устройств на базе Rockchip. Он использует специализированные нейронные процессоры (NPU) для ускорения логического вывода, снижая задержку и энергопотребление по сравнению с обработкой на центральном или графическом процессоре.
Сообщество Vision AI стремилось запускать Ultralytics YOLO11 на устройствах на базе Rockchip, и мы вас услышали. Мы добавили поддержку экспорта YOLO11 в формат модели RKNN. В этой статье мы рассмотрим, как работает экспорт в RKNN и почему развертывание YOLO11 на устройствах на базе Rockchip меняет правила игры.
Rockchip — компания, которая разрабатывает системы на кристалле (SoC) — крошечные, но мощные процессоры, управляющие многими встроенными устройствами. Эти чипы объединяют центральный процессор (CPU), графический процессор (GPU) и нейронный процессор (NPU) для обработки всего: от общих вычислительных задач до приложений Vision AI, которые полагаются на обнаружение объектов и обработку изображений.
SoC Rockchip используются в различных устройствах, включая одноплатные компьютеры (SBC), отладочные платы, промышленные системы ИИ и интеллектуальные камеры. Многие известные производители оборудования, такие как Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas и Banana Pi, создают устройства на базе SoC Rockchip. Эти платы популярны для периферийного ИИ и приложений компьютерного зрения, поскольку они предлагают баланс производительности, энергоэффективности и доступности.
Чтобы помочь моделям AI эффективно работать на этих устройствах, Rockchip предоставляет RKNN (Rockchip Neural Network) Toolkit. Он позволяет разработчикам конвертировать и оптимизировать модели глубокого обучения для использования нейронных процессоров (NPU) Rockchip.
Модели RKNN оптимизированы для логического вывода с низкой задержкой и эффективного энергопотребления. Преобразуя модели в RKNN, разработчики могут добиться более высокой скорости обработки, снижения энергопотребления и повышения эффективности на устройствах на базе Rockchip.
Давайте подробнее рассмотрим, как модели RKNN улучшают производительность ИИ на устройствах с поддержкой Rockchip.
В отличие от ЦП и графических процессоров, которые выполняют широкий спектр вычислительных задач, NPU Rockchip разработаны специально для глубокого обучения. Преобразуя модели ИИ в формат RKNN, разработчики могут запускать логические выводы непосредственно на NPU. Это делает модели RKNN особенно полезными для задач компьютерного зрения в реальном времени, где важна быстрая и эффективная обработка.
NPU быстрее и эффективнее, чем CPU и GPU, для задач ИИ, поскольку они созданы для параллельной обработки вычислений нейронных сетей. В то время как CPU обрабатывают задачи пошагово, а GPU распределяют рабочую нагрузку между несколькими ядрами, NPU оптимизированы для более эффективного выполнения вычислений, специфичных для ИИ.
В результате модели RKNN работают быстрее и потребляют меньше энергии, что делает их идеальными для устройств с батарейным питанием, интеллектуальных камер, промышленной автоматизации и других периферийных приложений ИИ, требующих принятия решений в реальном времени.
Модели Ultralytics YOLO (You Only Look Once) предназначены для задач компьютерного зрения в реальном времени, таких как обнаружение объектов, сегментация экземпляров и классификация изображений. Они известны своей скоростью, точностью и эффективностью и широко используются в таких отраслях, как сельское хозяйство, производство, здравоохранение и автономные системы.
Эти модели значительно улучшились с течением времени. Например, Ultralytics YOLOv5 упростила использование обнаружения объектов с помощью PyTorch. Затем Ultralytics YOLOv8 добавила новые функции, такие как оценка позы и классификация изображений. Теперь YOLO11 идет еще дальше, повышая точность при использовании меньшего количества ресурсов. Фактически, YOLO11m лучше работает на наборе данных COCO, используя на 22% меньше параметров, чем YOLOv8m, что делает ее более точной и эффективной.
Модели Ultralytics YOLO также поддерживают экспорт в различные форматы, обеспечивая гибкое развертывание на разных платформах. Эти форматы включают ONNX, TensorRT, CoreML и OpenVINO, что дает разработчикам свободу оптимизировать производительность в зависимости от целевого оборудования.
Благодаря добавленной поддержке экспорта YOLO11 в формат модели RKNN, YOLO11 теперь может воспользоваться преимуществами NPU Rockchip. Самая маленькая модель, YOLO11n в формате RKNN, достигает впечатляющего времени инференса 99,5 мс на изображение, что позволяет обрабатывать данные в реальном времени даже на встроенных устройствах.
В настоящее время модели обнаружения объектов YOLO11 можно экспортировать в формат RKNN. Следите за обновлениями — мы работаем над добавлением поддержки других задач компьютерного зрения и квантования INT8 в будущих обновлениях.
Экспорт YOLO11 в формат RKNN — это простой процесс. Вы можете загрузить свою собственно обученную модель YOLO11, указать целевую платформу Rockchip и преобразовать ее в формат RKNN с помощью нескольких строк кода. Формат RKNN совместим с различными Rockchip SoC, включая RK3588, RK3566 и RK3576, что обеспечивает широкую поддержку оборудования.
После экспорта модель RKNN можно развернуть на устройствах на базе Rockchip. Чтобы развернуть модель, просто загрузите экспортированный файл RKNN на свое устройство Rockchip и запустите инференс — процесс использования обученной модели ИИ для анализа новых изображений или видео и обнаружения объектов в реальном времени. С помощью всего нескольких строк кода вы можете начать идентифицировать объекты на изображениях или в видеопотоках.
Чтобы лучше понять, где YOLO11 можно развернуть на устройствах с поддержкой Rockchip в реальном мире, давайте рассмотрим некоторые ключевые периферийные приложения ИИ.
Процессоры Rockchip широко используются в планшетах на базе Android, отладочных платах и промышленных системах ИИ. Благодаря поддержке Android, Linux и Python вы можете легко создавать и развертывать решения Vision AI для различных отраслей.
Распространенным применением YOLO11 на устройствах Rockchip являются защищенные планшеты. Это прочные, высокопроизводительные планшеты, предназначенные для работы в тяжелых условиях, таких как склады, строительные площадки и промышленные объекты. Эти планшеты могут использовать обнаружение объектов для повышения эффективности и безопасности.
Например, в складской логистике работники могут использовать планшет на базе Rockchip с YOLO11 для автоматического сканирования и обнаружения инвентаря, что снижает количество человеческих ошибок и ускоряет время обработки. Аналогичным образом, на строительных площадках эти планшеты можно использовать для определения, носят ли работники необходимые средства защиты, такие как каски и жилеты, что помогает компаниям обеспечивать соблюдение правил и предотвращать несчастные случаи.
Что касается производства и автоматизации, промышленные платы на базе Rockchip могут играть большую роль в контроле качества и мониторинге процессов. Промышленная плата — это компактный, высокопроизводительный вычислительный модуль, предназначенный для встраиваемых систем в промышленных условиях. Эти платы обычно включают процессоры, память, интерфейсы ввода-вывода и возможности подключения, которые могут интегрироваться с датчиками, камерами и автоматизированным оборудованием.
Запуск моделей YOLO11 на этих платах позволяет анализировать производственные линии в режиме реального времени, мгновенно выявляя проблемы и повышая эффективность. Например, в автомобилестроении система искусственного интеллекта, использующая оборудование Rockchip и YOLO11, может обнаруживать царапины, смещенные детали или дефекты покраски по мере продвижения автомобилей по сборочной линии. Выявляя эти дефекты в режиме реального времени, производители могут сократить отходы, снизить производственные затраты и обеспечить более высокие стандарты качества до того, как автомобили попадут к клиентам.
Устройства на базе Rockchip предлагают хороший баланс производительности, стоимости и эффективности, что делает их отличным выбором для развертывания YOLO11 в приложениях периферийного ИИ.
Вот несколько преимуществ запуска YOLO11 на устройствах на базе Rockchip:
Ultralytics YOLO11 может эффективно работать на устройствах на базе Rockchip, используя аппаратное ускорение и формат RKNN. Это сокращает время инференса и повышает производительность, что делает его идеальным для задач компьютерного зрения в реальном времени и периферийных AI-приложений.
RKNN Toolkit предоставляет ключевые инструменты оптимизации, такие как квантование и тонкая настройка, обеспечивая хорошую работу моделей YOLO11 на платформах Rockchip. Оптимизация моделей для эффективной обработки на устройстве будет иметь важное значение по мере роста внедрения edge AI. С помощью правильных инструментов и оборудования разработчики могут открыть новые возможности для решений компьютерного зрения в различных отраслях.
Присоединяйтесь к нашему сообществу и изучите наш репозиторий на GitHub, чтобы узнать больше об ИИ. Посмотрите, как компьютерное зрение в сельском хозяйстве и ИИ в здравоохранении стимулируют инновации, посетив наши страницы решений. Кроме того, ознакомьтесь с нашими вариантами лицензирования, чтобы начать создавать свои решения Vision AI уже сегодня!
.webp)
