Встраиваемый Vision AI с Ultralytics YOLO и микроконтроллером STMicroelectronics

По мере того, как искусственный интеллект все шире внедряется в различные отрасли, растет спрос на высокопроизводительные, маломощные решения, способные выполнять логические выводы в реальном времени на периферии. Чтобы удовлетворить эту технологическую потребность, компания STMicroelectronics представила микроконтроллер STM32N6 со встроенным нейронным процессором (NPU), предназначенным для задач искусственного интеллекта во встроенных системах. 

Запустив модели Ultralytics YOLO на STM32N6, STMicroelectronics продемонстрировала, что точный и эффективный встроенный Vision AI возможен на микроконтроллерах, открывая новые возможности для масштабируемого интеллекта на устройствах в таких секторах, как умные города, здравоохранение и бытовая электроника.

Изучение Vision AI для устройств с низким энергопотреблением на периферии

STMicroelectronics — мировой лидер в области полупроводниковых технологий, насчитывающий более 50 000 сотрудников и более 200 000 клиентов по всему миру. Они разрабатывают и производят чипы, которые обеспечивают работу приложений, начиная от электромобилей и промышленного оборудования и заканчивая устройствами для умного дома и бытовой электроникой.

Поскольку все больше отраслей обращаются к ИИ, чтобы сделать устройства умнее и отзывчивее, STMicroelectronics сосредоточилась на переносе этих возможностей непосредственно на периферию. Например, их микроконтроллер STM32N6, мощный и энергоэффективный чип, может обрабатывать задачи ИИ на устройстве, такие как компьютерное зрение.

Чтобы помочь разработчикам создавать приложения встроенного зрения на STM32N6, STMicroelectronics искала гибкие, высокопроизводительные модели, которые могли бы эффективно работать на микроконтроллере. Модели Ultralytics YOLO оказались отличным вариантом, предлагая надежное сочетание скорости, точности и простоты интеграции.

Ограничения, связанные с внедрением встроенных систем на базе ИИ

До того, как концепция Edge AI получила широкое распространение, модели компьютерного зрения обычно разрабатывались для работы на крупных централизованных системах, таких как облачные серверы или графические процессоры (Graphics Processing Units). Эти платформы предлагали вычислительные возможности, необходимые для обучения и развертывания больших моделей, но они также вносили ограничения, такие как высокое энергопотребление, зависимость от сети, задержка и увеличение эксплуатационных расходов.

По мере роста интереса к внедрению более интеллектуальных приложений реального времени в таких отраслях, как здравоохранение, бытовая электроника и умные города, стало ясно, что перенос обработки ИИ ближе к месту генерации данных, на само устройство, является как технической необходимостью, так и стратегической возможностью.

Однако запуск моделей ИИ на маломощных микроконтроллерах может быть сложной задачей. Эти устройства, как правило, имеют ограниченную память, вычислительную мощность и энергетическую емкость, что затрудняет развертывание сложных моделей машинного зрения без ущерба для производительности или точности. 

Компании STMicroelectronics необходимо было определить набор моделей, достаточно универсальных для обеспечения надежных возможностей компьютерного зрения в реальном времени для своего микроконтроллера STM32N6, без необходимости для разработчиков кардинально упрощать свои модели или рабочие процессы. Их целью было предоставить значимый ИИ на устройстве, оставаясь в строгих рамках встроенных систем.

Оптимизированное развертывание моделей YOLO на микроконтроллерах

Чтобы включить расширенный ИИ на маломощных встроенных устройствах, STMicroelectronics представила STM32N6, высокопроизводительный микроконтроллер, оснащенный Neural-ART Accelerator™. Это собственный блок нейронной обработки (NPU), созданный специально для периферийных рабочих нагрузок ИИ. Эта технология позволяет разработчикам запускать логические выводы ИИ непосредственно на устройстве, снижая зависимость от облачных вычислений и повышая скорость, оперативность и энергоэффективность.

STMicroelectronics сотрудничала с Ultralytics для оценки и демонстрации возможностей STM32N6 путем запуска моделей Ultralytics YOLO на микроконтроллере. Модели Ultralytics YOLO, известные своим балансом скорости и точности, хорошо подходят для сред с ограниченными ресурсами и встроенных систем.

‍

Запустив различные варианты моделей YOLO непосредственно на STM32N6, STMicroelectronics смогла продемонстрировать ряд вариантов использования Vision AI, таких как обнаружение объектов, классификация и отслеживание, и все это в пределах ограничений по мощности и памяти микроконтроллера. Это сотрудничество предоставляет разработчикам надежный вариант для развертывания встроенных систем с поддержкой AI в реальном времени с использованием масштабируемых, готовых к производству моделей машинного зрения.

Почему стоит выбрать модели Ultralytics YOLO?

Модели Ultralytics YOLO предложили STMicroelectronics правильное сочетание точности, эффективности и универсальности, необходимое для встроенных систем с поддержкой ИИ. Модели достаточно легкие для работы на маломощных микроконтроллерах, таких как STM32N6, но достаточно мощные для обеспечения обнаружения объектов и сегментации экземпляров в реальном времени.

Например, при запуске модели Ultralytics YOLOv8n с разрешением 256 на 256 на STM32N6 система достигала 34 кадров в секунду, при этом каждый вывод занимал около 29 миллисекунд. Измерения мощности показали, что она потребляет всего 9,4 миллиджоуля на вывод, что делает ее хорошо подходящей для задач машинного зрения в реальном времени на маломощных устройствах.

Благодаря поддержке нескольких вариантов моделей YOLO, разработчики могут гибко настраивать скорость, размер или точность в зависимости от ограничений своего приложения. Простая в интеграции архитектура в сочетании с сильной поддержкой сообщества и документацией сделала Ultralytics YOLO естественным выбором для достижения цели STMicroelectronics по ускорению внедрения Vision AI в широком спектре встроенных вариантов использования.

Благодаря корпоративной лицензии Ultralytics STMicroelectronics предоставляет клиентам доступ к полному набору моделей YOLO для внутреннего тестирования и разработки. Однако для любого коммерческого развертывания клиенты должны запросить собственную коммерческую лицензию непосредственно у Ultralytics через форму лицензии. Это обеспечивает соответствие требованиям и поддерживает масштабируемый путь к готовым к производству решениям Vision AI.

От умных городов до здравоохранения: масштабируемый периферийный ИИ в действии

Возможность запускать модели Ultralytics YOLO непосредственно на микроконтроллере STM32N6 открыла широкий спектр приложений Vision AI для STMicroelectronics и ее экосистемы разработчиков. Благодаря быстрой и точной работе на устройстве без использования внешней обработки или облачного подключения это решение позволяет развертывать интеллектуальные функции в компактных системах с низким энергопотреблением.

Клиенты изучают варианты использования в различных секторах, таких как обнаружение пешеходов и транспортных средств в режиме реального времени в инфраструктуре умного города, проверки безопасности на устройствах и контроль качества в промышленной автоматизации, а также диагностика с помощью ИИ в портативных медицинских инструментах. Аналогичным образом, в сфере бытовой электроники модели YOLO обеспечивают такие функции, как обнаружение присутствия, распознавание жестов и отслеживание объектов — и все это в рамках ограничений по производительности устройств, работающих от аккумулятора.

‍

Создавая решения Vision AI завтрашнего дня уже сегодня

По мере развития ИИ компания STMicroelectronics уделяет особое внимание упрощению внедрения мощных и эффективных решений в периферийные устройства. Тесно сотрудничая с такими партнерами, как Ultralytics, они помогают разработчикам быстрее начать работу с готовыми моделями, инструментами и ресурсами, совместимыми с STM32. 

Сделайте следующий шаг в развитии edge AI. Посетите наш репозиторий на GitHub, чтобы узнать, как модели Ultralytics YOLO преобразуют встроенное зрение. Ознакомьтесь с применением ИИ в здравоохранении и компьютерного зрения в розничной торговле, а также изучите наши варианты лицензирования уже сегодня!