STMicroelectronics запускает Ultralytics YOLO на MCU с энергопотреблением всего 9.4 мДж на инференс

По мере того как внедрение ИИ растет в различных отраслях, увеличивается спрос на высокопроизводительные, энергоэффективные решения, способные выполнять инференс в реальном времени на периферии. Чтобы ответить на эту технологическую потребность, STMicroelectronics представила микроконтроллер STM32N6 со встроенным нейронным процессором (NPU), разработанным для задач встроенного ИИ.

Запуская модели Ultralytics YOLO на STM32N6, STMicroelectronics доказала, что точный и эффективный встроенный Vision AI возможен на микроконтроллерах, открывая новые возможности для масштабируемого локального интеллекта в таких секторах, как умные города, здравоохранение и бытовая электроника.

Link to this sectionИсследование Vision AI для маломощных периферийных устройств#

STMicroelectronics — мировой лидер в области полупроводниковых технологий, насчитывающий более 50 000 сотрудников и более 200 000 клиентов по всему миру. Они проектируют и создают чипы, которые обеспечивают работу приложений от электромобилей и промышленного оборудования до устройств «умного дома» и бытовой электроники.

Поскольку все больше отраслей обращаются к ИИ, чтобы сделать устройства умнее и отзывчивее, STMicroelectronics сосредоточилась на внедрении этих возможностей непосредственно на периферию. Например, их микроконтроллер STM32N6, мощный и энергоэффективный чип, может обрабатывать задачи ИИ на устройстве, такие как компьютерное зрение.

Чтобы помочь разработчикам создавать приложения встроенного зрения на STM32N6, STMicroelectronics искала гибкие, высокопроизводительные модели, которые могли бы эффективно работать на микроконтроллере. Модели Ultralytics YOLO оказались отличным выбором, предлагая надежное сочетание скорости, точности и легкости интеграции.

Link to this sectionОграничения при создании встроенных систем на базе ИИ#

До того как концепция Edge AI стала широко признанной, модели компьютерного зрения обычно разрабатывались для работы на крупных централизованных системах, таких как облачные серверы или GPU (графические процессоры). Эти платформы предлагали вычислительные возможности, необходимые для обучения и развертывания больших моделей, но они также создавали ограничения, такие как высокое энергопотребление, сетевая зависимость, задержки и повышенные эксплуатационные расходы.

По мере роста интереса к внедрению более интеллектуальных приложений в реальном времени в таких отраслях, как здравоохранение, бытовая электроника и умные города, стало ясно, что перенос обработки ИИ ближе к месту генерации данных, непосредственно на само устройство, является как технической необходимостью, так и стратегической возможностью.

Однако запуск моделей ИИ на маломощных микроконтроллерах может быть сложной задачей. Эти устройства, как правило, имеют ограниченную память, вычислительную мощность и энергетический ресурс, что затрудняет развертывание сложных моделей зрения без ущерба для производительности или точности.

STMicroelectronics нужно было найти набор моделей, достаточно универсальных, чтобы принести надежные возможности компьютерного зрения в реальном времени на их микроконтроллер STM32N6, не требуя от разработчиков радикального упрощения своих моделей или рабочих процессов. Их целью было обеспечить значимый ИИ на устройстве, оставаясь при этом в рамках строгих ограничений встроенных систем.

Link to this sectionОптимизированное развертывание моделей YOLO на микроконтроллерах#

Чтобы внедрить продвинутый ИИ на маломощные встроенные устройства, STMicroelectronics представила STM32N6, высокопроизводительный микроконтроллер, оснащенный ускорителем Neural-ART Accelerator™. Это собственный нейронный процессор (NPU), созданный специально для нагрузок Edge AI. Эта технология позволяет разработчикам выполнять инференс ИИ непосредственно на устройстве, уменьшая зависимость от облачных вычислений и повышая скорость, отзывчивость и энергоэффективность.

STMicroelectronics заключила партнерство с Ultralytics для оценки и демонстрации возможностей STM32N6 путем запуска моделей Ultralytics YOLO на микроконтроллере. Известные своим балансом скорости и точности, модели Ultralytics YOLO хорошо подходят для сред с ограниченными ресурсами и встроенных развертываний.

Рис 1. Пример работы модели Ultralytics YOLO на STM32N6.

Запуская различные варианты моделей YOLO непосредственно на STM32N6, STMicroelectronics смогла продемонстрировать ряд сценариев использования Vision AI, таких как обнаружение объектов, классификация и трекинг, — всё это в рамках ограничений по мощности и памяти микроконтроллера. Это сотрудничество предоставляет разработчикам надежный вариант развертывания встроенных систем с ИИ в реальном времени с использованием масштабируемых, готовых к промышленному использованию моделей зрения.

Link to this sectionПочему стоит выбрать модели Ultralytics YOLO?#

Модели Ultralytics YOLO предложили STMicroelectronics оптимальное сочетание точности, эффективности и универсальности, необходимое для встроенных систем с поддержкой ИИ. Модели достаточно легкие, чтобы работать на маломощных микроконтроллерах типа STM32N6, но при этом достаточно мощные, чтобы обеспечить производительность обнаружения объектов и сегментации экземпляров в реальном времени.

Например, при запуске модели Ultralytics YOLOv8n с разрешением 256 на 256 на STM32N6 система достигла 34 кадров в секунду, при этом каждый инференс занимал около 29 миллисекунд. Измерения мощности показали, что она потребляла всего 9,4 миллиджоуля на инференс, что делает ее отлично подходящей для задач зрения в реальном времени на маломощных устройствах.

Благодаря поддержке нескольких вариантов моделей YOLO, разработчики имеют гибкость в настройке параметров для достижения скорости, размера или точности в зависимости от ограничений своего приложения. Легко интегрируемая архитектура в сочетании с мощной поддержкой сообщества и документацией сделали Ultralytics YOLO естественным выбором для цели STMicroelectronics по ускорению внедрения Vision AI в широком спектре встроенных сценариев использования.

Благодаря корпоративной лицензии Ultralytics, STMicroelectronics предоставляет клиентам доступ к полному набору моделей YOLO для внутреннего тестирования и разработки. Однако для любого коммерческого развертывания клиенты должны запросить свою собственную коммерческую лицензию непосредственно у Ultralytics через форму лицензирования. Это обеспечивает соответствие требованиям и поддерживает масштабируемый путь к готовым к использованию решениям Vision AI.

Link to this sectionОт умных городов до здравоохранения: масштабируемый Edge AI в действии#

Возможность запускать модели Ultralytics YOLO непосредственно на микроконтроллере STM32N6 открыла широкий спектр приложений Vision AI для STMicroelectronics и ее экосистемы разработчиков. Обеспечивая быстрый и точный инференс на устройстве без использования внешней обработки или облачного подключения, это решение позволяет развертывать интеллектуальные функции в компактных системах с низким энергопотреблением.

Клиенты изучают сценарии использования в таких секторах, как обнаружение пешеходов и транспортных средств в режиме реального времени в инфраструктуре умного города, проверки безопасности на устройстве и контроль качества в промышленной автоматизации, а также диагностика с поддержкой ИИ в портативных медицинских инструментах. Аналогично, в сфере бытовой электроники модели YOLO обеспечивают такие отзывчивые функции, как обнаружение присутствия, распознавание жестов и отслеживание объектов — и всё это в рамках ограничений производительности устройств с питанием от батареи.

Link to this sectionСоздаем решения Vision AI завтрашнего дня уже сегодня#

По мере того как ИИ продолжает развиваться, STMicroelectronics сосредоточена на упрощении процесса внедрения мощных и эффективных решений на периферийные устройства. Работая в тесном сотрудничестве с такими партнерами, как Ultralytics, они помогают разработчикам быстрее начать работу с готовыми моделями, инструментами и ресурсами, совместимыми с STM32.

Сделай следующий шаг в инновациях Edge AI. Посети наш репозиторий GitHub, чтобы узнать, как модели Ultralytics YOLO трансформируют встроенное зрение. Изучи приложения ИИ в здравоохранении и компьютерное зрение в розничной торговле, а также ознакомься с нашими вариантами лицензирования уже сегодня!