Встраиваемый искусственный интеллект с Ultralytics YOLO и MCU STMicroelectronics

По мере того, как искусственный интеллект все шире внедряется в различные отрасли, растет спрос на высокопроизводительные, маломощные решения, способные выполнять логические выводы в реальном времени на периферии. Чтобы удовлетворить эту технологическую потребность, компания STMicroelectronics представила микроконтроллер STM32N6 со встроенным нейронным процессором (NPU), предназначенным для задач искусственного интеллекта во встроенных системах. 

Запустив моделиUltralytics YOLO на STM32N6, STMicroelectronics продемонстрировала, что точный и эффективный встроенный Vision AI возможен на микроконтроллерах, открывая новые возможности для масштабируемого интеллектуального анализа на устройствах в таких секторах, как "умные города", здравоохранение и бытовая электроника.

Изучение Vision AI для устройств с низким энергопотреблением на периферии

STMicroelectronics — мировой лидер в области полупроводниковых технологий, насчитывающий более 50 000 сотрудников и более 200 000 клиентов по всему миру. Они разрабатывают и производят чипы, которые обеспечивают работу приложений, начиная от электромобилей и промышленного оборудования и заканчивая устройствами для умного дома и бытовой электроникой.

Поскольку все больше отраслей обращаются к ИИ, чтобы сделать устройства умнее и отзывчивее, STMicroelectronics сосредоточилась на переносе этих возможностей непосредственно на периферию. Например, их микроконтроллер STM32N6, мощный и энергоэффективный чип, может обрабатывать задачи ИИ на устройстве, такие как компьютерное зрение.

Чтобы помочь разработчикам создавать встраиваемые приложения для технического зрения на STM32N6, компания STMicroelectronics искала гибкие, высокопроизводительные модели, которые могли бы эффективно работать на микроконтроллере. Модели Ultralytics YOLO оказались как нельзя кстати, предлагая надежное сочетание скорости, точности и простоты интеграции.

Ограничения, связанные с внедрением встроенных систем на базе ИИ

До того, как концепция Edge AI получила широкое распространение, модели компьютерного зрения обычно разрабатывались для работы на крупных централизованных системах, таких как облачные серверы или графические процессоры (Graphics Processing Units). Эти платформы предлагали вычислительные возможности, необходимые для обучения и развертывания больших моделей, но они также вносили ограничения, такие как высокое энергопотребление, зависимость от сети, задержка и увеличение эксплуатационных расходов.

По мере роста интереса к внедрению более интеллектуальных приложений реального времени в таких отраслях, как здравоохранение, бытовая электроника и умные города, стало ясно, что перенос обработки ИИ ближе к месту генерации данных, на само устройство, является как технической необходимостью, так и стратегической возможностью.

Однако запуск моделей ИИ на маломощных микроконтроллерах может быть сложной задачей. Эти устройства, как правило, имеют ограниченную память, вычислительную мощность и энергетическую емкость, что затрудняет развертывание сложных моделей машинного зрения без ущерба для производительности или точности. 

Компании STMicroelectronics необходимо было определить набор моделей, достаточно универсальных для обеспечения надежных возможностей компьютерного зрения в реальном времени для своего микроконтроллера STM32N6, без необходимости для разработчиков кардинально упрощать свои модели или рабочие процессы. Их целью было предоставить значимый ИИ на устройстве, оставаясь в строгих рамках встроенных систем.

Оптимизированное развертывание модели YOLO на микроконтроллерах

Чтобы включить расширенный ИИ на маломощных встроенных устройствах, STMicroelectronics представила STM32N6, высокопроизводительный микроконтроллер, оснащенный Neural-ART Accelerator™. Это собственный блок нейронной обработки (NPU), созданный специально для периферийных рабочих нагрузок ИИ. Эта технология позволяет разработчикам запускать логические выводы ИИ непосредственно на устройстве, снижая зависимость от облачных вычислений и повышая скорость, оперативность и энергоэффективность.

Компания STMicroelectronics сотрудничает с Ultralytics , чтобы оценить и продемонстрировать возможности STM32N6, запустив на микроконтроллере модели Ultralytics YOLO . Известные своим балансом скорости и точности, модели Ultralytics YOLO хорошо подходят для сред с ограниченными ресурсами и встраиваемых систем.

‍

Запуская различные варианты моделей YOLO непосредственно на STM32N6, STMicroelectronics смогла продемонстрировать ряд сценариев использования ИИ в области зрения, таких как обнаружение, классификация и отслеживание объектов, в пределах мощности и памяти микроконтроллера. Это сотрудничество предоставляет разработчикам надежную возможность развертывания встраиваемых систем с искусственным интеллектом в реальном времени с использованием масштабируемых, готовых к производству моделей технического зрения.

Почему стоит выбрать моделиYOLO от Ultralytics ?

Модели Ultralytics YOLO предложили STMicroelectronics оптимальное сочетание точности, эффективности и универсальности, необходимое для встраиваемых систем с поддержкой ИИ. Модели достаточно легкие, чтобы работать на маломощных микроконтроллерах, таких как STM32N6, но при этом достаточно мощные, чтобы обеспечить обнаружение объектов и сегментацию экземпляров в режиме реального времени.

Например, при выполнении модели Ultralytics YOLOv8n с разрешением 256 на 256 на STM32N6 система достигла скорости 34 кадра в секунду, при этом каждый вывод занимал около 29 миллисекунд. Измерения энергопотребления показали, что система потребляет всего 9,4 миллиджоуля на один вывод, что делает ее хорошо подходящей для задач видения в реальном времени на маломощных устройствах.

Благодаря поддержке нескольких вариантов модели YOLO разработчики могут гибко настраивать скорость, размер или точность в зависимости от ограничений своего приложения. Легко интегрируемая архитектура в сочетании с сильной поддержкой сообщества и документацией сделали Ultralytics YOLO идеальным решением для STMicroelectronics, которая стремится ускорить внедрение Vision AI в широкий спектр встроенных приложений.

Благодаря лицензииUltralytics Enterprise компания STMicroelectronics предоставляет клиентам доступ к полному набору моделей YOLO для внутреннего тестирования и разработки. Однако для любого коммерческого развертывания заказчики должны запросить свою собственную коммерческую лицензию непосредственно у Ultralytics через форму лицензии. Это обеспечивает соответствие требованиям и поддерживает масштабируемый путь к готовым к производству решениям Vision AI.

От умных городов до здравоохранения: масштабируемый периферийный ИИ в действии

Возможность запускать модели Ultralytics YOLO непосредственно на микроконтроллере STM32N6 открыла для STMicroelectronics и ее экосистемы разработчиков широкий спектр приложений Vision AI. Обеспечивая быстрые и точные выводы на устройстве без использования внешней обработки или подключения к облаку, это решение позволяет внедрять интеллектуальные функции в компактные системы с низким энергопотреблением.

Клиенты изучают такие варианты использования, как обнаружение пешеходов и транспортных средств в реальном времени в инфраструктуре "умных городов", проверка безопасности и контроль качества на устройстве в промышленной автоматизации, а также диагностика с помощью ИИ в портативных медицинских инструментах. Аналогичным образом, в сфере бытовой электроники модели YOLO позволяют реализовать такие функции, как обнаружение присутствия, распознавание жестов и отслеживание объектов - и все это в рамках ограничений производительности устройств, работающих от аккумулятора.

‍

Создавая решения Vision AI завтрашнего дня уже сегодня

Поскольку искусственный интеллект продолжает развиваться, компания STMicroelectronics стремится упростить внедрение мощных и эффективных решений в пограничные устройства. Благодаря тесному сотрудничеству с такими партнерами, как Ultralytics, они помогают разработчикам быстрее приступить к работе, предоставляя готовые модели, инструменты и ресурсы, совместимые с STM32. 

Сделайте следующий шаг в инновациях краевого ИИ. Посетите наш репозиторий GitHub, чтобы узнать, как модели Ultralytics YOLO преобразуют встроенное зрение. Узнайте о применении ИИ в здравоохранении и компьютерного зрения в розничной торговле и ознакомьтесь с нашими возможностями лицензирования уже сегодня!