Встраиваемый искусственный интеллект с Ultralytics YOLO и MCU STMicroelectronics

С ростом внедрения ИИ в различных отраслях промышленности быстро растет и спрос на высокопроизводительные решения с низким энергопотреблением, способные выполнять вычисления в реальном времени на границе. Чтобы ответить на эту технологическую потребность, STMicroelectronics представила микроконтроллер STM32N6 со встроенным блоком нейронной обработки (NPU), предназначенным для встраиваемых рабочих нагрузок ИИ. 

Запустив модели Ultralytics YOLO на STM32N6, STMicroelectronics продемонстрировала, что точный и эффективный встроенный Vision AI возможен на микроконтроллерах, открывая новые возможности для масштабируемого интеллектуального анализа на устройствах в таких секторах, как "умные города", здравоохранение и бытовая электроника.

Исследование Vision AI для маломощных устройств на границе

STMicroelectronics - мировой лидер в области полупроводниковых технологий, в котором работают более 50 000 сотрудников и более 200 000 клиентов по всему миру. Они разрабатывают и создают микросхемы, которые обеспечивают работу различных приложений - от электромобилей и промышленного оборудования до устройств "умного дома" и бытовой электроники.

По мере того как все больше отраслей промышленности обращаются к искусственному интеллекту, чтобы сделать устройства более умными и отзывчивыми, компания STMicroelectronics сосредоточила свои усилия на внедрении этих возможностей непосредственно на границе. Например, их микроконтроллер STM32N6, мощный и энергоэффективный чип, может решать задачи искусственного интеллекта на устройстве, такие как компьютерное зрение.

Чтобы помочь разработчикам создавать встраиваемые приложения для технического зрения на STM32N6, компания STMicroelectronics искала гибкие, высокопроизводительные модели, которые могли бы эффективно работать на микроконтроллере. Модели Ultralytics YOLO оказались как нельзя кстати, предлагая надежное сочетание скорости, точности и простоты интеграции.

Ограничения, связанные с созданием встраиваемых систем на базе ИИ

До того как концепция Edge AI получила широкое распространение, модели компьютерного зрения обычно разрабатывались для работы на больших централизованных системах, таких как облачные серверы или графические процессоры (GPU). Эти платформы обеспечивали вычислительные возможности, необходимые для обучения и развертывания больших моделей, но при этом имели такие ограничения, как высокое энергопотребление, зависимость от сети, задержки и повышенные эксплуатационные расходы.

По мере роста интереса к внедрению более интеллектуальных приложений, работающих в режиме реального времени, в таких отраслях, как здравоохранение, бытовая электроника и "умные города", стало ясно, что перенос обработки ИИ ближе к месту генерации данных, в само устройство, является как технической необходимостью, так и стратегической возможностью.

Однако запуск моделей ИИ на маломощных микроконтроллерах может оказаться сложной задачей. Эти устройства, как правило, имеют ограниченную память, вычислительную мощность и энергопотребление, что затрудняет развертывание сложных моделей зрения без ущерба для производительности и точности. 

Компании STMicroelectronics требовалось найти набор моделей, достаточно универсальных, чтобы обеспечить надежные возможности компьютерного зрения в реальном времени для микроконтроллера STM32N6, не требуя от разработчиков радикального упрощения моделей и рабочих процессов. Их цель заключалась в том, чтобы обеспечить полноценный искусственный интеллект на устройстве, не выходя при этом за рамки жестких ограничений встраиваемых систем.

Оптимизированное развертывание модели YOLO на микроконтроллерах

Для реализации передового ИИ во встраиваемых устройствах с низким энергопотреблением компания STMicroelectronics представила STM32N6, высокопроизводительный микроконтроллер, оснащенный ускорителем Neural-ART Accelerator™. Это собственный блок нейронной обработки (NPU), созданный специально для краевых рабочих нагрузок ИИ. Эта технология позволяет разработчикам выполнять выводы ИИ непосредственно на устройстве, снижая зависимость от облачных вычислений и повышая скорость, отзывчивость и энергоэффективность.

Компания STMicroelectronics сотрудничает с Ultralytics, чтобы оценить и продемонстрировать возможности STM32N6, запустив на микроконтроллере модели Ultralytics YOLO. Известные своим балансом скорости и точности, модели Ultralytics YOLO хорошо подходят для сред с ограниченными ресурсами и встраиваемых систем.

‍

Запуская различные варианты моделей YOLO непосредственно на STM32N6, STMicroelectronics смогла продемонстрировать ряд сценариев использования ИИ в области зрения, таких как обнаружение, классификация и отслеживание объектов, в пределах мощности и памяти микроконтроллера. Это сотрудничество предоставляет разработчикам надежную возможность развертывания встраиваемых систем с искусственным интеллектом в реальном времени с использованием масштабируемых, готовых к производству моделей технического зрения.

Почему стоит выбрать модели YOLO от Ultralytics?

Модели Ultralytics YOLO предложили STMicroelectronics оптимальное сочетание точности, эффективности и универсальности, необходимое для встраиваемых систем с поддержкой ИИ. Модели достаточно легкие, чтобы работать на маломощных микроконтроллерах, таких как STM32N6, но при этом достаточно мощные, чтобы обеспечить обнаружение объектов и сегментацию экземпляров в режиме реального времени.

Например, при запуске модели Ultralytics YOLOv8n с разрешением 256 на 256 на STM32N6 система достигла скорости 34 кадра в секунду, при этом каждое умозаключение занимало около 29 миллисекунд. Измерения энергопотребления показали, что система потребляет всего 9,4 миллиджоуля на один вывод, что делает ее хорошо подходящей для задач видения в реальном времени на маломощных устройствах.

Благодаря поддержке нескольких вариантов модели YOLO разработчики могут гибко настраивать скорость, размер или точность в зависимости от ограничений своего приложения. Легко интегрируемая архитектура в сочетании с мощной поддержкой сообщества и документацией сделали Ultralytics YOLO идеальным решением для STMicroelectronics, стремящейся ускорить внедрение Vision AI в широкий спектр встроенных приложений.

Благодаря лицензии Ultralytics Enterprise компания STMicroelectronics предоставляет клиентам доступ к полному набору моделей YOLO для внутреннего тестирования и разработки. Однако для любого коммерческого развертывания заказчики должны запросить свою собственную коммерческую лицензию непосредственно у Ultralytics через форму лицензии. Это обеспечивает соответствие требованиям и поддерживает масштабируемый путь к готовым к производству решениям Vision AI.

От умных городов до здравоохранения: Масштабируемый краевой ИИ в действии

Возможность запускать модели Ultralytics YOLO непосредственно на микроконтроллере STM32N6 открыла для STMicroelectronics и ее экосистемы разработчиков широкий спектр приложений Vision AI. Обеспечивая быстрые и точные выводы на устройстве без использования внешней обработки или подключения к облаку, это решение позволяет внедрять интеллектуальные функции в компактные системы с низким энергопотреблением.

Клиенты изучают такие варианты использования, как обнаружение пешеходов и транспортных средств в реальном времени в инфраструктуре "умных городов", проверка безопасности и контроль качества на устройстве в промышленной автоматизации, а также диагностика с помощью ИИ в портативных медицинских инструментах. Аналогичным образом, в сфере бытовой электроники модели YOLO позволяют реализовать такие функции, как обнаружение присутствия, распознавание жестов и отслеживание объектов - и все это в рамках ограничений производительности устройств, работающих от аккумулятора.

‍

Создание завтрашних решений Vision AI уже сегодня

Поскольку искусственный интеллект продолжает развиваться, компания STMicroelectronics стремится упростить внедрение мощных и эффективных решений в пограничные устройства. Благодаря тесному сотрудничеству с такими партнерами, как Ultralytics, они помогают разработчикам быстрее приступить к работе, предоставляя готовые модели, инструменты и ресурсы, совместимые с STM32. 

Сделайте следующий шаг в инновациях краевого ИИ. Посетите наш репозиторий GitHub, чтобы узнать, как модели Ultralytics YOLO преобразуют встроенное зрение. Узнайте о применении ИИ в здравоохранении и компьютерного зрения в розничной торговле и ознакомьтесь с нашими возможностями лицензирования уже сегодня!