STMicroelectronics запускает Ultralytics YOLO на MCU с энергопотреблением всего 9.4 мДж на инференс
Узнай, как STMicroelectronics эффективно развертывает модели Ultralytics YOLO на маломощных микроконтроллерах для достижения точного инференса в реальном времени на периферии.
По мере того как внедрение ИИ растет в различных отраслях, увеличивается спрос на высокопроизводительные, энергоэффективные решения, способные выполнять инференс в реальном времени на периферии. Чтобы ответить на эту технологическую потребность, STMicroelectronics представила микроконтроллер STM32N6 со встроенным нейронным процессором (NPU), разработанным для задач встроенного ИИ.
Запуская модели Ultralytics YOLO на STM32N6, компания STMicroelectronics продемонстрировала, что точный и эффективный встроенный искусственный интеллект для компьютерного зрения возможен на микроконтроллерах, открывая новые возможности для масштабируемого локального интеллекта в таких секторах, как «умные» города, здравоохранение и бытовая электроника.
Исследование Vision AI для маломощных периферийных устройств#
STMicroelectronics — мировой лидер в области полупроводниковых технологий, насчитывающий более 50 000 сотрудников и более 200 000 клиентов по всему миру. Они проектируют и создают чипы, которые обеспечивают работу приложений от электромобилей и промышленного оборудования до устройств «умного дома» и бытовой электроники.
Поскольку все больше отраслей обращаются к искусственному интеллекту, чтобы сделать устройства умнее и отзывчивее, компания STMicroelectronics сосредоточилась на внедрении этих возможностей непосредственно на периферии. Например, их микроконтроллер STM32N6, мощный и энергоэффективный чип, может справляться с задачами локального искусственного интеллекта, такими как computer vision.
Чтобы помочь разработчикам создавать приложения встроенного зрения на STM32N6, STMicroelectronics искала гибкие, высокопроизводительные модели, которые могли бы эффективно работать на микроконтроллере. Модели Ultralytics YOLO оказались отличным выбором, предлагая надежное сочетание скорости, точности и легкости интеграции.
Ограничения при создании встроенных систем на базе ИИ#
До того как концепция Edge AI стала широко признанной, модели компьютерного зрения обычно разрабатывались для работы на крупных централизованных системах, таких как облачные серверы или GPU (графические процессоры). Эти платформы предлагали вычислительные возможности, необходимые для обучения и развертывания больших моделей, но они также создавали ограничения, такие как высокое энергопотребление, сетевая зависимость, задержки и повышенные эксплуатационные расходы.
По мере роста интереса к реализации более интеллектуальных приложений реального времени в таких отраслях, как здравоохранение, бытовая электроника и «умные» города, стало очевидно, что перенос обработки данных с помощью искусственного интеллекта ближе к месту их создания, то есть на само устройство, является как технической необходимостью, так и стратегической возможностью.
Однако запуск моделей ИИ на маломощных микроконтроллерах может быть сложной задачей. Эти устройства, как правило, имеют ограниченную память, вычислительную мощность и энергетический ресурс, что затрудняет развертывание сложных моделей зрения без ущерба для производительности или точности.
STMicroelectronics нужно было найти набор моделей, достаточно универсальных, чтобы принести надежные возможности компьютерного зрения в реальном времени на их микроконтроллер STM32N6, не требуя от разработчиков радикального упрощения своих моделей или рабочих процессов. Их целью было обеспечить значимый ИИ на устройстве, оставаясь при этом в рамках строгих ограничений встроенных систем.
Оптимизированное развертывание моделей YOLO на микроконтроллерах#
Чтобы внедрить продвинутый ИИ на маломощные встроенные устройства, STMicroelectronics представила STM32N6, высокопроизводительный микроконтроллер, оснащенный ускорителем Neural-ART Accelerator™. Это собственный нейронный процессор (NPU), созданный специально для нагрузок Edge AI. Эта технология позволяет разработчикам выполнять инференс ИИ непосредственно на устройстве, уменьшая зависимость от облачных вычислений и повышая скорость, отзывчивость и энергоэффективность.
STMicroelectronics заключила партнерство с Ultralytics для оценки и демонстрации возможностей STM32N6 путем запуска моделей Ultralytics YOLO на микроконтроллере. Известные своим балансом скорости и точности, модели Ultralytics YOLO хорошо подходят для сред с ограниченными ресурсами и встроенных развертываний.
Рис. 1. Пример запуска модели Ultralytics YOLO на микроконтроллере STM32N6.
Запуская различные варианты моделей YOLO непосредственно на STM32N6, компания STMicroelectronics смогла продемонстрировать ряд вариантов использования компьютерного зрения, таких как обнаружение объектов, классификация и трекинг, и все это в рамках ограничений по питанию и памяти микроконтроллера. Это сотрудничество предоставляет разработчикам надежный вариант развертывания работающих в реальном времени встраиваемых систем на базе искусственного интеллекта с использованием масштабируемых, готовых к производству моделей компьютерного зрения.
Почему стоит выбрать модели Ultralytics YOLO?#
Модели Ultralytics YOLO предложили STMicroelectronics оптимальное сочетание точности, эффективности и универсальности, необходимое для встроенных систем с поддержкой ИИ. Модели достаточно легкие, чтобы работать на маломощных микроконтроллерах типа STM32N6, но при этом достаточно мощные, чтобы обеспечить производительность обнаружения объектов и сегментации экземпляров в реальном времени.
Например, при запуске модели Ultralytics YOLOv8n с разрешением 256 на 256 на STM32N6 система достигала 34 кадров в секунду, причем каждый вывод занимал около 29 миллисекунд. Измерения энергопотребления показали, что она расходует всего 9,4 миллиджоуля на один вывод, что делает ее отлично подходящей для задач компьютерного зрения в реальном времени на маломощных устройствах.
Благодаря поддержке нескольких вариантов моделей YOLO, разработчики имеют гибкость в настройке параметров для достижения скорости, размера или точности в зависимости от ограничений своего приложения. Легко интегрируемая архитектура в сочетании с мощной поддержкой сообщества и документацией сделали Ultralytics YOLO естественным выбором для цели STMicroelectronics по ускорению внедрения Vision AI в широком спектре встроенных сценариев использования.
Благодаря корпоративной лицензии Ultralytics компания STMicroelectronics предоставляет клиентам доступ к полному набору моделей YOLO для внутреннего тестирования и разработки. Тем не менее, для любого коммерческого развертывания клиенты должны запросить собственную коммерческую лицензию напрямую у Ultralytics через форму лицензирования. Это обеспечивает соблюдение требований и поддерживает масштабируемый путь к готовым к производству решениям для компьютерного зрения.
От умных городов до здравоохранения: масштабируемый Edge AI в действии#
Возможность запускать модели Ultralytics YOLO непосредственно на микроконтроллере STM32N6 открыла широкий спектр приложений Vision AI для STMicroelectronics и ее экосистемы разработчиков. Обеспечивая быстрый и точный инференс на устройстве без использования внешней обработки или облачного подключения, это решение позволяет развертывать интеллектуальные функции в компактных системах с низким энергопотреблением.
Клиенты изучают сценарии использования в таких секторах, как обнаружение пешеходов и транспортных средств в реальном времени в инфраструктуре «умных» городов, проверки безопасности на месте и контроль качества в промышленной автоматизации, а также диагностика с помощью искусственного интеллекта в портативных медицинских инструментах. Аналогичным образом, в сфере бытовой электроники модели YOLO обеспечивают такие отзывчивые функции, как обнаружение присутствия, распознавание жестов и трекинг объектов, и все это в рамках ограничений производительности устройств с батарейным питанием.
Создаем решения Vision AI завтрашнего дня уже сегодня#
По мере того как ИИ продолжает развиваться, STMicroelectronics сосредоточена на упрощении процесса внедрения мощных и эффективных решений на периферийные устройства. Работая в тесном сотрудничестве с такими партнерами, как Ultralytics, они помогают разработчикам быстрее начать работу с готовыми моделями, инструментами и ресурсами, совместимыми с STM32.
Сделай следующий шаг в инновациях периферийного искусственного интеллекта. Посети наш репозиторий GitHub, чтобы узнать, как модели Ultralytics YOLO преображают встраиваемое компьютерное зрение. Изучи приложения искусственного интеллекта в здравоохранении и компьютерного зрения в розничной торговле, а также ознакомься с нашими вариантами лицензирования уже сегодня!
