Ultralytics и STMicroelectronics объединили усилия, чтобы эффективно развертывать модели YOLO на микроконтроллерах с низким энергопотреблением и выполнять точный инференс в реальном времени на периферии.
По мере распространения ИИ в разных отраслях растёт спрос на высокопроизводительные решения с низким энергопотреблением, способные выполнять инференс в реальном времени на периферийных устройствах. Чтобы удовлетворить эту технологическую потребность, STMicroelectronics представила микроконтроллер STM32N6 со встроенным нейронным процессором (NPU), предназначенным для встраиваемых ИИ-нагрузок.
Запустив модели Ultralytics YOLO на STM32N6, STMicroelectronics продемонстрировала, что точный и эффективный встроенный Vision AI возможен на микроконтроллерах, открывая новые возможности для масштабируемого локального интеллектуального анализа в таких сферах, как умные города, здравоохранение и бытовая электроника.
Изучаем Vision AI для устройств с низким энергопотреблением на периферии#
STMicroelectronics — мировой лидер в области полупроводниковых технологий: в компании работает более 50 000 сотрудников, а число клиентов по всему миру превышает 200 000. Компания проектирует и производит чипы для самых разных применений — от электромобилей и промышленного оборудования до устройств умного дома и бытовой электроники.
По мере того как все больше отраслей используют ИИ, чтобы сделать устройства умнее и отзывчивее, STMicroelectronics сосредоточилась на переносе этих возможностей непосредственно на периферию. Например, ее мощный и энергоэффективный микроконтроллер STM32N6 способен выполнять такие задачи ИИ непосредственно на устройстве, как компьютерное зрение.
Чтобы помочь разработчикам создавать встраиваемые приложения компьютерного зрения для STM32N6, STMicroelectronics искала гибкие и производительные модели, способные эффективно работать на микроконтроллере. Модели Ultralytics YOLO оказались отличным решением, обеспечивая надежное сочетание скорости, точности и простоты интеграции.
Ограничения при создании встраиваемых систем с ИИ#
До того как концепция периферийного ИИ получила широкое признание, модели компьютерного зрения обычно разрабатывали для работы на крупных централизованных системах, например облачных серверах или графических процессорах (GPU). Такие платформы обладали вычислительными ресурсами, необходимыми для обучения и развёртывания крупных моделей, но имели и недостатки: высокое энергопотребление, зависимость от сети, задержки и повышенные эксплуатационные расходы.
По мере роста интереса к внедрению более интеллектуальных приложений реального времени в таких отраслях, как здравоохранение, бытовая электроника и умные города, стало ясно: перенос обработки ИИ ближе к источнику данных — непосредственно на устройство — не только технически необходим, но и стратегически выгоден.
Однако запуск моделей ИИ на маломощных микроконтроллерах может быть сложной задачей. Обычно у таких устройств ограничены память, вычислительная мощность и запас энергии, поэтому развертывать на них сложные модели компьютерного зрения без потери производительности или точности трудно.
STMicroelectronics требовался набор достаточно универсальных моделей, чтобы обеспечить надежное компьютерное зрение в реальном времени на микроконтроллере STM32N6 и при этом не заставлять разработчиков существенно упрощать модели или рабочие процессы. Компания стремилась предоставить полезные возможности ИИ непосредственно на устройстве, соблюдая строгие ограничения встраиваемых систем.
Упрощенное развертывание моделей YOLO на микроконтроллерах#
Чтобы обеспечить работу передового ИИ на встраиваемых устройствах с низким энергопотреблением, STMicroelectronics представила STM32N6 — высокопроизводительный микроконтроллер с ускорителем Neural-ART™. Это собственный нейронный процессор (NPU), созданный специально для периферийных ИИ-нагрузок. Эта технология позволяет разработчикам выполнять инференс непосредственно на устройстве, снижая зависимость от облачных вычислений и повышая скорость, отзывчивость и энергоэффективность.
STMicroelectronics сотрудничала с Ultralytics, чтобы оценить и продемонстрировать возможности STM32N6, запустив модели Ultralytics YOLO на микроконтроллере. Благодаря удачному сочетанию скорости и точности модели Ultralytics YOLO хорошо подходят для сред с ограниченными ресурсами и встраиваемых систем.
Рис. 1. Пример запуска модели Ultralytics YOLO на STM32N6.
Запустив различные варианты моделей YOLO непосредственно на STM32N6, STMicroelectronics продемонстрировала целый ряд сценариев Vision AI, например обнаружение объектов, классификацию и отслеживание, — все в пределах ограничений микроконтроллера по энергопотреблению и памяти. Это сотрудничество предлагает разработчикам надежный способ развертывать встраиваемые системы с ИИ для работы в реальном времени, используя масштабируемые модели компьютерного зрения, готовые к промышленному применению.
Почему стоит выбрать модели Ultralytics YOLO?#
Модели Ultralytics YOLO предложили STMicroelectronics нужное сочетание точности, эффективности и универсальности для встраиваемых систем с поддержкой ИИ. Эти модели достаточно легкие, чтобы работать на микроконтроллерах с низким энергопотреблением, таких как STM32N6, и при этом достаточно мощные для обнаружения объектов и сегментации экземпляров в реальном времени.
Например, при запуске модели YOLOv8n от Ultralytics с разрешением 256 × 256 на STM32N6 система достигла скорости 34 кадра в секунду, а инференс занимал около 29 миллисекунд. Измерения энергопотребления показали, что на один инференс требовалось всего 9,4 миллиджоуля, поэтому модель хорошо подходит для задач компьютерного зрения в реальном времени на устройствах с низким энергопотреблением.
Поддержка нескольких вариантов моделей YOLO позволяет разработчикам настраивать соотношение скорости, размера и точности в соответствии с ограничениями приложения. Простая в интеграции архитектура, а также широкая поддержка сообщества и подробная документация сделали Ultralytics YOLO естественным выбором для достижения цели STMicroelectronics — ускорить внедрение Vision AI в самых разных встраиваемых системах.
По лицензии Ultralytics Enterprise STMicroelectronics предоставляет клиентам доступ ко всему набору моделей YOLO для внутреннего тестирования и разработки. Однако для любого коммерческого развертывания клиентам необходимо запросить собственную коммерческую лицензию непосредственно у Ultralytics, заполнив лицензионную форму. Это обеспечивает соблюдение требований и создает условия для масштабирования готовых к производству решений Vision AI.
От умных городов до здравоохранения: масштабируемый периферийный ИИ в действии#
Возможность запускать модели Ultralytics YOLO непосредственно на микроконтроллере STM32N6 открыла для STMicroelectronics и ее сообщества разработчиков широкий спектр приложений Vision AI. Благодаря быстрому и точному инференсу на устройстве, не зависящему от внешней обработки или подключения к облаку, это решение позволяет внедрять интеллектуальные функции в компактные системы с низким энергопотреблением.
Клиенты изучают варианты применения в разных отраслях: обнаружение пешеходов и транспортных средств в реальном времени для умной городской инфраструктуры, проверки безопасности и контроль качества на устройствах для промышленной автоматизации, а также диагностика с поддержкой ИИ в портативных медицинских устройствах. В сфере потребительской электроники модели YOLO обеспечивают отзывчивую работу таких функций, как обнаружение присутствия, распознавание жестов и отслеживание объектов, с учётом ограничений производительности устройств с батарейным питанием.
Создаем решения Vision AI завтрашнего дня уже сегодня#
По мере развития ИИ STMicroelectronics стремится упростить внедрение мощных и эффективных решений в периферийные устройства. Тесно сотрудничая с такими партнерами, как Ultralytics, компания помогает разработчикам быстрее приступить к работе благодаря готовым моделям, инструментам и ресурсам, совместимым с STM32.
Сделай следующий шаг в развитии периферийного ИИ. Посети наш репозиторий GitHub, чтобы узнать, как модели Ultralytics YOLO меняют встраиваемое компьютерное зрение. Изучи применение ИИ в здравоохранении и компьютерного зрения в розничной торговле, а также ознакомься с нашими вариантами лицензирования уже сегодня!
Автор
Создатель контента · Ultralytics
