Ultralytics и STMicroelectronics объединили усилия, чтобы эффективно развернуть модели YOLO на микроконтроллерах с низким энергопотреблением и обеспечить точный инференс в реальном времени на периферии.
По мере распространения ИИ в различных отраслях растёт спрос на высокопроизводительные решения с низким энергопотреблением, способные выполнять инференс в реальном времени на периферии. Чтобы удовлетворить эту технологическую потребность, STMicroelectronics представила микроконтроллер STM32N6 со встроенным нейропроцессором (NPU), предназначенным для рабочих нагрузок встроенного ИИ.
Запустив модели Ultralytics YOLO на STM32N6, STMicroelectronics продемонстрировала, что точный и эффективный встроенный ИИ для компьютерного зрения возможен на микроконтроллерах, открывая новые возможности для масштабируемого интеллектуального анализа непосредственно на устройствах в таких сферах, как умные города, здравоохранение и бытовая электроника.
Изучение возможностей ИИ для компьютерного зрения на периферийных устройствах с низким энергопотреблением#
STMicroelectronics — мировой лидер в области полупроводниковых технологий: в компании работает более 50 000 сотрудников, а число клиентов по всему миру превышает 200 000. Компания проектирует и производит микросхемы для самых разных приложений — от электромобилей и промышленного оборудования до устройств умного дома и бытовой электроники.
По мере того как всё больше отраслей обращаются к ИИ, чтобы сделать устройства более интеллектуальными и отзывчивыми, STMicroelectronics уделяет особое внимание переносу этих возможностей непосредственно на периферию. Например, их микроконтроллер STM32N6 — мощная и энергоэффективная микросхема, способная выполнять на устройстве задачи ИИ, такие как компьютерное зрение.
Чтобы помочь разработчикам создавать приложения для встроенного компьютерного зрения на STM32N6, STMicroelectronics искала гибкие высокопроизводительные модели, способные эффективно работать на микроконтроллере. Модели Ultralytics YOLO оказались отличным выбором, предложив надёжное сочетание скорости, точности и простоты интеграции.
Ограничения при создании встраиваемых систем на базе ИИ#
До того как концепция периферийного ИИ получила широкое распространение, модели компьютерного зрения обычно разрабатывали для работы на крупных централизованных системах, таких как облачные серверы или GPU (графические процессоры). Эти платформы предоставляли вычислительные возможности, необходимые для обучения и развёртывания больших моделей, но также создавали такие ограничения, как высокое энергопотребление, зависимость от сети, задержки и рост эксплуатационных расходов.
По мере роста интереса к внедрению более интеллектуальных приложений реального времени в таких отраслях, как здравоохранение, бытовая электроника и умные города, стало очевидно, что перенос обработки ИИ ближе к месту генерации данных — непосредственно на устройство — является одновременно технической необходимостью и стратегической возможностью.
Однако запуск моделей ИИ на микроконтроллерах с низким энергопотреблением может быть сложной задачей. Такие устройства обычно располагают ограниченными объёмами памяти, вычислительными ресурсами и запасом энергии, из-за чего развернуть сложные модели компьютерного зрения без ущерба для производительности или точности бывает трудно.
STMicroelectronics требовалось подобрать набор достаточно универсальных моделей, способных обеспечить надёжные возможности компьютерного зрения в реальном времени на микроконтроллере STM32N6, не заставляя разработчиков радикально упрощать модели или рабочие процессы. Цель заключалась в том, чтобы обеспечить полноценный ИИ непосредственно на устройстве, соблюдая при этом строгие ограничения встраиваемых систем.
Упрощённое развёртывание моделей YOLO на микроконтроллерах#
Чтобы обеспечить работу передовых решений ИИ на периферийных устройствах с низким энергопотреблением, STMicroelectronics представила STM32N6 — высокопроизводительный микроконтроллер, оснащённый Neural-ART Accelerator™. Это разработанный компанией нейропроцессор (NPU), специально предназначенный для рабочих нагрузок периферийного ИИ. Эта технология позволяет разработчикам выполнять инференс ИИ непосредственно на устройстве, снижая зависимость от облачных вычислений и повышая скорость, отзывчивость и энергоэффективность.
STMicroelectronics в сотрудничестве с Ultralytics оценила и продемонстрировала возможности STM32N6, запустив модели Ultralytics YOLO на микроконтроллере. Благодаря балансу скорости и точности модели Ultralytics YOLO хорошо подходят для сред с ограниченными ресурсами и встраиваемых развёртываний.
Рис. 1. Пример запуска модели Ultralytics YOLO на STM32N6.
Запустив различные варианты моделей YOLO непосредственно на STM32N6, STMicroelectronics смогла продемонстрировать целый ряд сценариев применения ИИ для компьютерного зрения, включая обнаружение объектов, классификацию и трекинг, соблюдая ограничения микроконтроллера по энергопотреблению и памяти. Это сотрудничество предоставляет разработчикам надёжный вариант развёртывания встраиваемых систем на базе ИИ в реальном времени с использованием масштабируемых моделей компьютерного зрения, готовых к промышленной эксплуатации.
Почему стоит выбрать модели Ultralytics YOLO?#
Модели Ultralytics YOLO предложили STMicroelectronics необходимое сочетание точности, эффективности и универсальности для встраиваемых систем с поддержкой ИИ. Эти модели достаточно компактны для запуска на микроконтроллерах с низким энергопотреблением, таких как STM32N6, и при этом достаточно мощны, чтобы обеспечивать обнаружение объектов и сегментацию экземпляров в реальном времени.
Например, при запуске модели Ultralytics YOLOv8n с разрешением 256 на 256 на STM32N6 система достигла скорости 34 кадра в секунду, а каждый инференс занимал около 29 миллисекунд. Измерения энергопотребления показали, что на один инференс требовалось всего 9,4 миллиджоуля, что делает модель хорошо подходящей для задач компьютерного зрения в реальном времени на устройствах с низким энергопотреблением.
Поддержка нескольких вариантов моделей YOLO даёт разработчикам возможность настраивать их под скорость, размер или точность в зависимости от ограничений конкретного приложения. Архитектура, удобная для интеграции, в сочетании с сильной поддержкой сообщества и подробной документацией сделала Ultralytics YOLO естественным выбором для цели STMicroelectronics — ускорить внедрение ИИ для компьютерного зрения в широком спектре встраиваемых сценариев.
Благодаря лицензии Ultralytics Enterprise STMicroelectronics предоставляет клиентам доступ ко всему набору моделей YOLO для внутреннего тестирования и разработки. Однако для любого коммерческого развёртывания клиентам необходимо запросить собственную коммерческую лицензию непосредственно у Ultralytics через лицензионную форму. Это обеспечивает соблюдение требований и поддерживает масштабируемый путь к готовым к промышленной эксплуатации решениям ИИ для компьютерного зрения.
От умных городов до здравоохранения: масштабируемый периферийный ИИ в действии#
Возможность запускать модели Ultralytics YOLO непосредственно на микроконтроллере STM32N6 открыла для STMicroelectronics и её экосистемы разработчиков широкий спектр приложений ИИ для компьютерного зрения. Обеспечивая быстрый и точный инференс на устройстве без зависимости от внешней обработки или облачного подключения, это решение позволяет внедрять интеллектуальные функции в компактные системы с низким энергопотреблением.
Клиенты изучают сценарии применения в таких сферах, как обнаружение пешеходов и транспортных средств в реальном времени в инфраструктуре умных городов, проверки безопасности непосредственно на устройстве и контроль качества в промышленной автоматизации, а также диагностика с поддержкой ИИ в портативных медицинских инструментах. Аналогично, в сфере бытовой электроники модели YOLO обеспечивают отзывчивые функции, такие как обнаружение присутствия, распознавание жестов и отслеживание объектов, — всё это в пределах производительности устройств с батарейным питанием.
Создаём решения ИИ для компьютерного зрения завтрашнего дня уже сегодня#
По мере развития ИИ STMicroelectronics стремится упростить внедрение мощных и эффективных решений на периферийных устройствах. Тесно сотрудничая с такими партнёрами, как Ultralytics, компания помогает разработчикам быстрее начинать работу с готовыми моделями, инструментами и ресурсами, совместимыми с STM32.
Сделай следующий шаг в развитии периферийного ИИ. Посети наш репозиторий GitHub, чтобы узнать, как модели Ultralytics YOLO преобразуют встроенное компьютерное зрение. Изучи применения ИИ в здравоохранении и компьютерного зрения в розничной торговле, а также ознакомься с нашими вариантами лицензирования уже сегодня!
