Запуск моделей Ultralytics YOLO на оборудовании Axelera AI для периферийного ИИ

В Ultralytics мы наблюдаем растущий переход к запуску моделей компьютерного зрения непосредственно на периферийных устройствах по мере широкого внедрения ИИ. Общаясь с сообществом специалистов по компьютерному зрению онлайн и лично на недавних технологических конференциях, наша команда заметила, что все больше людей интересуются развертыванием визуального ИИ ближе к источникам данных.

От умных магазинов и промышленной автоматизации до робототехники — аналитика в реальном времени становится необходимой, и одной лишь облачной инфраструктуры уже недостаточно.

Проще говоря, периферийный ИИ позволяет запускать модели ИИ локально на устройствах, не отправляя данные для обработки на централизованные серверы. Это помогает снизить задержку, повысить надежность и реагировать на реальные события в режиме реального времени.

Однако развертывание высокопроизводительных моделей в таких условиях сопряжено с трудностями: ограниченные вычислительные ресурсы и энергопотребление требуют, чтобы модели были эффективными и оптимизированными для оборудования, на котором они работают.

Модели Ultralytics YOLO, например Ultralytics YOLO26, созданы для компьютерного зрения в реальном времени, но для раскрытия их полного потенциала на периферии нужно правильное сочетание программного и аппаратного обеспечения. Именно поэтому мы рады объявить о сотрудничестве с Axelera AI.

Мы объединились с Axelera AI, чтобы представить обновленную интеграцию экспорта, которая обеспечивает эффективное высокопроизводительное развертывание моделей Ultralytics YOLO на AI-ускорителях Metis® (AIPU).

Рис. 1. Обзор AI-ускорителя Metis (Источник)

В этой статье мы рассмотрим, как компилировать модели Ultralytics YOLO для развертывания на Metis.

Периферийный ИИ — будущее компьютерного зрения#

По мере развития приложений компьютерного зрения все важнее становится более быстрая и эффективная обработка данных. Традиционные облачные решения могут увеличивать задержку, зависеть от стабильного подключения и не соответствовать требованиям многих интеллектуальных систем машинного зрения, работающих в реальном времени.

Периферийный ИИ решает эти задачи, позволяя запускать модели непосредственно на локальных устройствах и обрабатывать данные ближе к их источнику. Например, рассмотрим дроны с компьютерным зрением, используемые в поисково-спасательных операциях.

Таким системам нужно анализировать видеопотоки в реальном времени, обнаруживая людей, препятствия и опасности, зачастую в удаленных районах с ограниченным доступом к интернету или без него. Запуская модели компьютерного зрения непосредственно на дроне, периферийный ИИ ускоряет принятие решений и повышает надежность работы без зависимости от облачной инфраструктуры.

Этот переход открывает новые возможности в разных отраслях. Такие приложения, как обнаружение объектов в розничной торговле в реальном времени, автоматизированная проверка качества на производстве и восприятие окружающей среды роботами, выигрывают от более быстрого отклика и повышенной надежности.

Периферийный ИИ быстро становится ключевым инструментом для развертывания масштабируемых и отзывчивых систем компьютерного зрения в реальных условиях.

Знакомство с AI-ускорителями Metis от Axelera AI#

Прежде чем перейти к новой интеграции экспорта, давай подробнее познакомимся с AI-ускорителями Metis от Axelera AI и их ролью в эффективной работе периферийного ИИ.

Axelera AI разрабатывает специализированное оборудование для ускорения инференса ИИ на периферии. Важная его часть — Metis AIPU, или AI-ускоритель, специализированный процессор для эффективного запуска нейронных сетей на периферийных устройствах.

В отличие от универсальных центральных процессоров (CPUs) и графических процессоров (GPUs), AIPU предназначены для выполнения специфических вычислительных операций, характерных для рабочих нагрузок ИИ. Это позволяет им обеспечивать высокую производительность при низком энергопотреблении, что особенно важно для периферийных систем с ограниченными ресурсами.

Подход Axelera AI выделяется своей полнофункциональной архитектурой. Metis построена на основе вычислений в цифровой памяти (D-IMC) и RISC-V, обеспечивая высокую производительность при энергоэффективности, необходимой периферийным вычислениям. Четыре ядра Metis программируются независимо, поэтому на одном чипе можно параллельно запускать четыре модели. Помимо аппаратного обеспечения, Voyager SDK включает компилятор и среду выполнения, которые совместно оптимизируют модели для развертывания.

Благодаря этому разработчики могут эффективнее переходить от обученных моделей к инференсу, готовому к эксплуатации. В частности, AIPU Metis позволяют запускать передовые модели компьютерного зрения, например модели Ultralytics YOLO, непосредственно на периферийных устройствах: от корпоративных, торговых, медицинских и производственных сред до сельскохозяйственной и промышленной техники и спутников.

Экспорт моделей Ultralytics YOLO для развертывания на Metis#

Пакет Ultralytics для Python предоставляет единый интерфейс для обучения, оценки и развертывания моделей YOLO для широкого спектра задач компьютерного зрения. Модели YOLO обычно разрабатывают и обучают с помощью PyTorch, хорошо подходящего для экспериментов и разработки моделей.

Однако для развертывания этих моделей на специализированном периферийном оборудовании их нужно преобразовать в формат, оптимизированный для целевого устройства. Здесь пригодятся интеграции для экспорта, поддерживаемые пакетом Ultralytics для Python.

Ultralytics предлагает различные варианты экспорта, позволяющие преобразовать модели YOLO в разные форматы в зависимости от целевой платформы развертывания, например ONNX, TensorRT и другие бэкенды для конкретного оборудования. Эти интеграции упрощают подготовку моделей к реальным приложениям, выполняя необходимые этапы оптимизации и преобразования.

В развитие этой функции Ultralytics представила обновленную интеграцию с Axelera AI, позволяющую экспортировать модели YOLO для развертывания на AIPU Metis.

Во время экспорта модель компилируется и квантуется до оптимизированного представления, специально предназначенного для оборудования Axelera. В результате получается скомпилированная модель в формате ".axm" и метаданные, необходимые для развертывания и инференса.

Рис. 2. Модели Ultralytics YOLO можно запускать на AIPU Metis. (Источник)

Интеграция поддерживает широкий спектр задач компьютерного зрения для моделей Ultralytics YOLOv8, Ultralytics YOLO11 и Ultralytics YOLO26, включая обнаружение объектов, сегментацию экземпляров, классификацию изображений, оценку позы и обнаружение ориентированных ограничивающих рамок (OBB). В актуальных выпусках все задачи Ultralytics экспортируются напрямую, включая семантическую сегментацию и оценку глубины в YOLO26; подробности см. в списке поддерживаемых задач. В зоопарке моделей Voyager SDK также есть готовые к запуску модели YOLO.

Расширенная поддержка дает разработчикам возможность развертывать различные типы моделей компьютерного зрения в зависимости от приложения — от обнаружения объектов в реальном времени до понимания сцен, отслеживания движения и анализа сложных визуальных данных.

После экспорта модели можно развертывать и запускать без PyTorch во время инференса. Вместо этого они выполняются в среде Voyager SDK, которая поддерживает создание сквозных конвейеров для таких задач, как обработка видео, обнаружение в реальном времени и отслеживание непосредственно на периферийных устройствах.

Начало работы с экспортом моделей Ultralytics YOLO#

Теперь, когда мы лучше познакомились с новой интеграцией экспорта, давай разберем, как экспортировать модели Ultralytics YOLO в этот специальный формат и запускать их на оборудовании Metis на периферии.

Шаг 1. Установи пакет Ultralytics для Python#

Для начала установи пакет Ultralytics для Python. Он предоставляет простой и последовательный интерфейс для обучения, оценки и экспорта моделей YOLO.

Установить пакет можно с помощью pip: выполни в терминале или командной строке следующую команду:

pip install ultralytics

Если при установке или экспорте возникнут проблемы, обратись к официальной документации Ultralytics и руководству по распространенным проблемам — они помогут устранить неполадки.

Шаг 2. Установи драйверы Axelera и Voyager SDK#

Чтобы экспортировать модели и запускать их на оборудовании Axelera, также установи драйверы Axelera и Voyager SDK. Этот шаг обеспечивает взаимодействие с AIPU Metis и предоставляет необходимую среду выполнения и инструменты компилятора.

Следующие шаги нужно выполнить в среде Linux с доступом к оборудованию Axelera AI Metis. Открой терминал в системе или ячейку ноутбука, если запускаешь Jupyter Notebook в совместимой локальной среде, и выполни приведенные ниже команды.

Сначала добавь ключ репозитория Axelera, выполнив следующую команду:

sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"

Затем, как показано ниже, добавь репозиторий Axelera в систему:

sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source/ ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"

После этого установи Voyager SDK и загрузи драйвер Metis:

sudo apt update
sudo apt install -y metis-dkms
sudo modprobe metis

После выполнения этих шагов система будет готова к экспорту и запуску моделей Ultralytics YOLO на устройствах Axelera AI Metis.

Шаг 3. Экспорт моделей Ultralytics YOLO#

После установки пакета Ultralytics можно загрузить модель YOLO и экспортировать ее в виде скомпилированного пакета для Metis. В результате модель преобразуется в формат, оптимизированный для развертывания на оборудовании Axelera AI Metis.

В примере ниже мы используем предобученную нано-модель YOLO26 и экспортируем ее для Metis. Экспортированная модель будет сохранена в каталоге с именем "yolo26n_axelera_model".

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

model.export(format="axelera")

Шаг 4. Запусти инференс с экспортированной моделью#

После экспорта модели ее можно загрузить и запустить инференс на новых изображениях или видеопотоках. Так задачи компьютерного зрения в реальном времени выполняются непосредственно на устройствах Axelera AI Metis.

Например, в приведенном ниже фрагменте кода показано, как загрузить экспортированную модель и запустить инференс по общедоступному URL.

axelera_model = YOLO("yolo26n_axelera_model")

results = axelera_model("https://ultralytics.com/images/bus.jpg", save=True)

В этом случае модель анализирует входное изображение и обнаруживает объекты, сохраняя результаты в каталоге "runs/detect/predict".

Как Ultralytics YOLO и оборудование Axelera AI помогают решать реальные задачи#

Теперь обсудим несколько распространенных сценариев применения периферийного ИИ, в которых модели Ultralytics YOLO можно развернуть на оборудовании Axelera AI в реальных условиях.

AIPU Metis от Axelera AI предназначены для самых разных сред развертывания: от встраиваемых систем и промышленных ПК до робототехники и периферийных серверов. Высокопроизводительный и энергоэффективный инференс позволяет запускать приложения компьютерного зрения непосредственно на устройствах в самых разных отраслях. Voyager SDK также включает конструктор конвейеров, который помогает инженерам по машинному обучению и разработчикам приложений подготовить модели к использованию на периферии.

Умные системы машинного зрения в розничной торговле на периферии#

В розничной торговле понимание поведения покупателей в реальном времени может существенно повлиять на результаты.

С помощью моделей Ultralytics YOLO, работающих на оборудовании Axelera AI, магазины могут отслеживать поток посетителей, считать людей и анализировать перемещения внутри магазина по мере их возникновения. Поскольку все вычисления выполняются непосредственно на устройстве, аналитические данные можно получать мгновенно, без подключения к облаку. Это помогает командам быстрее реагировать и сохранять конфиденциальность данных.

Рис. 3. Обнаружение и подсчет людей в торговом центре с помощью Ultralytics YOLO26

Периферийный ИИ для инспекции коммунальных объектов и инфраструктуры#

Обслуживание крупных объектов инфраструктуры, например линий электропередачи, — сложная и ресурсоемкая задача. Такие сети часто протянулись на огромные расстояния, поэтому инспекции занимают много времени, обходятся дорого и могут быть опасны. Если неисправности или ранние признаки износа остаются незамеченными, это может привести к отключениям, повреждению оборудования или угрозам безопасности.

Дроны все чаще используют для повышения эффективности инспекций. Они могут преодолевать большие расстояния, добираться до труднодоступных мест и делать снимки критически важных объектов с высоким разрешением.

Сочетание дронов с периферийным ИИ дополнительно улучшает эти рабочие процессы. Модели Ultralytics YOLO, работающие на оборудовании Axelera AI, обеспечивают анализ в реальном времени во время инспекций: выявляют неисправности, классифицируют компоненты и обнаруживают аномалии на месте. Это снижает потребность в проверке вручную и помогает быстрее и надежнее контролировать состояние инфраструктуры.

Рис. 4. Обнаружение различных элементов линии электропередачи с помощью Ultralytics YOLO26

Расширение возможностей робототехники с помощью аналитики компьютерного зрения на базе ИИ в реальном времени#

В робототехнике скорость и отзывчивость критически важны. Будь то перемещение по складу или работа в динамичной промышленной среде, роботам необходимо мгновенно интерпретировать окружающую обстановку.

Модели Ultralytics YOLO, работающие на оборудовании Axelera AI, позволяют роботам интерпретировать окружающую обстановку в реальном времени: обнаруживать препятствия, отслеживать людей и распознавать объекты. Благодаря этому системы могут безопаснее перемещаться, адаптироваться к динамичным условиям и работать более автономно, не полагаясь на постоянное подключение к облаку.

Ключевые преимущества запуска моделей Ultralytics YOLO на AIPU Metis#

Вот некоторые ключевые преимущества развертывания моделей Ultralytics YOLO на оборудовании Metis от Axelera AI с помощью новой интеграции:

• Интеграция с рабочим процессом Ultralytics: Экспорт моделей YOLO для развертывания на Metis органично встроен в пакет Ultralytics Python, что упрощает переход от обучения к инференсу.
• Поддержка нескольких задач компьютерного зрения: Ты можешь развертывать модели YOLOv8, YOLO11 и YOLO26 для обнаружения объектов, сегментации, классификации, оценки позы и других задач.
• Параллельный запуск моделей: AIPU Metis оснащены четырьмя независимо программируемыми ядрами, которые могут параллельно запускать четыре отдельные модели в соответствии с твоими потребностями.
• Масштабирование для периферийных ИИ-приложений: от аналитики в розничной торговле и промышленной инспекции до робототехники и умной инфраструктуры — интеграция поддерживает широкий спектр практических сценариев.

Главные выводы#

Модели Ultralytics YOLO и AIPU Metis от Axelera AI упрощают внедрение высокопроизводительного компьютерного зрения на периферии. Упрощая развертывание и оптимизируя модели для специализированного оборудования, эта интеграция помогает сократить разрыв между разработкой и реальными приложениями.

По мере развития периферийного ИИ эффективные и масштабируемые варианты развертывания будут играть ключевую роль в создании отзывчивых и надежных систем. Это сотрудничество — шаг к тому, чтобы сделать передовые технологии компьютерного зрения на базе ИИ доступнее для разных отраслей.

Хочешь узнать больше об ИИ? Загляни в наш репозиторий GitHub, присоединяйся к нашему сообществу и изучи варианты лицензирования, чтобы быстрее приступить к своему проекту в области компьютерного зрения. Узнай, как инновации, например ИИ в розничной торговле и компьютерное зрение в здравоохранении, меняют будущее.