Запуск моделей Ultralytics YOLO на оборудовании Axelera AI для периферийного ИИ

В Ultralytics мы замечаем, что по мере более широкого внедрения ИИ всё больше моделей компьютерного зрения запускают непосредственно на периферийных устройствах. Общаясь с сообществом специалистов по компьютерному зрению онлайн и лично на недавних технологических конференциях, наша команда наблюдает растущий интерес к развертыванию ИИ для компьютерного зрения ближе к месту сбора данных.

От умных магазинов и промышленной автоматизации до робототехники — аналитические данные в реальном времени становятся необходимостью, и одной лишь облачной инфраструктуры уже недостаточно.

Проще говоря, периферийный ИИ — это запуск моделей ИИ локально на устройствах, а не отправка данных на централизованные серверы для обработки. Это позволяет снизить задержку, повысить надежность и реагировать на события реального мира в реальном времени.

Однако развертывание высокопроизводительных моделей в таких условиях сопряжено с собственными сложностями: ограниченные вычислительные ресурсы и энергопотребление требуют, чтобы модели были эффективными и оптимизированными для оборудования, на котором они работают.

Модели Ultralytics YOLO, например Ultralytics YOLO26, предназначены для компьютерного зрения в реальном времени, но для раскрытия их полного потенциала на периферии нужно правильно сочетать программное и аппаратное обеспечение. Поэтому мы рады объявить о сотрудничестве с Axelera AI.

Мы объединились с Axelera AI, чтобы представить обновленную интеграцию экспорта, обеспечивающую эффективное высокопроизводительное развертывание моделей Ultralytics YOLO на блоках обработки ИИ Metis® (AIPU).

Рис. 1. Обзор блока обработки ИИ Metis (источник)

В этой статье мы рассмотрим, как легко скомпилировать модели Ultralytics YOLO для развертывания на Metis. Начнем!

Периферийный ИИ — будущее компьютерного зрения#

По мере развития приложений компьютерного зрения потребность в более быстрой и эффективной обработке становится всё острее. Традиционные облачные подходы могут увеличивать задержку, зависят от стабильного подключения и не всегда отвечают требованиям реального времени во многих сценариях применения интеллектуальных систем компьютерного зрения.

Периферийный ИИ помогает решить эти задачи, позволяя моделям работать непосредственно на локальных устройствах и обрабатывать данные ближе к источнику. Например, рассмотрим дроны с системами компьютерного зрения, которые применяются в поисково-спасательных операциях.

Такие системы должны анализировать видеопотоки в реальном времени, чтобы обнаруживать людей, препятствия и опасности, часто в удаленных районах с ограниченным доступом к интернету или без него. Запуская модели компьютерного зрения непосредственно на дроне, периферийный ИИ позволяет быстрее принимать решения и надежнее работать без опоры на облачную инфраструктуру.

Этот переход открывает новые возможности в самых разных отраслях. Такие приложения, как обнаружение объектов в розничной торговле в реальном времени, автоматизированный контроль качества на производстве и восприятие окружающей среды роботами, выигрывают от более быстрой реакции и повышенной надежности.

Периферийный ИИ быстро становится ключевой технологией для развертывания масштабируемых и отзывчивых систем компьютерного зрения в реальных условиях.

Знакомство с блоками обработки ИИ Metis от Axelera AI#

Прежде чем перейти к новой интеграции экспорта, давай сначала разберемся подробнее с блоками обработки ИИ Metis от Axelera AI и их ролью в обеспечении эффективной работы периферийного ИИ.

Axelera AI разрабатывает специализированное оборудование, предназначенное для ускорения инференса ИИ на периферии. Ключевой компонент — Metis AIPU, или блок обработки ИИ, специализированный процессор для эффективного запуска нейронных сетей на периферийных устройствах.

В отличие от универсальных центральных процессоров (CPU) и даже графических процессоров (GPU), AIPU рассчитаны на конкретные вычислительные шаблоны задач ИИ. Благодаря этому они обеспечивают высокую производительность при низком энергопотреблении, что особенно важно в периферийных средах, где ресурсы часто ограничены.

Особенно инновационный аспект подхода Axelera AI — его полнофункциональная архитектура. Metis создан на основе цифровых вычислений в памяти (D-IMC) и RISC-V, что обеспечивает высокую производительность и энергоэффективность, необходимые периферийным вычислениям. Четыре ядра Metis программируются независимо, поэтому на одном чипе можно одновременно запускать четыре модели. Помимо аппаратного обеспечения, в Voyager SDK входят компилятор и среда выполнения, которые вместе оптимизируют модели для развертывания.

Это позволяет разработчикам эффективнее переходить от обученных моделей к готовому к эксплуатации инференсу. В частности, AIPU Metis позволяют запускать передовые модели компьютерного зрения, например модели Ultralytics YOLO, непосредственно на периферийных устройствах — от корпоративных, розничных, медицинских и производственных объектов до сельскохозяйственной и промышленной техники и спутников.

Экспорт моделей Ultralytics YOLO для развертывания на Metis#

Пакет Ultralytics для Python предоставляет единый интерфейс для обучения, оценки и развертывания моделей YOLO в широком спектре задач компьютерного зрения. Модели YOLO обычно разрабатывают и обучают с помощью PyTorch, который хорошо подходит для экспериментов и разработки моделей.

Однако для развертывания этих моделей на специализированном периферийном оборудовании их нужно преобразовать в формат, оптимизированный для целевого устройства. В этом помогают интеграции экспорта, поддерживаемые пакетом Ultralytics для Python.

Ultralytics предлагает различные варианты экспорта, позволяющие преобразовывать модели YOLO в разные форматы в зависимости от целевой среды развертывания, например ONNX, TensorRT и другие аппаратно-зависимые бэкенды. Эти интеграции упрощают подготовку моделей к работе в реальных приложениях, выполняя необходимые шаги оптимизации и преобразования.

В развитие этой возможности Ultralytics представила обновленную интеграцию с Axelera AI для экспорта, которая позволяет экспортировать модели YOLO и развертывать их на AIPU Metis.

Во время экспорта модель компилируется и квантуется в оптимизированное представление, специально предназначенное для оборудования Axelera. В результате создается скомпилированная модель в формате ".axm" и метаданные, необходимые для развертывания и инференса.

Рис. 2. Модели Ultralytics YOLO можно запускать на AIPU Metis. (источник)

Интеграция поддерживает широкий спектр задач компьютерного зрения в Ultralytics YOLOv8, Ultralytics YOLO11 и моделях Ultralytics YOLO26, включая обнаружение объектов, оценку позы, сегментацию экземпляров, обнаружение объектов с ориентированными ограничивающими рамками (OBB) и классификацию изображений. Большинство задач поддерживается непосредственно в процессе экспорта, а сегментацию в YOLO26 можно выполнять с помощью каталога моделей и Voyager SDK.

Расширенная поддержка дает разработчикам возможность развертывать разные типы моделей компьютерного зрения в зависимости от приложения: от обнаружения объектов в реальном времени до распознавания сцен, отслеживания движения и анализа сложных визуальных данных.

После экспорта модели можно развертывать и запускать без PyTorch во время инференса. Вместо этого они выполняются в среде выполнения Voyager SDK, которая поддерживает создание сквозных конвейеров для таких задач, как обработка видео, обнаружение объектов в реальном времени и отслеживание непосредственно на периферийных устройствах.

Начало работы с экспортом моделей Ultralytics YOLO#

Теперь, когда мы лучше разобрались в новой интеграции экспорта, давай посмотрим, как экспортировать модели Ultralytics YOLO в этот пользовательский формат и запускать их на оборудовании Metis на периферии.

Шаг 1. Установи пакет Ultralytics для Python#

Для начала установи пакет Ultralytics для Python. Он предоставляет простой и единообразный интерфейс для обучения, оценки и экспорта моделей YOLO.

Установить пакет можно с помощью pip, выполнив в терминале или командной строке следующую команду:

pip install ultralytics

Если при установке или экспорте возникнут проблемы, обратись к официальной документации Ultralytics и руководству по распространенным проблемам — они помогут устранить неполадки.

Шаг 2. Установка драйверов Axelera и Voyager SDK#

Чтобы экспортировать и запускать модели на оборудовании Axelera, также нужно установить драйверы Axelera и Voyager SDK. Этот шаг обеспечивает взаимодействие с AIPU Metis и устанавливает необходимые среду выполнения и инструменты компилятора.

Следующие шаги нужно выполнить в среде Linux с доступом к оборудованию Axelera AI Metis. Открой терминал в своей системе или используй ячейку блокнота, если запускаешь Jupyter Notebook в совместимой локальной среде, и выполни приведенные ниже команды.

Сначала добавь ключ репозитория Axelera:

sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"

Затем, как показано ниже, добавь репозиторий Axelera в свою систему:

sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source/ ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"

После этого установи Voyager SDK и загрузи драйвер Metis:

sudo apt update
sudo apt install -y metis-dkms=1.4.16
sudo modprobe metis

После выполнения этих шагов система будет готова экспортировать и запускать модели Ultralytics YOLO на устройствах Axelera AI Metis.

Шаг 3. Экспорт моделей Ultralytics YOLO#

После установки пакета Ultralytics можно загрузить модель YOLO и экспортировать ее в виде скомпилированного пакета для Metis. В ходе этого процесса модель преобразуется в формат, оптимизированный для развертывания на оборудовании Axelera AI Metis.

В примере ниже мы используем предварительно обученную модель YOLO26 nano и экспортируем ее для Metis. Экспортированная модель будет сохранена в каталоге "/yolo26n_axelera_model".

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

model.export(format="axelera")

Шаг 4. Запуск инференса с экспортированной моделью#

После экспорта модели ее можно загрузить и запустить инференс на ранее не встречавшихся изображениях или видеопотоках. Так можно выполнять задачи компьютерного зрения в реальном времени непосредственно на устройствах Axelera AI Metis.

Например, фрагмент кода ниже показывает, как загрузить экспортированную модель и запустить инференс по общедоступному URL.

axelera_model = YOLO("yolo26n_axelera_model")

results = axelera_model("https://ultralytics.com/images/bus.jpg", save=True)

В этом примере модель анализирует входное изображение и обнаруживает объекты, сохраняя результаты в каталоге "runs/detect/predict".

Где модели Ultralytics YOLO и оборудование Axelera AI могут принести пользу#

Теперь обсудим распространенные сценарии применения периферийного ИИ, в которых модели Ultralytics YOLO можно развернуть на оборудовании Axelera AI в реальных условиях.

AIPU Metis от Axelera AI предназначены для различных сред развертывания: от встраиваемых систем и промышленных ПК до робототехники и периферийных серверов. Благодаря высокопроизводительному и энергоэффективному инференсу они позволяют запускать приложения компьютерного зрения непосредственно на устройствах в самых разных отраслях. Voyager SDK также включает конструктор конвейеров, который помогает инженерам по машинному обучению и разработчикам приложений готовить модели к внедрению на периферии.

Интеллектуальные периферийные системы компьютерного зрения в розничной торговле#

В розничной торговле понимание поведения покупателей в реальном времени может существенно повлиять на результаты.

С помощью моделей Ultralytics YOLO на оборудовании Axelera AI магазины могут отслеживать поток посетителей, считать людей и анализировать перемещения покупателей в торговом зале по мере их совершения. Поскольку вся обработка выполняется на устройстве, аналитические данные можно получать мгновенно, не полагаясь на подключение к облаку. Это помогает командам быстрее реагировать и одновременно сохранять конфиденциальность данных.

Рис. 3. Обнаружение и подсчет людей в торговом центре с помощью Ultralytics YOLO26

Периферийный ИИ для проверки коммунальной инфраструктуры и объектов инфраструктуры#

Обслуживание крупных объектов инфраструктуры, например линий электропередачи, — сложная и ресурсоемкая задача. Такие сети часто простираются на огромные расстояния, из-за чего проверки занимают много времени, обходятся дорого и могут быть опасными. Если неисправности или первые признаки износа остаются незамеченными, это может привести к отключениям, повреждению оборудования или угрозе безопасности.

Для повышения эффективности проверок всё чаще используют дроны. Они могут преодолевать большие расстояния, добираться до труднодоступных мест и снимать критически важные объекты с высоким разрешением.

Использование периферийного ИИ вместе с дронами позволяет дополнительно улучшить эти рабочие процессы. Модели Ultralytics YOLO на оборудовании Axelera AI обеспечивают анализ в реальном времени во время проверок: выявляют неисправности, классифицируют компоненты и обнаруживают аномалии на месте. Это сокращает необходимость ручного анализа и помогает быстрее и надежнее контролировать состояние инфраструктуры.

Рис. 4. Обнаружение различных компонентов линии электропередачи с помощью Ultralytics YOLO26

Робототехника с аналитикой компьютерного зрения на основе ИИ в реальном времени#

В робототехнике критически важны скорость и отзывчивость. Будь то перемещение по складу или работа в динамичной промышленной среде, роботам нужно мгновенно интерпретировать окружающую обстановку.

Модели Ultralytics YOLO на оборудовании Axelera AI позволяют роботам в реальном времени интерпретировать окружающую обстановку: обнаруживать препятствия, отслеживать людей и распознавать объекты. Благодаря этому системы могут безопаснее перемещаться, адаптироваться к динамичным условиям и действовать автономнее, не завися от постоянного подключения к облаку.

Основные преимущества запуска моделей Ultralytics YOLO на AIPU Metis#

Вот некоторые ключевые преимущества развертывания моделей Ultralytics YOLO на оборудовании Metis от Axelera AI с помощью новой интеграции:

• Простая интеграция в рабочий процесс Ultralytics: Экспорт моделей YOLO для развертывания на Metis естественно встроен в пакет Ultralytics для Python и упрощает переход от обучения к инференсу.
• Поддержка множества задач компьютерного зрения: Ты можешь развертывать модели YOLOv8, YOLO11 и YOLO26 для обнаружения объектов, оценки позы, сегментации, классификации и других задач.
• Параллельный запуск моделей: В AIPU Metis предусмотрены четыре независимо программируемых ядра, способных одновременно запускать четыре отдельные модели в соответствии с твоими задачами.
• Масштабирование для разных приложений периферийного ИИ: От аналитики в розничной торговле и промышленных проверок до робототехники и умной инфраструктуры — интеграция поддерживает широкий спектр сценариев применения в реальном мире.

Главные выводы#

Модели Ultralytics YOLO и AIPU Metis от Axelera AI упрощают внедрение высокопроизводительных систем компьютерного зрения на периферии. Упрощая развертывание и оптимизируя модели для специализированного оборудования, эта интеграция помогает преодолеть разрыв между разработкой и применением в реальных условиях.

По мере развития периферийного ИИ эффективные и масштабируемые варианты развертывания будут играть ключевую роль в создании отзывчивых и надежных систем. Это сотрудничество — шаг к тому, чтобы сделать передовые системы компьютерного зрения на базе ИИ доступнее для разных отраслей.

Хочешь узнать больше об ИИ? Загляни в наш репозиторий GitHub, присоединяйся к нашему сообществу и изучи варианты лицензирования, чтобы начать свой проект в области компьютерного зрения. Узнай, как такие инновации, как ИИ в розничной торговле и компьютерное зрение в здравоохранении, формируют будущее.