Перенос моделей Ultralytics YOLO на оборудование Axelera AI для Edge AI

В Ultralytics мы наблюдаем растущий переход к запуску моделей компьютерного зрения непосредственно на периферийных устройствах по мере того, как ИИ становится все более распространенным. В ходе наших бесед с сообществом специалистов по компьютерному зрению, как онлайн, так и лично на недавних технических конференциях, наша команда отмечает растущий интерес к развертыванию ИИ для компьютерного зрения ближе к месту генерации данных.

От умных розничных сред и промышленной автоматизации до робототехники — получение аналитики в режиме реального времени становится критически важным, и полагаться только на облако уже недостаточно.

Проще говоря, периферийный ИИ предполагает запуск моделей ИИ локально на устройствах, а не отправку данных на централизованные серверы для обработки. Это позволяет уменьшить задержки, повысить надежность и реагировать на реальные события в режиме реального времени.

Однако развертывание высокопроизводительных моделей в таких средах сопряжено со своими трудностями, так как ограниченные вычислительные ресурсы и требования к энергопотреблению заставляют модели быть эффективными и оптимизированными под конкретное оборудование.

Модели Ultralytics YOLO, такие как Ultralytics YOLO26, созданы для компьютерного зрения в реальном времени, но раскрытие их полного потенциала на периферии требует правильного сочетания программного и аппаратного обеспечения. Именно поэтому мы рады объявить о нашем сотрудничестве с Axelera AI.

Мы начали сотрудничать с Axelera AI для внедрения обновленной интеграции экспорта, обеспечивающей эффективное и высокопроизводительное развертывание моделей Ultralytics YOLO на процессорах Metis® AI Processing Units (AIPUs).

Рис 1. Взгляд на Metis AI Processing Unit (Источник)

В этой статье мы рассмотрим, как модели Ultralytics YOLO могут быть легко скомпилированы для развертывания на Metis. Давай начнем!

Link to this sectionПериферийный ИИ — будущее компьютерного зрения#

По мере развития приложений компьютерного зрения потребность в более быстрой и эффективной обработке становится все более критической. Традиционные облачные подходы могут вносить задержки, зависят от стабильного соединения и могут не отвечать требованиям реального времени во многих интеллектуальных задачах зрения.

Периферийный ИИ решает эти проблемы, позволяя запускать модели непосредственно на локальных устройствах, что позволяет обрабатывать данные ближе к их источнику. Например, рассмотри дроны с поддержкой зрения, используемые в поисково-спасательных операциях.

Этим системам необходимо анализировать видеопотоки в реальном времени для обнаружения людей, препятствий или опасностей, часто в удаленных районах с ограниченным интернет-соединением или его отсутствием. Запуская модели компьютерного зрения непосредственно на дроне, периферийный ИИ обеспечивает более быстрое принятие решений и более надежную работу без зависимости от облачной инфраструктуры.

Этот сдвиг открывает новые возможности в разных отраслях. Такие приложения, как обнаружение объектов в реальном времени в розничной торговле, автоматизированный контроль качества на производстве и восприятие в робототехнике, выигрывают от более быстрого времени отклика и большей надежности.

Периферийный ИИ быстро становится ключевым инструментом для развертывания масштабируемых и отзывчивых систем компьютерного зрения в реальных условиях.

Link to this sectionИзучение Metis AI Processing Units от Axelera AI#

Прежде чем погрузиться в новую интеграцию экспорта, давай сделаем шаг назад и узнаем больше о Metis AI Processing Units от Axelera AI и той роли, которую они играют в обеспечении эффективного периферийного ИИ.

Axelera AI разрабатывает специализированное оборудование, предназначенное специально для ускорения ИИ-инференса на периферии. Ключевой частью этого является Metis AIPU, или AI Processing Unit, специализированный процессор, созданный для эффективного запуска нейронных сетей на периферийных устройствах.

В отличие от центральных процессоров (CPU) общего назначения или даже графических процессоров (GPU), AIPU спроектированы для обработки специфических вычислительных паттернов рабочих нагрузок ИИ. Это позволяет им обеспечивать высокую производительность при низком энергопотреблении, что критически важно для периферийных сред, где ресурсы часто ограничены.

Что делает подход Axelera AI особенно инновационным, так это полностековый дизайн. Metis построен с использованием цифровой памяти для вычислений (D-IMC) и архитектуры RISC-V для обеспечения высокой производительности при энергоэффективности, необходимой для периферийных вычислений. Четыре ядра Metis программируются независимо, что означает возможность параллельного запуска четырех моделей на одном чипе. Помимо оборудования, Voyager SDK включает компилятор и среду выполнения, которые совместно оптимизируют модели для развертывания.

Это позволяет разработчикам более эффективно переходить от обученных моделей к готовому к производству инференсу. В частности, Metis AIPU позволяют запускать продвинутые модели компьютерного зрения, такие как модели Ultralytics YOLO, непосредственно на периферийных устройствах: от корпоративных, розничных, медицинских и производственных сред до сельскохозяйственной техники, промышленного оборудования и спутников.

Link to this sectionЭкспорт моделей Ultralytics YOLO для развертывания на Metis#

Пакет Ultralytics Python предоставляет единый интерфейс для обучения, оценки и развертывания моделей YOLO для различных задач компьютерного зрения. Модели YOLO обычно разрабатываются и обучаются с использованием PyTorch, который хорошо подходит для экспериментов и разработки моделей.

Однако при развертывании этих моделей на специализированном периферийном оборудовании их необходимо конвертировать в формат, оптимизированный для целевого устройства. Именно здесь на помощь приходят интеграции экспорта, поддерживаемые пакетом Ultralytics Python.

Ultralytics предоставляет ряд опций экспорта, которые позволяют преобразовывать модели YOLO в различные форматы в зависимости от цели развертывания, такие как ONNX, TensorRT и другие аппаратно-зависимые бэкенды. Эти интеграции упрощают процесс подготовки моделей для реальных приложений за счет выполнения необходимых этапов оптимизации и конвертации.

Развивая это, Ultralytics представила обновленную интеграцию экспорта с Axelera AI, позволяющую экспортировать модели YOLO для развертывания на Metis AIPU.

Во время экспорта модель компилируется и квантуется в оптимизированное представление, специально разработанное для оборудования Axelera. Этот процесс создает скомпилированную модель в формате ".axm" вместе с метаданными, необходимыми для развертывания и инференса.

Рис 2. Модели Ultralytics YOLO могут быть запущены на Metis AIPU. (Источник)

Эта интеграция поддерживает широкий спектр задач компьютерного зрения для моделей Ultralytics YOLOv8, Ultralytics YOLO11 и Ultralytics YOLO26, включая обнаружение объектов, оценку позы, сегментацию экземпляров, обнаружение ориентированных ограничивающих прямоугольников (OBB) и классификацию изображений. Хотя большинство задач поддерживаются напрямую через процесс экспорта, сегментацию YOLO26 можно использовать через model zoo с помощью Voyager SDK.

Эта расширенная поддержка дает разработчикам гибкость в развертывании различных типов моделей зрения в зависимости от их приложения: от обнаружения объектов в реальном времени до понимания сцен, отслеживания движений и анализа сложных визуальных данных.

После экспорта модели могут быть развернуты и запущены без необходимости использования PyTorch во время инференса. Вместо этого они выполняются с помощью среды выполнения Voyager SDK, которая поддерживает создание сквозных конвейеров для таких задач, как обработка видео, обнаружение и отслеживание в реальном времени непосредственно на периферийных устройствах.

Link to this sectionНачало работы с экспортом моделей Ultralytics YOLO#

Теперь, когда у нас есть лучшее понимание новой интеграции экспорта, давай пройдемся по тому, как экспортировать модели Ultralytics YOLO в этот пользовательский формат и запускать их на оборудовании Metis на периферии.

Link to this sectionШаг 1: Установка пакета Ultralytics Python#

Для начала тебе сначала нужно установить пакет Ultralytics Python. Он предоставляет простой и последовательный интерфейс для обучения, оценки и экспорта моделей YOLO.

Ты можешь установить его с помощью pip, выполнив следующую команду в своем терминале или командной строке:

pip install ultralytics

Если у тебя возникнут какие-либо проблемы во время установки или экспорта, официальная документация Ultralytics и руководство по распространенным проблемам станут отличными ресурсами для поиска решения.

Link to this sectionШаг 2: Установка драйверов Axelera и Voyager SDK#

Чтобы экспортировать и запускать модели на оборудовании Axelera, тебе также нужно будет установить драйверы Axelera и Voyager SDK. Этот шаг обеспечивает связь с Metis AIPU и предоставляет необходимые инструменты для среды выполнения и компилятора.

Приведенные ниже шаги должны быть выполнены в среде Linux с доступом к оборудованию Axelera AI Metis. Открой терминал в своей системе или используй ячейку ноутбука, если ты запускаешь Jupyter Notebook на совместимой локальной настройке, и выполни приведенные ниже команды.

Начни с добавления ключа репозитория Axelera следующим образом:

sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"

Затем, как показано ниже, добавь репозиторий Axelera в свою систему:

sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source/ ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"

Затем установи Voyager SDK и загрузи драйвер Metis следующим образом:

sudo apt update
sudo apt install -y metis-dkms=1.4.16
sudo modprobe metis

Как только эти шаги будут завершены, твоя система будет готова к экспорту и запуску моделей Ultralytics YOLO на устройствах Axelera AI Metis.

Link to this sectionШаг 3: Экспорт моделей Ultralytics YOLO#

После установки пакета Ultralytics ты можешь загрузить свою модель YOLO и экспортировать ее как скомпилированный пакет для Metis. Этот процесс преобразует модель в формат, оптимизированный для развертывания на оборудовании Axelera AI Metis.

В приведенном ниже примере мы используем предварительно обученную модель YOLO26 nano и экспортируем ее для Metis. Экспортированная модель будет сохранена в каталоге с именем "/yolo26n_axelera_model".

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

model.export(format="axelera")

Link to this sectionШаг 4: Запуск инференса с экспортированной моделью#

После экспорта модели ты можешь загрузить ее и запустить инференс на новых изображениях или видеопотоках. Это позволяет выполнять задачи компьютерного зрения в реальном времени непосредственно на устройствах Axelera AI Metis.

Например, фрагмент кода ниже показывает, как загрузить экспортированную модель и запустить инференс на общедоступном URL.

axelera_model = YOLO("yolo26n_axelera_model")

results = axelera_model("https://ultralytics.com/images/bus.jpg", save=True)

В этом случае модель анализирует входное изображение и обнаруживает объекты, сохраняя результаты в каталог "runs/detect/predict".

Link to this sectionГде модели Ultralytics YOLO и оборудование Axelera AI могут принести пользу#

Далее давай обсудим некоторые распространенные приложения периферийного ИИ, где модели Ultralytics YOLO могут быть развернуты на оборудовании Axelera AI в реальных сценариях.

Metis AIPU от Axelera AI предназначены для целого ряда сред развертывания: от встраиваемых систем и промышленных ПК до робототехники и периферийных серверов. Благодаря высокопроизводительному и энергоэффективному инференсу они позволяют приложениям компьютерного зрения работать непосредственно на устройствах во всех отраслях. Voyager SDK также включает конструктор конвейеров для инженеров по машинному обучению и приложениям, чтобы переводить модели на периферию в промышленный вид.

Link to this sectionУмные системы зрения в розничной торговле, работающие на периферии#

В розничной торговле понимание поведения клиентов в режиме реального времени может иметь существенное значение.

Используя модели Ultralytics YOLO, работающие на оборудовании Axelera AI, магазины могут отслеживать пешеходный трафик, подсчитывать количество людей и анализировать паттерны перемещений внутри магазина в процессе их возникновения. Поскольку все работает на устройстве, инсайты могут быть получены мгновенно без зависимости от облачного подключения, помогая командам реагировать быстрее и сохраняя при этом конфиденциальность данных.

Рис 3. Обнаружение и подсчет людей в торговом центре с помощью YOLO26

Link to this sectionИспользование периферийного ИИ для осмотра коммунальных сетей и инфраструктуры#

Обслуживание крупномасштабной инфраструктуры, такой как линии электропередач, является сложной и ресурсоемкой задачей. Эти сети часто охватывают огромные расстояния, что делает инспекции трудоемкими, дорогостоящими и потенциально опасными. Когда поломки или ранние признаки износа остаются незамеченными, они могут перерасти в отключения, повреждение оборудования или угрозы безопасности.

Дроны все чаще используются для повышения эффективности инспекций. Они могут преодолевать большие расстояния, получать доступ к труднодоступным местам и снимать изображения критически важных активов в высоком разрешении.

Сочетание дронов с периферийным ИИ дополнительно улучшает эти рабочие процессы. Модели Ultralytics YOLO, работающие на оборудовании Axelera AI, позволяют проводить анализ в реальном времени во время инспекций, выявляя дефекты, классифицируя компоненты и обнаруживая аномалии на месте. Это снижает потребность в ручной проверке и поддерживает более быстрый и надежный мониторинг инфраструктуры.

Рис 4. Обнаружение различных частей линии электропередач с помощью YOLO26

Link to this sectionРобототехника с инсайтами компьютерного зрения в реальном времени#

Для робототехники скорость и отзывчивость критически важны. Будь то навигация на складе или работа в динамичных промышленных средах, роботам необходимо интерпретировать окружающую обстановку мгновенно.

Модели Ultralytics YOLO, работающие на оборудовании Axelera AI, позволяют роботам интерпретировать свое окружение в реальном времени, от обнаружения препятствий до отслеживания людей и идентификации объектов. Это позволяет системам двигаться более безопасно, адаптироваться к динамическим условиям и работать с большей автономностью без зависимости от постоянного облачного соединения.

Link to this sectionКлючевые преимущества запуска моделей Ultralytics YOLO на Metis AIPU#

Вот некоторые из ключевых преимуществ развертывания моделей Ultralytics YOLO на оборудовании Metis от Axelera AI с использованием новой интеграции:

• Бесшовная интеграция с рабочим процессом Ultralytics: Экспорт моделей YOLO для развертывания на Metis естественным образом вписывается в пакет Ultralytics Python, упрощая переход от обучения к инференсу.
• Поддержка множества задач компьютерного зрения: Ты можешь развертывать модели для обнаружения объектов, оценки позы, сегментации, классификации и многого другого на базе YOLOv8, YOLO11 и YOLO26.
• Параллельный запуск моделей: Metis AIPU спроектированы с четырьмя независимо программируемыми ядрами, способными запускать четыре отдельные модели параллельно, чтобы удовлетворить твои потребности.
• Масштабируемость для приложений периферийного ИИ: От аналитики в ритейле и промышленного контроля до робототехники и умной инфраструктуры, интеграция поддерживает широкий спектр реальных сценариев использования.

Link to this sectionОсновные выводы#

Модели Ultralytics YOLO и Metis AIPU от Axelera AI упрощают перенос высокопроизводительного компьютерного зрения на периферию. Упрощая развертывание и оптимизируя модели под специализированное оборудование, эта интеграция помогает преодолеть разрыв между разработкой и реальными приложениями.

По мере того как периферийный ИИ продолжает развиваться, наличие эффективных и масштабируемых вариантов развертывания станет ключом к созданию отзывчивых и надежных систем. Это сотрудничество — шаг к тому, чтобы сделать продвинутый ИИ для зрения более доступным во всех отраслях.

Хочешь узнать больше об ИИ? Изучи наш репозиторий GitHub, общайся с нашим сообществом и ознакомься с нашими вариантами лицензирования, чтобы ускорить свой проект по компьютерному зрению. Узнай, как такие инновации, как ИИ в розничной торговле и компьютерное зрение в здравоохранении, формируют будущее.