Узнайте о новой интеграции экспортных функций, реализованной вPython Ultralytics Python в сотрудничестве с Axelera AI, для эффективного высокопроизводительного искусственного интеллекта на периферии.
В Ultralytics мы наблюдаем растущую тенденцию к запуску моделей компьютерного зрения непосредственно на периферийных устройствах по мере все более широкого внедрения искусственного интеллекта. В ходе общения с представителями сообщества специалистов по компьютерному зрению — как в сети, так и при личных встречах на недавних технологических конференциях — наша команда отметила растущий интерес к развертыванию систем искусственного интеллекта для обработки изображений ближе к месту генерации данных.
От интеллектуальных торговых систем и промышленной автоматизации до робототехники — аналитика в режиме реального времени становится незаменимой, и полагаться исключительно на облачные технологии уже недостаточно.
Проще говоря, периферийный ИИ предполагает запуск моделей искусственного интеллекта локально на устройствах вместо отправки данных на централизованные серверы для обработки. Это позволяет сократить задержку, повысить надежность и реагировать на события в реальном мире в режиме реального времени.
Однако развертывание высокопроизводительных моделей в таких средах сопряжено с определенными трудностями, поскольку ограниченные вычислительные ресурсы и ограничения по энергопотреблению требуют, чтобы модели были не только эффективными, но и оптимизированы для аппаратного обеспечения, на котором они работают.
YOLO Ultralytics YOLO , такие как Ultralytics , разработаны для компьютерного зрения в режиме реального времени, однако для полного раскрытия их потенциала на периферийных устройствах требуется правильное сочетание программного и аппаратного обеспечения. Именно поэтому мы рады объявить о начале нашего сотрудничества с компанией Axelera AI.
Мы заключили партнерское соглашение с компанией Axelera AI с целью внедрения обновленной экспортной интеграции, которая обеспечивает эффективное и высокопроизводительное развертываниеYOLO Ultralytics YOLO на процессорах искусственного интеллектаMetis® (AIPU).
В этой статье мы рассмотрим, как легко скомпилироватьYOLO Ultralytics YOLO для развертывания в Metis. Приступим!
По мере развития приложений компьютерного зрения потребность в более быстрой и эффективной обработке данных становится всё более актуальной. Традиционные облачные подходы могут приводить к задержкам, зависят от стабильности подключения и могут не соответствовать требованиям реального времени, предъявляемым многими сценариями использования интеллектуальных систем технического зрения.
Технология Edge AI решает эти проблемы, позволяя запускать модели непосредственно на локальных устройствах, благодаря чему данные обрабатываются ближе к источнику. В качестве примера можно привести дроны с системами компьютерного зрения, используемые в поисково-спасательных операциях.
Этим системам необходимо анализировать видеопотоки в режиме реального времени для detect , препятствий или опасностей, причём зачастую в отдалённых районах с ограниченным доступом к Интернету или без него. Благодаря запуску моделей компьютерного зрения непосредственно на дроне, периферийный ИИ обеспечивает более быстрое принятие решений и более надёжную работу без необходимости использования облачной инфраструктуры.
Эта тенденция открывает новые возможности во всех отраслях. Такие области применения, как обнаружение объектов в реальном времени в розничной торговле, автоматизированный контроль качества в производстве и системы восприятия в робототехнике, получают преимущества благодаря более быстрой реакции и повышенной надёжности.
Искусственный интеллект на периферии быстро становится ключевым фактором, способствующим внедрению масштабируемых и оперативных систем компьютерного зрения в реальных условиях.
Прежде чем углубиться в тему новой интеграции экспортных функций, давайте сделаем шаг назад и подробнее рассмотрим процессоры искусственного интеллекта Metis от Axelera AI, а также их роль в обеспечении эффективной работы искусственного интеллекта на периферии.
Компания Axelera AI разрабатывает специализированное оборудование, предназначенное специально для ускорения вычислений искусственного интеллекта на периферийных устройствах. Ключевую роль в этом играет Metis AIPU (блок обработки данных искусственного интеллекта) — специализированный процессор, созданный для эффективной работы нейронных сетей на периферийных устройствах.
В отличие от универсальных центральных процессоров (CPU) или даже графических процессоров (GPU), процессоры AIPU разработаны для обработки специфических вычислительных моделей задач искусственного интеллекта. Это позволяет им обеспечивать высокую производительность при низком энергопотреблении, что имеет решающее значение для периферийных сред, где ресурсы зачастую ограничены.
Особенно инновационным подход Axelera AI делает его полнофункциональная архитектура. Metis построен на основе технологии цифровых вычислений в памяти (D-IMC) и архитектуры RISC-V, что обеспечивает высокую производительность при соблюдении требований энергоэффективности, предъявляемых к периферийным вычислениям. Четыре ядра Metis программируются независимо друг от друга, что позволяет параллельно запускать четыре модели на одном чипе. Помимо аппаратного обеспечения, набор средств разработки Voyager SDK включает компилятор и среду выполнения, которые совместно оптимизируют модели для развертывания.
Это позволяет разработчикам более эффективно переходить от обученных моделей к готовым к производственному использованию системам инференции. В частности, AIPU Metis позволяют запускать сложные модели компьютерного зрения, такие какYOLO Ultralytics YOLO , непосредственно на периферийных устройствах — от систем в сфере предприятий, розничной торговли, здравоохранения и производства до сельскохозяйственной и промышленной техники, а также спутников.
Python Ultralytics Python предоставляет единый интерфейс для обучения, оценки и развертывания YOLO при решении различных задач в области компьютерного зрения. YOLO обычно разрабатываются и обучаются с использованием PyTorch, который хорошо подходит для экспериментов и разработки моделей.
Однако при развертывании этих моделей на специализированном периферийном оборудовании их необходимо преобразовать в формат, оптимизированный для целевого устройства. Именно здесь на помощь приходят интеграции экспорта, поддерживаемыеPython Ultralytics Python .
Ultralytics ряд опций экспорта, позволяющих конвертировать YOLO в различные форматы в зависимости от места развертывания, такие как ONNX, TensorRT и другие бэкэнды, ориентированные на конкретное оборудование. Эти интеграции упрощают процесс подготовки моделей к применению в реальных условиях, выполняя необходимые этапы оптимизации и преобразования.
На этой основе Ultralytics обновленную интеграцию с Axelera AI для экспорта данных, которая позволяет экспортировать YOLO для развертывания на процессорах Metis AIPU.
При экспорте модель компилируется и квантуется в оптимизированное представление, специально разработанное для аппаратного обеспечения Axelera. В результате этого процесса получается скомпилированная модель в формате «.axm», а также метаданные, необходимые для развертывания и вычислений.
Эта интеграция поддерживает широкий спектр задач компьютерного зрения в различных областях Ultralytics YOLOv8, Ultralytics YOLO11и Ultralytics , включая обнаружение объектов, оценку позы, сегментацию экземпляров, обнаружение ориентированных ограничительных рамок (OBB) и классификацию изображений. Хотя большинство задач поддерживается напрямую через рабочий процесс экспорта, сегментацию YOLO26 можно использовать через Model Zoo с помощью Voyager SDK.
Такая расширенная поддержка дает разработчикам возможность гибко внедрять различные типы моделей компьютерного зрения в зависимости от конкретного применения — от обнаружения объектов в режиме реального времени до анализа сцен, отслеживания движения и анализа сложных визуальных данных.
После экспорта модели можно развертывать и запускать без использования PyTorch этапе инференции. Вместо этого они выполняются с помощью среды выполнения Voyager SDK, которая поддерживает создание сквозных конвейеров для таких задач, как обработка видео, обнаружение в реальном времени и отслеживание, непосредственно на периферийных устройствах.
Теперь, когда мы лучше понимаем принципы новой интеграции экспорта, давайте рассмотрим, как экспортироватьYOLO Ultralytics YOLO в этот настраиваемый формат и запускать их на аппаратных средствах Metis на периферии.
Для начала вам необходимо установитьPython Ultralytics Python . Он предоставляет простой и унифицированный интерфейс для обучения, оценки и экспорта YOLO .
Вы можете установить его с помощью pip, выполнив следующую команду в терминале или командной строке:
pip install ultralytics
Если у вас возникнут какие-либо проблемы во время установки или экспорта, официальная Ultralytics и руководство по решению типичных проблем станут отличными источниками информации для устранения неполадок.
Чтобы экспортировать и запускать модели на аппаратном обеспечении Axelera, вам также необходимо установить драйверы Axelera и Voyager SDK. Этот шаг обеспечивает связь с процессором Metis AIPU и предоставляет необходимые инструменты для компиляции и выполнения.
Следующие действия необходимо выполнить в среде Linux с доступом к аппаратному обеспечению Axelera AI Metis. Откройте терминал в своей системе или воспользуйтесь ячейкой ноутбука, если вы используете Jupyter Notebook в совместимой локальной среде, и выполните приведенные ниже команды.
Для начала добавьте ключ репозитория Axelera следующим образом:
sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"
Далее, как показано ниже, добавьте репозиторий Axelera в свою систему:
sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source/ ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"
Затем установите Voyager SDK и загрузите драйвер Metis следующим образом:
sudo apt update
sudo apt install -y metis-dkms=1.4.16
sudo modprobe metis
После выполнения этих шагов ваша система будет готова к экспорту и запускуYOLO Ultralytics YOLO на устройствах Axelera AI Metis.
После установки Ultralytics вы можете загрузить свою YOLO и экспортировать её в виде скомпилированного пакета для Metis. В ходе этого процесса модель преобразуется в формат, оптимизированный для развёртки на аппаратном обеспечении Axelera AI Metis.
В приведенном ниже примере мы используем предварительно обученную модель YOLO26 nano и экспортируем её для Metis. Экспортированная модель будет сохранена в каталоге с именем «/yolo26n_axelera_model».
from ultralytics YOLO
model = YOLO("yolo26n.pt")
model.export(format="axelera")
После экспорта модели вы можете загрузить её и выполнить инференцию на неизвестных изображениях или видеопотоках. Это позволяет решать задачи компьютерного зрения в режиме реального времени непосредственно на устройствах Axelera AI Metis.
Например, в приведенном ниже фрагменте кода показано, как загрузить экспортированную модель и выполнить инференцию по общедоступному URL-адресу.
axelera_model = YOLO("yolo26n_axelera_model")
results = axelera_model("ultralytics", save=True)
В данном случае модель анализирует входное изображение и распознает объекты, сохраняя результаты в каталогеdetect».
Далее давайте рассмотрим несколько типичных примеров применения периферийного ИИ, в которыхYOLO Ultralytics YOLO могут быть развернуты на аппаратном обеспечении Axelera AI в реальных условиях.
AIPU Metis от Axelera AI разработаны для использования в различных средах развертывания — от встроенных систем и промышленных ПК до робототехники и пограничных серверов. Благодаря высокопроизводительной и энергоэффективной инференции они позволяют запускать приложения компьютерного зрения непосредственно на устройствах в различных отраслях. SDK Voyager также включает в себя инструмент для построения конвейеров, который позволяет инженерам по машинному обучению и приложениям создавать готовые к использованию модели для пограничных устройств.
В сфере розничной торговли понимание поведения покупателей в режиме реального времени может иметь решающее значение.
ИспользуяYOLO Ultralytics YOLO , работающие на аппаратном обеспечении Axelera AI, магазины могут отслеживать посещаемость, подсчитывать количество посетителей и анализировать схемы их передвижения в магазине в режиме реального времени. Поскольку все процессы выполняются на самом устройстве, аналитические данные генерируются мгновенно, без необходимости подключения к облаку, что позволяет сотрудникам быстрее реагировать на ситуацию, сохраняя при этом конфиденциальность данных.
Обслуживание крупномасштабной инфраструктуры, такой как линии электропередачи, — сложный и ресурсоемкий процесс. Эти сети часто простираются на огромные расстояния, что делает их осмотр трудоемким, дорогостоящим и потенциально опасным. Если неисправности или ранние признаки износа остаются незамеченными, это может привести к отключениям, повреждению оборудования или угрозе безопасности.
Дроны всё чаще используются для повышения эффективности инспекций. Они способны преодолевать большие расстояния, добираться до труднодоступных мест и получать снимки важных объектов с высоким разрешением.
Сочетание дронов с периферийным ИИ позволяет еще больше оптимизировать эти рабочие процессы.YOLO Ultralytics YOLO , работающие на аппаратном обеспечении Axelera AI, обеспечивают анализ в режиме реального времени во время проверок, выявляя неисправности, классифицируя компоненты и обнаруживая аномалии непосредственно на месте. Это снижает необходимость в ручной проверке и способствует более быстрому и надежному мониторингу инфраструктуры.
В робототехнике скорость и оперативность имеют решающее значение. Будь то перемещение по складу или работа в динамичных промышленных условиях, роботы должны мгновенно анализировать окружающую обстановку.
YOLO Ultralytics YOLO , работающие на аппаратном обеспечении Axelera AI, позволяют роботам в режиме реального времени анализировать окружающую обстановку — от обнаружения препятствий до отслеживания людей и распознавания объектов. Это дает системам возможность передвигаться более безопасно, адаптироваться к изменяющимся условиям и работать с большей автономностью, не завися от постоянного подключения к облаку.
Вот некоторые из основных преимуществ развертыванияYOLO Ultralytics YOLO на аппаратном обеспечении Metis от Axelera AI с помощью новой интеграции:
YOLO Ultralytics и процессоры Metis AIPU от Axelera AI упрощают внедрение высокопроизводительных решений компьютерного зрения на периферийных устройствах. Благодаря упрощению развертывания и оптимизации моделей под специализированное оборудование эта интеграция помогает преодолеть разрыв между разработкой и реальными приложениями.
По мере дальнейшего развития периферийного ИИ наличие эффективных и масштабируемых вариантов внедрения станет ключевым фактором для создания отзывчивых и надёжных систем. Это сотрудничество — шаг к тому, чтобы сделать передовые технологии ИИ в области компьютерного зрения более доступными для различных отраслей.
Хотите узнать больше об ИИ? Изучите наш репозиторий GitHub, свяжитесь с нашим сообществом и ознакомьтесь с нашими вариантами лицензирования, чтобы ускорить ваш проект в области компьютерного зрения. Узнайте, как инновации, такие как ИИ в розничной торговле и компьютерное зрение в здравоохранении, формируют будущее.
Начните свой путь в будущее машинного обучения
