Ускорение Ultralytics YOLO26 с помощью OpenVINO на Intel Core Ultra Series 3 (Panther Lake)

За последние несколько лет AI и компьютерное зрение прошли путь от экспериментальных технологий до важной части повседневных бизнес-операций. Фактически, опросы показывают, что около 88% организаций уже используют AI хотя бы в одной сфере своей деятельности.

Однако превращение этого внедрения в реальную ценность — будь то производственные системы или личные проекты — часто зависит от того, насколько хорошо модели работают после развертывания. Во многих реальных сценариях модели компьютерного зрения, такие как Ultralytics YOLO26, развертываются на периферийных устройствах и различном оборудовании, чаще всего на CPU, интегрированных GPU или NPU, а не на высокопроизводительных GPU.

Именно здесь производительность может начать различаться, а оптимизация становится критически важной. Модель, которая хорошо работает в одной среде, может испытывать трудности в другой, если она не оптимизирована должным образом под используемое оборудование.

Чтобы упростить этот процесс, пакет Ultralytics для Python поддерживает экспорт моделей YOLO26 в оптимизированные форматы, например OpenVINO, благодаря чему они могут стабильно работать на оборудовании Intel без изменений в твоем рабочем процессе.

Например, после экспорта модели Ultralytics YOLO26 в формат OpenVINO она может эффективнее работать на процессорах Intel Core Ultra Series 3, а скорость инференса на GPU повышается до трех раз.

В этой статье мы рассмотрим, как обновленная интеграция Ultralytics и OpenVINO упрощает развертывание моделей YOLO26 на оборудовании Intel Core Ultra Series 3. Начнем!

Обзор интеграции Ultralytics x OpenVINO#

Пакет Ultralytics для Python предоставляет единый интерфейс для обучения, выполнения инференса и развертывания моделей Ultralytics YOLO, таких как YOLO26. Он поддерживает ряд интеграций, которые помогают на разных этапах рабочего процесса computer vision — от обучения и экспериментов до развертывания и оптимизации.

Одна из интеграций, ориентированных на развертывание, — это OpenVINO toolkit, который позволяет экспортировать модели Ultralytics YOLO26 в оптимизированный формат для оборудования Intel. Этот процесс преобразует модели YOLO в формат, который эффективнее работает на CPU, GPU и NPU Intel, включая системы на базе процессоров Intel® Core™ Ultra™ series.

Это упрощает запуск моделей на разных устройствах Intel без необходимости вручную адаптировать их под каждую конфигурацию. Работаешь ли ты на локальной машине, периферийном устройстве или в крупномасштабном развертывании, одну и ту же экспортированную модель можно использовать повторно.

Особенно практичной эту интеграцию делает ее бесшовное встраивание в существующий рабочий процесс Ultralytics. Ты можешь экспортировать модель через тот же интерфейс, который используешь для обучения и инференса, без дополнительных инструментов и сложной настройки.

После экспорта модель можно использовать для инференса либо через пакет Ultralytics для Python, либо через OpenVINO Runtime — в зависимости от необходимого уровня контроля и гибкости.

Подробнее об OpenVINO и оборудовании Intel Panther Lake для инференса AI#

Прежде чем мы посмотрим, насколько эффективно экспортированная модель Ultralytics YOLO26 может работать на оборудовании Intel, давай разберемся, как OpenVINO и оборудование Intel взаимодействуют, обеспечивая эффективный инференс.

OpenVINO — это набор инструментов с открытым исходным кодом, предназначенный для оптимизации и выполнения инференса AI на оборудовании Intel, включая CPU, интегрированные GPU и NPU. Он предоставляет унифицированную среду выполнения, поэтому одна и та же модель может работать на разных вычислительных блоках без переписывания.

Рис. 1. OpenVINO упрощает развертывание моделей на нескольких целевых устройствах. (Источник)

На новых процессорах Intel® Core™ Ultra™ Series 3 (кодовое название Panther Lake) AI-нагрузки выполняются на нескольких вычислительных блоках внутри одного процессора. Каждый чип объединяет ядра CPU для задач общего назначения, интегрированный GPU для параллельной обработки и выделенный NPU, специально предназначенный для инференса AI.

OpenVINO предоставляет унифицированный API, позволяющий обращаться к любому из этих вычислительных блоков — CPU, GPU или NPU — без изменения кода. Ты можешь просто указать, на каком устройстве выполнять инференс, во время работы приложения, что упрощает переключение между всеми тремя вариантами в зависимости от требований к производительности и эффективности.

Бенчмаркинг Ultralytics YOLO26 на Intel® Core™ Ultra™ series#

Изучая интеграцию Ultralytics и OpenVINO, ты можешь задаться вопросом: какого прироста производительности модели можно ожидать после экспорта YOLO26 в формат OpenVINO?

Разница в скорости инференса становится очевидной при сравнении моделей YOLO26 в разных форматах и с разной точностью. Например, при запуске nano-варианта YOLO26 (YOLO26n) на Intel Core Ultra X7 358H, процессоре Panther Lake, время инференса сокращается с 25.18 мс на изображение в PyTorch при точности FP32 до 2.64 мс в OpenVINO при той же точности с использованием интегрированного NPU.

Это быстрее исходного базового показателя PyTorch FP32, что может заметно повлиять на приложения реального времени и периферийные приложения, где критически важна задержка. Преимущества становятся еще очевиднее при запуске той же модели на интегрированном GPU Intel Arc.

Рис. 2. Бенчмаркинг инференса Ultralytics YOLO26 на GPU Intel Panther Lake с использованием OpenVINO (Источник)

Рис. 3. Бенчмаркинг инференса Ultralytics YOLO26 на NPU Intel Panther Lake с использованием OpenVINO (Источник)

Два способа экспортировать Ultralytics YOLO26 в формат OpenVINO#

Есть два основных способа экспортировать модели YOLO26 в формат OpenVINO. Можно использовать пакет Ultralytics для Python или выполнить экспорт напрямую через Ultralytics Platform — комплексное рабочее пространство для создания и управления рабочими процессами computer vision в одном месте. Далее мы пошагово разберем оба подхода.

Использование пакета Ultralytics для Python для экспорта YOLO26#

Пакет Ultralytics для Python предоставляет простой способ экспортировать модели YOLO26 в формат OpenVINO в рамках рабочего процесса на основе кода. Поскольку для обучения и инференса используется один и тот же интерфейс, экспорт модели естественно встраивается в существующие конвейеры без дополнительных инструментов.

Для начала установи пакет Ultralytics. Для этого выполни команду “pip install ultralytics” в терминале или командной строке. Если ты работаешь в интерактивной среде, например Jupyter Notebook или Google Colab, выполни ту же команду, добавив перед ней восклицательный знак.

После установки можно загрузить обученную модель YOLO26 и напрямую экспортировать ее в формат OpenVINO. Как показано ниже, предварительно обученная модель YOLO26n (yolo26n.pt) загружается, а затем преобразуется в формат OpenVINO с помощью метода export.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

model.export(format="openvino")

После выполнения кода преобразованная модель сохраняется в новом каталоге, где ее можно использовать для развертывания.

Экспорт YOLO26 на Ultralytics Platform#

Если тебе нужен более простой подход без кода, можно экспортировать модели YOLO26 напрямую через Ultralytics Platform. Платформа объединяет весь рабочий процесс computer vision в одном рабочем пространстве, упрощая переход от обучения к развертыванию без дополнительной настройки.

Когда модель будет готова, открой ее на платформе и перейди на вкладку Export. Там можно выбрать OpenVINO в качестве формата экспорта и при необходимости настроить такие параметры, как размер изображения или точность.

Рис. 4. Экспорт YOLO26 на Ultralytics Platform

Платформа автоматически выполняет преобразование, поэтому тебе не нужно управлять скриптами, зависимостями или конфигурацией среды. После завершения экспорта оптимизированную модель можно скачать и использовать для развертывания на CPU, GPU и NPU Intel.

Варианты развертывания, доступные благодаря интеграции Ultralytics x OpenVINO#

После экспорта модели YOLO26 в формат OpenVINO есть несколько способов выполнить инференс — в зависимости от твоего рабочего процесса и необходимого уровня контроля. Можно использовать пакет Ultralytics для Python для более простого интегрированного подхода или нативную среду выполнения OpenVINO для большей гибкости и контроля.

Выполнение инференса с помощью пакета Ultralytics для Python#

После экспорта модели в формат OpenVINO можно выполнять инференс с помощью пакета Ultralytics для Python. Этот подход идеально подходит для быстрого тестирования и упрощенного развертывания, поскольку использует тот же интерфейс, что и обучение с экспортом.

При таком подходе можно загрузить экспортированную модель OpenVINO из ее каталога и выполнить инференс на входных данных, например изображении или видео. Также можно выбрать устройство для запуска, указав такие параметры, как "intel:cpu", "intel:gpu" или "intel:npu", в зависимости от оборудования, доступного в системе.

Приведенный ниже фрагмент кода показывает, как загрузить экспортированную модель и выполнить инференс изображения с использованием GPU. После завершения инференса выходное изображение сохраняется в каталоге “runs/detect/predict”.

ov_model = YOLO("yolo26n_openvino_model/")

results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

Использование нативного пакета OpenVINO для инференса#

Если тебе нужен больший контроль над работой модели в production, можно использовать нативную среду выполнения OpenVINO для инференса. Этот метод полезен при интеграции моделей в более крупные приложения или если ты хочешь точно настроить выполнение инференса на конкретном оборудовании.

OpenVINO предоставляет унифицированный способ запуска моделей на CPU, GPU и NPU Intel, а также такие возможности, как асинхронное выполнение и эффективное использование доступных вычислительных ресурсов. Для настройки можно напрямую работать с экспортированными файлами модели, включая файл .xml, определяющий структуру модели, и файл .bin, содержащий обученные веса.

В зависимости от сценария использования можно также настроить такие параметры, как размер входных данных или шаги предобработки. Настройка инференса включает инициализацию среды выполнения OpenVINO, загрузку и компиляцию модели для целевого устройства, подготовку входных данных и последующий запуск инференса.

Рис. 5. Пример типичного конвейера инференса с OpenVINO (Источник)

Это позволяет контролировать выполнение модели и ее интеграцию в общий процесс развертывания. Чтобы узнать больше о настройке и выполнении инференса с помощью среды выполнения OpenVINO, изучи официальную документацию Ultralytics.

Практическое применение Ultralytics YOLO26 на оборудовании Intel#

Реальная ценность интеграции Ultralytics и OpenVINO проявляется в production, где надежный инференс с низкой задержкой может давать ощутимые результаты. Вот несколько ключевых отраслей, в которых эта интеграция приносит значимую пользу:

• Производство: экспортируя Ultralytics YOLO26 в OpenVINO, системы производственных линий могут автоматически обнаруживать на оборудовании Intel визуальные дефекты, такие как отсутствие компонентов, неправильное выравнивание или повреждения поверхности, помогая повышать качество продукции и сокращать дорогостоящие ошибки.

• Здравоохранение: системы медицинской визуализации и мониторинга пациентов могут локально запускать экспортированные модели Ultralytics YOLO26 на оборудовании Intel, обеспечивая соблюдение строгих требований к конфиденциальности данных и сохраняя надежную производительность инференса.

• Умные города: мониторинг дорожного движения и анализ толпы можно развертывать с помощью экспортированных моделей Ultralytics YOLO26 на периферийных камерах на базе Intel, получая данные в реальном времени, например подсчет автомобилей, отслеживание пешеходов и обнаружение инцидентов.

• Автомобильная отрасль: низкая задержка и энергоэффективность критически важны для мониторинга водителя и сенсорики в салоне, поэтому оборудование Intel в сочетании с экспортированными моделями Ultralytics YOLO26 отлично подходит для встраиваемых автомобильных систем.

Если ты хочешь больше узнать об этой интеграции, присоединяйся к нам на серии воркшопов OpenVINO DevCon Intel — “От разметки до развертывания: создание конвейера обнаружения объектов с Geti, Ultralytics YOLO26 и OpenVINO™”. На воркшопе менеджер по партнерствам и экосистеме Francesco Mattioli присоединится к евангелисту AI Software в Intel Adrian Boguszewski, чтобы провести живую демонстрацию и пошагово показать создание готовых к production конвейеров computer vision для реальных промышленных сценариев. Воркшоп продемонстрирует полный сквозной рабочий процесс обнаружения объектов: от создания датасета и обучения модели до оптимизации и развертывания на периферийных устройствах.

Преимущества использования формата экспорта OpenVINO#

Вот несколько ключевых преимуществ использования формата экспорта OpenVINO:

• Доступность и простота интеграции: благодаря унифицированному API и более чем 80 учебным ноутбукам OpenVINO упрощает переход от экспериментов к развертыванию без существенного усложнения процесса.

• Запуск одной и той же модели на разном оборудовании: OpenVINO позволяет использовать одну экспортированную модель на поддерживаемом оборудовании Intel, развертывая ее на CPU, GPU или NPU без переписывания или адаптации под каждое устройство.

• Встроенная оптимизация при экспорте: экспорт в OpenVINO преобразует модели из популярных фреймворков, таких как PyTorch и TensorFlow, в оптимизированный формат, готовый к инференсу, устраняя необходимость в отдельных этапах преобразования.

• Более эффективное использование аппаратных ресурсов: OpenVINO поддерживает асинхронный инференс и балансировку нагрузки между компонентами оборудования Intel, помогая повысить эффективность реальных приложений.

Запуск Ultralytics YOLO26 с ExecuTorch и бэкендом OpenVINO#

Если ты развертываешь Ultralytics YOLO26 в более требовательных production-средах, доступен еще один вариант, сочетающий эффективность на устройстве с продвинутым сжатием моделей.

ExecuTorch, фреймворк PyTorch для инференса на устройстве, поддерживает бэкенд OpenVINO, который позволяет развертывать Ultralytics YOLO26 на оборудовании Intel через другой путь экспорта и выполнения.

ExecuTorch отвечает за экспорт модели и выполнение во время работы, а OpenVINO выступает расположенным ниже слоем аппаратного ускорения, выполняя фактические вычисления на CPU, GPU или NPU Intel. Они работают вместе, сочетая переносимость и эффективность ExecuTorch на устройстве со специфичными для оборудования оптимизациями OpenVINO.

Чтобы узнать больше о принципе работы и начале использования Ultralytics YOLO26 с ExecuTorch и бэкендом OpenVINO, ознакомься с обновлениями Intel в блоге об ExecuTorch и OpenVINO.

Основные выводы#

Экспорт моделей YOLO26 через интеграцию Ultralytics и OpenVINO повышает производительность на оборудовании Intel без усложнения рабочего процесса. Ты можешь перейти от обучения к развертыванию без переработки конвейера. В целом это простой способ эффективно запускать модели на CPU, GPU и NPU Intel в реальных приложениях.

Присоединяйся к нашему сообществу и изучи наш репозиторий на GitHub, чтобы узнать больше о Vision AI. Ознакомься с вариантами лицензирования, чтобы начать свои проекты в области computer vision. Интересуешься такими инновациями, как AI в производстве или computer vision в автомобильной отрасли? Посети наши страницы решений, чтобы узнать больше.