Ускорение Ultralytics YOLO26 с OpenVINO на Intel Core Ultra Series 3 (Panther Lake)

За последние несколько лет AI и компьютерное зрение перешли из разряда экспериментальных технологий в число ключевых инструментов повседневной работы компаний. Согласно опросам, около 88% организаций уже используют AI хотя бы в одном направлении своей деятельности.

Однако превращение этого внедрения в реальную пользу — будь то в производственных системах или личных проектах — часто зависит от того, насколько хорошо модели работают после развертывания. Во многих реальных сценариях модели компьютерного зрения, такие как Ultralytics YOLO26, развертываются на периферийных устройствах и самых разных типах оборудования, часто на CPU, встроенных GPU или NPU, а не на высокопроизводительных GPU.

Именно здесь производительность может начать различаться, а оптимизация становится критически важной. Модель, которая хорошо работает в одной среде, может столкнуться с трудностями в другой, если ее должным образом не оптимизировать для используемого оборудования.

Чтобы упростить этот процесс, пакет Ultralytics для Python поддерживает экспорт моделей YOLO26 в оптимизированные форматы, например OpenVINO, благодаря чему они могут стабильно работать на оборудовании Intel без изменения твоего рабочего процесса.

Например, после экспорта модели Ultralytics YOLO26 в формат OpenVINO она может эффективнее работать на процессорах Intel Core Ultra Series 3, а скорость инференса на GPU увеличивается до трех раз.

В этой статье мы расскажем, как обновленная интеграция Ultralytics и OpenVINO упрощает развертывание моделей YOLO26 на оборудовании Intel Core Ultra Series 3. Начнем!

Обзор интеграции Ultralytics и OpenVINO#

Пакет Ultralytics для Python предоставляет единый интерфейс для обучения, инференса и развертывания моделей Ultralytics YOLO, таких как YOLO26. Он поддерживает множество интеграций, которые помогают на разных этапах рабочего процесса компьютерного зрения: от обучения и экспериментов до развертывания и оптимизации.

Одна из интеграций, ориентированных на развертывание, — это интеграция с набором инструментов OpenVINO. Она позволяет экспортировать модели Ultralytics YOLO26 в оптимизированный формат для оборудования Intel. В ходе этого процесса модели YOLO преобразуются в формат, который эффективнее работает на CPU, GPU и NPU Intel, в том числе на системах с процессорами серии Intel® Core™ Ultra™.

Так запуск моделей на разных устройствах Intel становится проще: тебе не нужно вручную настраивать их для каждой конфигурации. Экспортированную модель можно повторно использовать на локальном компьютере, периферийном устройстве или в более крупной системе развертывания.

Практическое преимущество этой интеграции — то, насколько естественно она вписывается в существующий рабочий процесс Ultralytics. Ты можешь экспортировать модель через тот же интерфейс, который используешь для обучения и инференса, без дополнительных инструментов и сложной настройки.

После экспорта модель можно использовать для инференса через пакет Ultralytics для Python или OpenVINO Runtime — в зависимости от того, насколько гибкое управление тебе требуется.

Подробнее об OpenVINO и оборудовании Intel Panther Lake для инференса AI#

Прежде чем посмотреть, насколько эффективно экспортированная модель Ultralytics YOLO26 может работать на оборудовании Intel, давай разберемся, как OpenVINO и оборудование Intel взаимодействуют, обеспечивая эффективный инференс.

OpenVINO — это набор инструментов с открытым исходным кодом для оптимизации и выполнения инференса AI на оборудовании Intel, включая CPU, встроенные GPU и NPU. Он предоставляет унифицированную среду выполнения, поэтому одна и та же модель может работать на разных вычислительных блоках без переписывания.

Рис. 1. OpenVINO упрощает развертывание моделей на разных типах оборудования. (Источник)

В новых процессорах Intel® Core™ Ultra™ Series 3 (кодовое название Panther Lake) задачи AI выполняются на нескольких вычислительных блоках одного процессора. Каждый чип сочетает ядра CPU для задач общего назначения, встроенный GPU для параллельной обработки и выделенный NPU, специально предназначенный для инференса AI.

OpenVINO предоставляет унифицированный API, с помощью которого можно выбирать любой из этих вычислительных блоков — CPU, GPU или NPU — без изменения кода. Достаточно указать устройство для инференса во время выполнения, чтобы легко переключаться между тремя вариантами в зависимости от требований к производительности и эффективности.

Бенчмаркинг Ultralytics YOLO26 на процессорах серии Intel® Core™ Ultra™#

Изучая интеграцию Ultralytics и OpenVINO, ты, возможно, задаешься вопросом: какого прироста производительности модели можно ожидать, экспортировав YOLO26 в формат OpenVINO?

Разница в скорости инференса становится очевидной при сравнении моделей YOLO26 в разных форматах и с разной точностью вычислений. Например, при запуске nano-варианта YOLO26 (YOLO26n) на Intel Core Ultra X7 358H, процессоре Panther Lake, время инференса сокращается с 25,18 мс на изображение в PyTorch с точностью FP32 до 2,64 мс в OpenVINO при той же точности и использовании встроенного NPU.

Это быстрее исходного базового показателя PyTorch FP32, что может заметно повлиять на работу приложений реального времени и периферийных систем, где критически важна задержка. Прирост становится еще заметнее при запуске той же модели на встроенном GPU Intel Arc.

Рис. 2. Бенчмаркинг инференса Ultralytics YOLO26 на GPU Intel Panther Lake с использованием OpenVINO (Источник)

Рис. 3. Бенчмаркинг инференса Ultralytics YOLO26 на NPU Intel Panther Lake с использованием OpenVINO (Источник)

Два способа экспорта Ultralytics YOLO26 в формат OpenVINO#

Есть два основных способа экспортировать модели YOLO26 в формат OpenVINO. Можно воспользоваться пакетом Ultralytics для Python или выполнить экспорт напрямую через Ultralytics Platform — сквозную рабочую среду для создания компьютерного зрения и управления соответствующими рабочими процессами в одном месте. Далее мы разберем оба подхода.

Экспорт YOLO26 с помощью пакета Ultralytics для Python#

Пакет Ultralytics для Python позволяет без лишних сложностей экспортировать модели YOLO26 в формат OpenVINO в рамках рабочего процесса на основе кода. Поскольку для обучения и инференса используется один и тот же интерфейс, экспорт модели естественно встраивается в существующие конвейеры и не требует дополнительных инструментов.

Для начала установи пакет Ultralytics. Для этого выполни команду «pip install ultralytics» в терминале или командной строке. Если ты работаешь в интерактивной среде, например Jupyter Notebook или Google Colab, выполни ту же команду, добавив в начало восклицательный знак.

После установки загрузи обученную модель YOLO26 и экспортируй ее напрямую в формат OpenVINO. Как показано ниже, предварительно обученная модель YOLO26n (yolo26n.pt) загружается, а затем преобразуется в формат OpenVINO с помощью метода export.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

model.export(format="openvino")

После выполнения кода преобразованная модель сохраняется в новой директории, откуда ее можно использовать для развертывания.

Экспорт YOLO26 через Ultralytics Platform#

Если тебе нужен более простой способ без написания кода, можно экспортировать модели YOLO26 напрямую через Ultralytics Platform. Платформа объединяет весь рабочий процесс компьютерного зрения в одном пространстве, упрощая переход от обучения к развертыванию без дополнительной настройки.

Когда модель будет готова, открой ее на платформе и перейди на вкладку Export. Там можно выбрать OpenVINO в качестве формата экспорта и при необходимости изменить такие параметры, как размер изображения или точность вычислений.

Рис. 4. Экспорт YOLO26 в Ultralytics Platform

Платформа автоматически выполняет преобразование, поэтому тебе не нужно управлять скриптами, зависимостями или конфигурацией среды. После завершения экспорта оптимизированную модель можно скачать и развернуть на CPU, GPU и NPU Intel.

Варианты развертывания благодаря интеграции Ultralytics и OpenVINO#

После экспорта модели YOLO26 в формат OpenVINO запускать инференс можно несколькими способами — в зависимости от твоего рабочего процесса и необходимого уровня управления. Для более простого интегрированного подхода воспользуйся пакетом Ultralytics для Python, а для большей гибкости и контроля — нативной средой выполнения OpenVINO.

Запуск инференса с помощью пакета Ultralytics для Python#

После экспорта модели в формат OpenVINO можно запускать инференс с помощью пакета Ultralytics для Python. Этот подход отлично подходит для быстрого тестирования и упрощенного развертывания, поскольку использует тот же интерфейс, что и обучение с экспортом.

При таком подходе можно загрузить экспортированную модель OpenVINO из ее директории и запустить инференс на входных данных, например изображении или видео. Также можно выбрать устройство, указав такие параметры, как «intel:cpu», «intel:gpu» или «intel:npu», в зависимости от оборудования в твоей системе.

Приведенный ниже фрагмент кода показывает, как загрузить экспортированную модель и выполнить инференс изображения на GPU. После завершения инференса выходное изображение сохраняется в директории «runs/detect/predict».

ov_model = YOLO("yolo26n_openvino_model/")

results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

Использование нативного пакета OpenVINO для инференса#

Если тебе нужно точнее контролировать работу модели в production, можно использовать для инференса нативную среду выполнения OpenVINO. Этот способ подходит для интеграции моделей в более крупные приложения или для тонкой настройки инференса на конкретном оборудовании.

OpenVINO предоставляет унифицированный способ запускать модели на CPU, GPU и NPU Intel, а также поддерживает асинхронное выполнение и эффективное использование доступных вычислительных ресурсов. Для настройки можно работать напрямую с экспортированными файлами модели, включая файл .xml со структурой модели и файл .bin с обученными весами.

В зависимости от задачи можно также настроить такие параметры, как размер входных данных или этапы предобработки. Для настройки инференса нужно инициализировать среду выполнения OpenVINO, загрузить и скомпилировать модель для целевого устройства, подготовить входные данные, а затем запустить инференс.

Рис. 5. Пример типичного конвейера инференса с OpenVINO (Источник)

Так ты сможешь управлять выполнением модели и ее интеграцией в процесс развертывания. Подробнее о настройке и запуске инференса в OpenVINO Runtime можно узнать в официальной документации Ultralytics.

Применение Ultralytics YOLO26 на оборудовании Intel в реальных условиях#

Реальная ценность интеграции Ultralytics и OpenVINO проявляется в production, где надежный инференс с низкой задержкой может принести ощутимую пользу. Вот несколько ключевых отраслей, где эта интеграция дает заметные результаты:

• Производство: экспортируя Ultralytics YOLO26 в OpenVINO, можно автоматически обнаруживать на производственных линиях визуальные дефекты — например, отсутствующие компоненты, смещение деталей или повреждения поверхности — на оборудовании Intel, улучшая качество продукции и снижая вероятность дорогостоящих ошибок.
• Здравоохранение: системы медицинской визуализации и мониторинга пациентов могут локально запускать экспортированные модели Ultralytics YOLO26 на оборудовании Intel, соблюдая строгие требования к конфиденциальности данных и сохраняя надежную производительность инференса.
• Умные города: системы мониторинга дорожного движения и анализа скоплений людей можно развертывать на периферийных камерах с оборудованием Intel и экспортированными моделями Ultralytics YOLO26. Это позволяет получать данные в реальном времени, например подсчитывать транспортные средства, отслеживать пешеходов и обнаруживать происшествия.
• Автомобилестроение: низкая задержка и энергоэффективность критически важны для мониторинга водителя и датчиков в салоне, поэтому оборудование Intel в сочетании с экспортированными моделями Ultralytics YOLO26 отлично подходит для встроенных автомобильных систем.

Хочешь узнать больше об этой интеграции? Присоединяйся к серии мастер-классов Intel OpenVINO DevCon «От аннотирования до развертывания: создание конвейера детекции объектов с Geti, Ultralytics YOLO26 и OpenVINO™». Ведущий менеджер по партнерствам и экосистеме Francesco Mattioli вместе с евангелистом AI-технологий Intel Adrian Boguszewski проведет живую демонстрацию и пошагово покажет, как создавать готовые к production конвейеры компьютерного зрения для реальных промышленных задач. На мастер-классе будет представлен полный сквозной процесс детекции объектов: от создания набора данных и обучения модели до оптимизации и развертывания на периферийных устройствах.

Преимущества экспорта в формате OpenVINO#

Вот несколько ключевых преимуществ экспорта в формате OpenVINO:

• Доступность и простота интеграции: благодаря унифицированному API и более чем 80 обучающим ноутбукам OpenVINO упрощает переход от экспериментов к развертыванию без существенного усложнения процесса.
• Запуск одной модели на разном оборудовании: OpenVINO позволяет использовать одну экспортированную модель на поддерживаемом оборудовании Intel и развертывать ее на CPU, GPU или NPU без переписывания или адаптации для каждого устройства.
• Встроенная оптимизация при экспорте: при экспорте в OpenVINO модели из популярных фреймворков, таких как PyTorch и TensorFlow, преобразуются в оптимизированный формат, готовый к инференсу. Отдельные этапы конвертации не нужны.
• Более эффективное использование аппаратных ресурсов: OpenVINO поддерживает асинхронный инференс и балансировку нагрузки на оборудовании Intel, помогая повысить эффективность приложений в реальных условиях.

Запуск Ultralytics YOLO26 с ExecuTorch и бэкендом OpenVINO#

Если ты развертываешь Ultralytics YOLO26 в более требовательной production-среде, есть еще один вариант, который сочетает эффективность на устройстве с продвинутым сжатием моделей.

ExecuTorch — фреймворк PyTorch для инференса на устройстве — поддерживает бэкенд OpenVINO, позволяющий развертывать Ultralytics YOLO26 на оборудовании Intel по альтернативному пути экспорта и выполнения.

ExecuTorch отвечает за экспорт модели и ее выполнение, а OpenVINO служит нижележащим уровнем аппаратного ускорения и выполняет вычисления на CPU, GPU или NPU Intel. Они работают вместе, объединяя портативность и эффективность ExecuTorch на устройстве с аппаратно-специфичными оптимизациями OpenVINO.

Подробнее о принципе работы и о том, как начать использовать Ultralytics YOLO26 с ExecuTorch и бэкендом OpenVINO, читай в блоге Intel о последних обновлениях ExecuTorch и OpenVINO.

Главные выводы#

Экспорт моделей YOLO26 через интеграцию Ultralytics и OpenVINO повышает производительность на оборудовании Intel и не усложняет рабочий процесс. Ты можешь перейти от обучения к развертыванию, не перестраивая конвейер. В целом это простой способ эффективно запускать модели на CPU, GPU и NPU Intel в реальных приложениях.

Присоединяйся к нашему сообществу и изучи наш репозиторий GitHub, чтобы узнать больше о Vision AI. Ознакомься с вариантами лицензирования, чтобы начать проекты в области компьютерного зрения. Интересуешься такими новыми направлениями, как AI в производстве или компьютерное зрение в автомобильной отрасли? Посети страницы наших решений, чтобы узнать больше.