Ускорение Ultralytics YOLO26 с помощью OpenVINO на Intel Core Ultra Series 3 (Panther Lake)

За последние несколько лет ИИ и компьютерное зрение прошли путь от экспериментальных технологий до ключевой части повседневных бизнес-процессов. Фактически, опросы показывают, что около 88% организаций уже используют ИИ как минимум в одном из направлений своего бизнеса.

Однако превращение этого внедрения в реальную пользу, будь то в производственных системах или личных проектах, часто зависит от того, насколько эффективно модели работают после развертывания. Во многих сценариях реального мира модели компьютерного зрения, такие как Ultralytics YOLO26, развертываются на периферийных устройствах и самом разном оборудовании, зачастую на базе CPU, встроенных GPU или NPU, а не на мощных видеокартах.

Именно здесь производительность может начать варьироваться, и именно здесь критически важной становится оптимизация. Модель, которая хорошо работает в одной среде, может испытывать трудности в другой, если она должным образом не оптимизирована под конкретное оборудование.

Чтобы упростить эту задачу, Python-пакет Ultralytics поддерживает экспорт моделей YOLO26 в оптимизированные форматы, такие как OpenVINO, чтобы они могли плавно работать на оборудовании Intel без необходимости менять твой рабочий процесс.

Например, когда модель YOLO26 экспортируется в формат OpenVINO, она может работать эффективнее на процессорах Intel Core Ultra Series 3, при этом скорость логического вывода на GPU увеличивается до трех раз.

В этой статье мы рассмотрим, как обновленная интеграция Ultralytics с OpenVINO облегчает развертывание моделей YOLO26 на оборудовании Intel Core Ultra Series 3. Давай начнем!

Link to this sectionОбзор интеграции Ultralytics и OpenVINO#

Python-пакет Ultralytics предоставляет единый интерфейс для обучения, запуска логического вывода и развертывания моделей Ultralytics YOLO, таких как YOLO26. Он поддерживает целый ряд интеграций, помогающих на разных этапах рабочего процесса ИИ компьютерного зрения: от обучения и экспериментов до развертывания и оптимизации.

Одной из интеграций, ориентированных на развертывание, является OpenVINO toolkit, который позволяет экспортировать модели YOLO26 в оптимизированный формат для оборудования Intel. Этот процесс преобразует модели YOLO в формат, который работает более эффективно на CPU, GPU и NPU Intel, включая системы на базе процессоров Intel® Core™ Ultra™.

Это упрощает запуск моделей на различных устройствах Intel без необходимости вручную настраивать их для каждого случая. Независимо от того, работаешь ли ты на локальной машине, периферийном устройстве или развертываешь систему в большом масштабе, одну и ту же экспортированную модель можно использовать повторно.

Что делает эту интеграцию особенно практичной, так это то, насколько органично она вписывается в существующий рабочий процесс Ultralytics. Ты можешь экспортировать модель, используя тот же интерфейс, что и для обучения и вывода, не прибегая к дополнительным инструментам или сложным настройкам.

После экспорта модель можно использовать для логического вывода либо через Python-пакет Ultralytics, либо через OpenVINO Runtime, в зависимости от того, какой уровень контроля и гибкости тебе нужен.

Link to this sectionБолее пристальный взгляд на OpenVINO и оборудование Intel Panther Lake для ИИ-вывода#

Прежде чем мы увидим, насколько эффективно экспортированная модель YOLO26 может работать на оборудовании Intel, давай сделаем шаг назад и разберемся, как OpenVINO и оборудование Intel работают вместе для обеспечения эффективного вывода.

OpenVINO — это инструментарий с открытым исходным кодом, разработанный для оптимизации и запуска ИИ-вывода на оборудовании Intel, включая CPU, встроенные GPU и NPU. Он предоставляет единую среду исполнения, поэтому одна и та же модель может работать на различных вычислительных блоках без необходимости переписывания кода.

Рис. 1. OpenVINO упрощает развертывание моделей на различных аппаратных целевых платформах. (Источник)

На новых процессорах Intel® Core™ Ultra™ Series 3 (кодовое название Panther Lake) рабочие нагрузки ИИ выполняются на нескольких вычислительных блоках внутри одного процессора. Каждый чип сочетает в себе ядра CPU для задач общего назначения, встроенный GPU для параллельных вычислений и выделенный NPU, разработанный специально для ИИ-вывода.

OpenVINO предоставляет унифицированный API, который позволяет обращаться к любому из этих вычислительных блоков — CPU, GPU или NPU — без изменения твоего кода. Ты можешь просто указать устройство для запуска логического вывода во время выполнения, что упрощает переключение между всеми тремя вариантами в зависимости от твоих потребностей в производительности и эффективности.

Link to this sectionБенчмаркинг YOLO26 на серии Intel® Core™ Ultra™#

По мере изучения интеграции Ultralytics и OpenVINO тебе может быть интересно: какой прирост производительности модели можно ожидать от экспорта YOLO26 в формат OpenVINO?

Разница в скорости логического вывода становится очевидной при бенчмаркинге моделей YOLO26 в разных форматах и с разной точностью. Например, при запуске нано-варианта YOLO26 (YOLO26n) на процессоре Intel Core Ultra X7 358H (архитектура Panther Lake) время вывода сокращается с 25,18 мс на изображение в PyTorch при точности FP32 до 2,64 мс с OpenVINO при той же точности с использованием встроенного NPU.

Это быстрее, чем исходный базовый показатель PyTorch FP32, что может дать ощутимую разницу в приложениях реального времени и на периферийных устройствах, где критически важна задержка. Эти преимущества становятся еще более заметными при запуске той же модели на встроенном GPU Intel Arc.

Рис. 2. Бенчмаркинг вывода YOLO26 на GPU Intel Panther Lake с использованием OpenVINO (Источник)

Рис. 3. Бенчмаркинг вывода YOLO26 на NPU Intel Panther Lake с использованием OpenVINO (Источник)

Link to this sectionИзучаем два способа экспорта Ultralytics YOLO26 в формат OpenVINO#

Существует два основных способа экспорта моделей YOLO26 в формат OpenVINO. Ты можешь использовать Python-пакет Ultralytics или экспортировать напрямую через Ultralytics Platform — комплексное рабочее пространство для создания и управления процессами компьютерного зрения в одном месте. Далее мы рассмотрим оба подхода.

Link to this sectionИспользование Python-пакета Ultralytics для экспорта YOLO26#

Python-пакет Ultralytics предоставляет простой способ экспорта моделей YOLO26 в формат OpenVINO в рамках рабочего процесса на основе кода. Поскольку для обучения и вывода используется один и тот же интерфейс, экспорт модели естественным образом вписывается в существующие конвейеры без необходимости в дополнительных инструментах.

Для начала ты можешь установить пакет Ultralytics. Это можно сделать, выполнив команду «pip install ultralytics» в терминале или командной строке. Если ты работаешь в интерактивной среде, такой как Jupyter Notebook или Google Colab, ты можешь запустить ту же команду, добавив перед ней восклицательный знак.

После установки ты можешь загрузить обученную модель YOLO26 и экспортировать ее напрямую в формат OpenVINO. Как показано ниже, предварительно обученная модель YOLO26n (yolo26n.pt) загружается, а затем преобразуется в формат OpenVINO с помощью метода export.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

model.export(format="openvino")

После выполнения кода преобразованная модель сохраняется в новую директорию, откуда ее можно использовать для развертывания.

Link to this sectionЭкспорт YOLO26 на Ultralytics Platform#

Если ты ищешь более простой способ без написания кода, ты можешь экспортировать модели YOLO26 прямо через Ultralytics Platform. Платформа объединяет весь рабочий процесс компьютерного зрения в единое рабочее пространство, упрощая переход от обучения к развертыванию без дополнительных настроек.

Когда твоя модель готова, ты можешь открыть ее на платформе и перейти на вкладку Export. Там ты сможешь выбрать OpenVINO в качестве формата экспорта и при необходимости настроить параметры, такие как размер изображения или точность.

Рис. 4. Процесс экспорта YOLO26 в рамках Ultralytics Platform

Платформа выполняет преобразование автоматически, поэтому нет необходимости управлять скриптами, зависимостями или конфигурацией среды. После завершения экспорта оптимизированную модель можно загрузить и использовать для развертывания на CPU, GPU и NPU Intel.

Link to this sectionВарианты развертывания, открываемые интеграцией Ultralytics и OpenVINO#

После того как модель YOLO26 была экспортирована в формат OpenVINO, есть несколько способов запуска логического вывода в зависимости от твоего рабочего процесса и необходимого уровня контроля. Ты можешь либо использовать Python-пакет Ultralytics для более простого, интегрированного подхода, либо задействовать нативный OpenVINO runtime для большей гибкости и контроля.

Link to this sectionЗапуск вывода с помощью Python-пакета Ultralytics#

После экспорта модели в формат OpenVINO ты можешь запускать логический вывод с помощью Python-пакета Ultralytics. Этот подход идеально подходит для быстрого тестирования и упрощенного развертывания, поскольку использует тот же интерфейс, что и для обучения и экспорта.

При таком подходе ты можешь загрузить экспортированную модель OpenVINO из ее директории и запустить вывод на входных данных, например, на изображении или видео. Ты также можешь выбрать устройство для запуска, указав параметры, такие как "intel:cpu", "intel:gpu" или "intel:npu", в зависимости от оборудования, доступного в твоей системе.

Приведенный ниже фрагмент кода показывает, как загрузить экспортированную модель и запустить вывод на изображении с использованием GPU. После завершения вывода результирующее изображение сохраняется в директорию «runs/detect/predict».

ov_model = YOLO("yolo26n_openvino_model/")

results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

Link to this sectionИспользование нативного пакета OpenVINO для логического вывода#

Если тебе нужно больше контроля над тем, как модель работает в продакшене, ты можешь использовать нативный OpenVINO runtime для логического вывода. Этот метод полезен при интеграции моделей в более крупные приложения или когда ты хочешь точно настроить выполнение вывода на конкретном оборудовании.

OpenVINO предоставляет унифицированный способ запуска моделей на CPU, GPU и NPU Intel, а также такие функции, как асинхронное выполнение и эффективное использование доступных вычислительных ресурсов. Чтобы настроить это, ты можешь работать напрямую с файлами экспортированной модели, включая файл .xml, который определяет структуру модели, и файл .bin, содержащий обученные веса.

В зависимости от твоего сценария использования ты также можешь настроить такие параметры, как размер входных данных или этапы предобработки. Настройка вывода включает инициализацию OpenVINO runtime, загрузку и компиляцию модели для целевого устройства, подготовку входных данных и последующий запуск вывода.

Рис. 5. Пример типичного конвейера логического вывода с OpenVINO (Источник)

Это позволяет контролировать выполнение модели и ее интеграцию в твое общее решение. Чтобы узнать больше о настройке и запуске вывода с OpenVINO runtime, изучи официальную документацию Ultralytics.

Link to this sectionРеальные применения YOLO26 на оборудовании Intel#

Реальная ценность интеграции Ultralytics и OpenVINO проявляется в продакшене, где надежный вывод с низкой задержкой может дать ощутимый результат. Вот несколько ключевых отраслей, где эта интеграция приносит значимые результаты:

• Производство: Экспортируя YOLO26 в OpenVINO, системы производственных линий могут автоматически обнаруживать визуальные дефекты, такие как отсутствующие компоненты, перекосы или повреждения поверхности на оборудовании Intel, помогая повысить качество продукции и сократить дорогостоящие ошибки.

• Здравоохранение: Системы медицинской визуализации и мониторинга пациентов могут запускать экспортированные модели YOLO26 локально на оборудовании Intel, соблюдая строгие требования к конфиденциальности данных и поддерживая надежную производительность логического вывода.

• Умные города: Мониторинг дорожного движения и анализ толпы можно развертывать с помощью экспортированных моделей YOLO26 на камерах с поддержкой Intel, что обеспечивает получение аналитики в реальном времени, например, подсчет транспортных средств, отслеживание пешеходов и обнаружение инцидентов.

• Автомобильная промышленность: Низкая задержка и энергоэффективность критически важны для мониторинга состояния водителя и систем анализа обстановки в салоне, что делает оборудование Intel в сочетании с экспортированными моделями YOLO26 отличным решением для встраиваемых автомобильных систем.

Если ты хочешь узнать больше об этой интеграции, присоединяйся к серии воркшопов Intel OpenVINO DevCon «От аннотирования до развертывания: построение конвейера обнаружения объектов с помощью Geti, YOLO26 и OpenVINO™», где наш менеджер по партнерствам и экосистеме Франческо Маттиоли вместе с евангелистом ИИ-решений Intel Адрианом Богушевски проведут живую демонстрацию и пошаговый разбор того, как создавать готовые к продакшену конвейеры компьютерного зрения для реальных промышленных задач. Воркшоп продемонстрирует полный рабочий процесс обнаружения объектов, от создания набора данных и обучения модели до оптимизации и развертывания на периферии.

Link to this sectionПреимущества использования формата экспорта OpenVINO#

Вот несколько ключевых преимуществ использования формата экспорта OpenVINO:

• Доступность и простота интеграции: Благодаря унифицированному API и более чем 80 обучающим блокнотам, OpenVINO упрощает путь от экспериментов до развертывания без внесения значительной сложности.

• Запуск одной модели на разном оборудовании: OpenVINO позволяет использовать одну экспортированную модель на поддерживаемом оборудовании Intel, развертывая ее на CPU, GPU или NPU без необходимости переписывания или адаптации для каждого устройства.

• Встроенная оптимизация во время экспорта: Экспорт в OpenVINO преобразует модели из популярных фреймворков, таких как PyTorch и TensorFlow, в оптимизированный формат, готовый к выводу, исключая необходимость в отдельных шагах преобразования.

• Более эффективное использование аппаратных ресурсов: OpenVINO поддерживает асинхронный вывод и балансировку нагрузки на оборудовании Intel, помогая повысить эффективность в реальных приложениях.

Link to this sectionЗапуск YOLO26 с помощью ExecuTorch и бэкенда OpenVINO#

Если ты развертываешь YOLO26 в более требовательных производственных средах, существует еще одна опция, сочетающая эффективность на устройстве с продвинутым сжатием моделей.

ExecuTorch, фреймворк PyTorch для логического вывода на устройствах, поддерживает бэкенд OpenVINO, который позволяет развертывать YOLO26 на оборудовании Intel через другой путь экспорта и исполнения.

Принцип работы заключается в том, что ExecuTorch берет на себя экспорт модели и выполнение, в то время как OpenVINO выступает в роли слоя аппаратного ускорения, обрабатывая вычисления на CPU, GPU или NPU Intel. Они работают вместе, чтобы ты мог получить портативность и эффективность ExecuTorch на устройстве в сочетании с аппаратными оптимизациями, которые предоставляет OpenVINO.

Чтобы узнать больше о том, как это работает, и как начать работу с YOLO26 на ExecuTorch с бэкендом OpenVINO, ознакомься с блогом Intel, освещающим последние обновления ExecuTorch и OpenVINO.

Link to this sectionОсновные выводы#

Экспорт моделей YOLO26 через интеграцию Ultralytics и OpenVINO улучшает производительность на оборудовании Intel без усложнения твоего рабочего процесса. Ты можешь пройти путь от обучения до развертывания, не переделывая свой конвейер. В целом, это предоставляет простой способ эффективного запуска моделей на CPU, GPU и NPU Intel в реальных приложениях.

Присоединяйся к нашему сообществу и изучи наш репозиторий на GitHub, чтобы узнать больше об ИИ в компьютерном зрении. Ознакомься с нашими вариантами лицензирования, чтобы дать старт своим проектам в области компьютерного зрения. Интересуют инновации, такие как ИИ в производстве или компьютерное зрение в автомобильной отрасли? Посети страницы наших решений, чтобы узнать больше.