Ускорение Ultralytics YOLO26 с помощью OpenVINO на Intel Core Ultra Series 3 (Panther Lake)

За последние несколько лет искусственный интеллект и компьютерное зрение прошли путь от экспериментальных технологий до ключевой части повседневных бизнес-процессов. На самом деле, опросы показывают, что около 88% организаций уже используют ИИ как минимум в одном из направлений своего бизнеса.

Однако превращение этого внедрения в реальную ценность — будь то в производственных системах или личных проектах — часто сводится к тому, насколько хорошо модели работают после развертывания. Во многих реальных сценариях модели компьютерного зрения, такие как Ultralytics YOLO26, развертываются на периферийных устройствах и различном «железе» (часто на CPU, встроенных GPU или NPU), а не на мощных видеокартах.

Именно здесь производительность может начать варьироваться, и именно здесь критически важной становится оптимизация. Модель, которая хорошо работает в одной среде, может испытывать трудности в другой, если она должным образом не оптимизирована под конкретное оборудование.

Чтобы упростить этот процесс, пакет Ultralytics для Python поддерживает экспорт моделей YOLO26 в оптимизированные форматы, такие как OpenVINO, чтобы они могли бесперебойно работать на оборудовании Intel без необходимости менять твой рабочий процесс.

Например, когда модель Ultralytics YOLO26 экспортируется в формат OpenVINO, она может работать эффективнее на процессорах Intel Core Ultra Series 3, причем скорость инференса на GPU возрастает до трех раз.

В этой статье мы рассмотрим, как обновленная интеграция Ultralytics и OpenVINO упрощает развертывание моделей YOLO26 на процессорах Intel Core Ultra Series 3. Давай начнем!

Обзор интеграции Ultralytics и OpenVINO#

Пакет Ultralytics для Python предоставляет единый интерфейс для обучения, запуска инференса и развертывания моделей Ultralytics YOLO, таких как YOLO26. Он поддерживает различные интеграции, которые помогают на разных этапах рабочего процесса визуального ИИ — от обучения и экспериментов до развертывания и оптимизации.

Одна из интеграций, ориентированных на развертывание, — это инструмент OpenVINO, который позволяет экспортировать модели Ultralytics YOLO26 в оптимизированный формат для Intel hardware. Этот процесс преобразует модели YOLO в формат, который работает более эффективно на процессорах Intel, GPU и NPU, включая системы на базе процессоров Intel® Core™ Ultra™ серий.

Это упрощает запуск моделей на различных устройствах Intel без необходимости вручную настраивать их для каждого случая. Независимо от того, работаешь ли ты на локальной машине, периферийном устройстве или развертываешь систему в большом масштабе, одну и ту же экспортированную модель можно использовать повторно.

Что делает эту интеграцию особенно практичной, так это то, насколько органично она вписывается в существующий рабочий процесс Ultralytics. Ты можешь экспортировать модель, используя тот же интерфейс, что и для обучения и вывода, не прибегая к дополнительным инструментам или сложным настройкам.

После экспорта модель можно использовать для логического вывода либо через Python-пакет Ultralytics, либо через OpenVINO Runtime, в зависимости от того, какой уровень контроля и гибкости тебе нужен.

Более пристальный взгляд на OpenVINO и оборудование Intel Panther Lake для ИИ-вывода#

Прежде чем мы увидим, насколько эффективно экспортированная модель Ultralytics YOLO26 может работать на оборудовании Intel, давай сделаем шаг назад и разберем, как OpenVINO и аппаратное обеспечение Intel работают вместе для обеспечения эффективного вывода.

OpenVINO — это инструментарий с открытым исходным кодом, разработанный для оптимизации и запуска ИИ-вывода на оборудовании Intel, включая CPU, встроенные GPU и NPU. Он предоставляет единую среду исполнения, поэтому одна и та же модель может работать на различных вычислительных блоках без необходимости переписывания кода.

Рис. 1. OpenVINO упрощает развертывание моделей на различных целевых аппаратных платформах. (Источник)

На новых процессорах Intel® Core™ Ultra™ Series 3 (кодовое название Panther Lake) рабочие нагрузки ИИ выполняются на нескольких вычислительных блоках внутри одного процессора. Каждый чип сочетает в себе ядра CPU для задач общего назначения, встроенный GPU для параллельных вычислений и выделенный NPU, разработанный специально для ИИ-вывода.

OpenVINO предоставляет унифицированный API, который позволяет обращаться к любому из этих вычислительных блоков — CPU, GPU или NPU — без изменения твоего кода. Ты можешь просто указать устройство для запуска логического вывода во время выполнения, что упрощает переключение между всеми тремя вариантами в зависимости от твоих потребностей в производительности и эффективности.

Тестирование производительности Ultralytics YOLO26 на процессорах Intel® Core™ Ultra™ series#

По мере изучения интеграции Ultralytics и OpenVINO тебе может быть интересно: какой прирост производительности модели можно ожидать от экспорта YOLO26 в формат OpenVINO?

Разница в скорости логического вывода становится очевидной при бенчмаркинге моделей YOLO26 в разных форматах и с разной точностью. Например, при запуске нано-варианта YOLO26 (YOLO26n) на процессоре Intel Core Ultra X7 358H (архитектура Panther Lake) время вывода сокращается с 25,18 мс на изображение в PyTorch при точности FP32 до 2,64 мс с OpenVINO при той же точности с использованием встроенного NPU.

Это быстрее, чем исходный базовый показатель PyTorch FP32, что может дать ощутимую разницу в приложениях реального времени и на периферийных устройствах, где критически важна задержка. Эти преимущества становятся еще более заметными при запуске той же модели на встроенном GPU Intel Arc.

Рис. 2. Тестирование производительности инференса Ultralytics YOLO26 на GPU Intel Panther Lake с использованием OpenVINO (Источник)

Рис. 3. Тестирование производительности инференса Ultralytics YOLO26 на NPU Intel Panther Lake с использованием OpenVINO (Источник)

Изучаем два способа экспорта Ultralytics YOLO26 в формат OpenVINO#

Существует два основных способа экспорта моделей YOLO26 в формат OpenVINO. Ты можешь использовать пакет Ultralytics для Python или выполнить экспорт напрямую через Ultralytics Platform — универсальную рабочую среду для создания и управления проектами компьютерного зрения в едином интерфейсе. Далее мы подробно рассмотрим оба подхода.

Использование Python-пакета Ultralytics для экспорта YOLO26#

Python-пакет Ultralytics предоставляет простой способ экспорта моделей YOLO26 в формат OpenVINO в рамках рабочего процесса на основе кода. Поскольку для обучения и вывода используется один и тот же интерфейс, экспорт модели естественным образом вписывается в существующие конвейеры без необходимости в дополнительных инструментах.

Для начала ты можешь установить пакет Ultralytics. Это можно сделать, выполнив команду «pip install ultralytics» в терминале или командной строке. Если ты работаешь в интерактивной среде, такой как Jupyter Notebook или Google Colab, ты можешь запустить ту же команду, добавив перед ней восклицательный знак.

После установки ты можешь загрузить обученную модель YOLO26 и экспортировать ее напрямую в формат OpenVINO. Как показано ниже, предварительно обученная модель YOLO26n (yolo26n.pt) загружается, а затем преобразуется в формат OpenVINO с помощью метода export.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

model.export(format="openvino")

После выполнения кода преобразованная модель сохраняется в новую директорию, откуда ее можно использовать для развертывания.

Экспорт YOLO26 на Ultralytics Platform#

Если ты ищешь более простой подход без написания кода, ты можешь экспортировать модели YOLO26 напрямую через Ultralytics Platform. Эта платформа объединяет весь процесс работы с компьютерным зрением в едином пространстве, позволяя легко перейти от обучения к развертыванию без дополнительной настройки.

Когда твоя модель готова, ты можешь открыть ее на платформе и перейти на вкладку Export. Там ты сможешь выбрать OpenVINO в качестве формата экспорта и при необходимости настроить параметры, такие как размер изображения или точность.

Рис. 4. Процесс экспорта YOLO26 в рамках Ultralytics Platform

Платформа выполняет преобразование автоматически, поэтому нет необходимости управлять скриптами, зависимостями или конфигурацией среды. После завершения экспорта оптимизированную модель можно загрузить и использовать для развертывания на CPU, GPU и NPU Intel.

Варианты развертывания, открываемые интеграцией Ultralytics и OpenVINO#

После того как модель YOLO26 была экспортирована в формат OpenVINO, есть несколько способов запуска логического вывода в зависимости от твоего рабочего процесса и необходимого уровня контроля. Ты можешь либо использовать Python-пакет Ultralytics для более простого, интегрированного подхода, либо задействовать нативный OpenVINO runtime для большей гибкости и контроля.

Запуск вывода с помощью Python-пакета Ultralytics#

После экспорта модели в формат OpenVINO ты можешь запускать логический вывод с помощью Python-пакета Ultralytics. Этот подход идеально подходит для быстрого тестирования и упрощенного развертывания, поскольку использует тот же интерфейс, что и для обучения и экспорта.

При таком подходе ты можешь загрузить экспортированную модель OpenVINO из ее директории и запустить вывод на входных данных, например, на изображении или видео. Ты также можешь выбрать устройство для запуска, указав параметры, такие как "intel:cpu", "intel:gpu" или "intel:npu", в зависимости от оборудования, доступного в твоей системе.

Приведенный ниже фрагмент кода показывает, как загрузить экспортированную модель и запустить вывод на изображении с использованием GPU. После завершения вывода результирующее изображение сохраняется в директорию «runs/detect/predict».

ov_model = YOLO("yolo26n_openvino_model/")

results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

Использование нативного пакета OpenVINO для логического вывода#

Если тебе нужно больше контроля над тем, как модель работает в продакшене, ты можешь использовать нативный OpenVINO runtime для логического вывода. Этот метод полезен при интеграции моделей в более крупные приложения или когда ты хочешь точно настроить выполнение вывода на конкретном оборудовании.

OpenVINO предоставляет унифицированный способ запуска моделей на CPU, GPU и NPU Intel, а также такие функции, как асинхронное выполнение и эффективное использование доступных вычислительных ресурсов. Чтобы настроить это, ты можешь работать напрямую с файлами экспортированной модели, включая файл .xml, который определяет структуру модели, и файл .bin, содержащий обученные веса.

В зависимости от твоего сценария использования ты также можешь настроить такие параметры, как размер входных данных или этапы предобработки. Настройка вывода включает инициализацию OpenVINO runtime, загрузку и компиляцию модели для целевого устройства, подготовку входных данных и последующий запуск вывода.

Рис. 5. Пример типичного конвейера инференса с OpenVINO (Источник)

Это позволяет тебе контролировать выполнение модели и ее интеграцию в твою общую систему развертывания. Чтобы узнать больше о настройке и запуске инференса с помощью среды выполнения OpenVINO, ты можешь изучить официальную документацию Ultralytics.

Применение Ultralytics YOLO26 в реальных условиях на оборудовании Intel#

Реальная ценность интеграции Ultralytics и OpenVINO проявляется в продакшене, где надежный вывод с низкой задержкой может дать ощутимый результат. Вот несколько ключевых отраслей, где эта интеграция приносит значимые результаты:

• Производство: Экспортируя Ultralytics YOLO26 в OpenVINO, системы производственных линий могут автоматически обнаруживать визуальные дефекты, такие как отсутствующие компоненты, смещение или поверхностные повреждения на оборудовании Intel, помогая повысить качество продукции и сократить дорогостоящие ошибки.

• Healthcare: Системы медицинской визуализации и мониторинга пациентов могут запускать экспортированные модели Ultralytics YOLO26 локально на оборудовании Intel, поддерживая строгие требования к конфиденциальности данных при сохранении надежной производительности вывода.

• Smart cities: Мониторинг трафика и анализ толпы могут быть развернуты с использованием экспортированных моделей Ultralytics YOLO26 на периферийных камерах на базе Intel, обеспечивая аналитику в реальном времени, такую как подсчет транспортных средств, отслеживание пешеходов и обнаружение инцидентов.

• Автомобилестроение: Низкая задержка и энергоэффективность имеют решающее значение для мониторинга водителя и датчиков в салоне, что делает оборудование Intel в сочетании с экспортированными моделями Ultralytics YOLO26 отличным решением для встраиваемых автомобильных систем.

Если ты хочешь узнать больше об этой интеграции, присоединяйся к нам на серию воркшопов Intel OpenVINO DevCon workshop series «От разметки до развертывания: создание конвейера обнаружения объектов с помощью Geti, Ultralytics YOLO26 и OpenVINO™», где наш менеджер по партнерству и экосистеме Francesco Mattioli объединится с AI-евангелистом Intel Adrian Boguszewski для живой демонстрации и пошагового разбора того, как создавать готовые к производству конвейеры компьютерного зрения для реальных промышленных сценариев. Воркшоп будет включать полный сквозной рабочий процесс обнаружения объектов: от создания датасета и обучения модели до оптимизации и развертывания на периферийных устройствах.

Преимущества использования формата экспорта OpenVINO#

Вот несколько ключевых преимуществ использования формата экспорта OpenVINO:

• Доступность и простота интеграции: Благодаря унифицированному API и более чем 80 обучающим блокнотам, OpenVINO упрощает путь от экспериментов до развертывания без внесения значительной сложности.

• Запуск одной модели на разном оборудовании: OpenVINO позволяет использовать одну экспортированную модель на поддерживаемом оборудовании Intel, развертывая ее на CPU, GPU или NPU без необходимости переписывания или адаптации для каждого устройства.

• Встроенная оптимизация во время экспорта: Экспорт в OpenVINO преобразует модели из популярных фреймворков, таких как PyTorch и TensorFlow, в оптимизированный формат, готовый к выводу, исключая необходимость в отдельных шагах преобразования.

• Более эффективное использование аппаратных ресурсов: OpenVINO поддерживает асинхронный вывод и балансировку нагрузки на оборудовании Intel, помогая повысить эффективность в реальных приложениях.

Запуск Ultralytics YOLO26 с ExecuTorch и бэкендом OpenVINO#

Если ты развертываешь Ultralytics YOLO26 в более требовательных производственных средах, есть другой доступный вариант, который сочетает в себе эффективность на устройстве с продвинутым сжатием моделей.

ExecuTorch, фреймворк PyTorch для вывода на устройствах, поддерживает бэкенд OpenVINO, который позволяет развертывать Ultralytics YOLO26 на оборудовании Intel через другой путь экспорта и рантайма.

Принцип работы заключается в том, что ExecuTorch берет на себя экспорт модели и выполнение, в то время как OpenVINO выступает в роли слоя аппаратного ускорения, обрабатывая вычисления на CPU, GPU или NPU Intel. Они работают вместе, чтобы ты мог получить портативность и эффективность ExecuTorch на устройстве в сочетании с аппаратными оптимизациями, которые предоставляет OpenVINO.

Чтобы узнать больше о том, как это работает и как начать работу с Ultralytics YOLO26 на ExecuTorch и бэкенде OpenVINO, ознакомься с блогом Intel, освещающим последние обновления ExecuTorch и OpenVINO.

Основные выводы#

Экспорт моделей YOLO26 через интеграцию Ultralytics и OpenVINO улучшает производительность на оборудовании Intel без усложнения твоего рабочего процесса. Ты можешь пройти путь от обучения до развертывания, не переделывая свой конвейер. В целом, это предоставляет простой способ эффективного запуска моделей на CPU, GPU и NPU Intel в реальных приложениях.

Присоединяйся к нашему сообществу и изучай репозиторий на GitHub, чтобы узнать больше о визуальном ИИ. Ознакомься с нашими вариантами лицензирования, чтобы запустить свои проекты по компьютерному зрению. Интересуешься такими инновациями, как ИИ в производстве или компьютерное зрение в автомобильной промышленности? Посети страницы наших решений, чтобы узнать больше.