Легко разверни Ultralytics YOLO11 с помощью OpenVINO™

Доступность решений на базе ИИ — необходимое условие их широкого внедрения, и во многом для этого нужно упростить их развёртывание на уже имеющемся у людей оборудовании. Запуск моделей ИИ на GPU (графических процессорах) — отличный вариант с точки зрения производительности и возможностей параллельной обработки.

Однако на практике не у всех есть доступ к мощным GPU, особенно при работе с периферийными устройствами или обычными ноутбуками. Поэтому так важно оптимизировать модели для эффективной работы на более доступном оборудовании, например центральных процессорах (CPUs), интегрированных GPU и нейронных процессорах (NPUs).

Например, компьютерное зрение — это область ИИ, которая позволяет машинам анализировать изображения и видеопотоки и понимать их содержимое в реальном времени. Модели компьютерного зрения с ИИ, такие как Ultralytics YOLO11, поддерживают ключевые задачи, включая обнаружение объектов и сегментацию экземпляров, лежащие в основе приложений — от аналитики розничной торговли до медицинской диагностики.

Рис. 1. Использование Ultralytics YOLO11 для обнаружения объектов и сегментации в розничном магазине.

Чтобы сделать компьютерное зрение доступнее, Ultralytics выпустила обновлённую интеграцию с набором инструментов OpenVINO — проектом с открытым исходным кодом для оптимизации и запуска инференса ИИ на CPU, GPU и NPU.

Эта интеграция упрощает экспорт и развёртывание моделей YOLO11: инференс на CPU может выполняться до 3× быстрее, а производительность на GPU и NPU Intel ускоряется. В этой статье мы расскажем, как использовать пакет Ultralytics для Python, чтобы экспортировать модели YOLO11 в формат OpenVINO и выполнять с их помощью инференс.

Обзор Ultralytics YOLO11#

Прежде чем подробно рассмотреть интеграцию с OpenVINO, поддерживаемую Ultralytics, давай разберём, почему YOLO11 — надёжная и эффективная модель компьютерного зрения. На момент написания статьи YOLO11 была новейшей моделью в линейке Ultralytics YOLO (позже её сменила Ultralytics YOLO26) и обеспечивала значительное повышение скорости и точности.

Одно из ключевых преимуществ модели — эффективность. Например, у Ultralytics YOLO11m на 22% меньше параметров, чем у Ultralytics YOLOv8m, но при этом на наборе данных COCO модель достигает более высокого среднего значения точности (mAP). Это означает, что она работает быстрее и точнее обнаруживает объекты, поэтому отлично подходит для приложений реального времени, где особенно важны производительность и быстродействие.

Рис. 2. Результаты тестирования производительности Ultralytics YOLO11.

Помимо обнаружения объектов, YOLO11 поддерживает различные задачи компьютерного зрения, включая сегментацию экземпляров, классификацию изображений, оценку позы, обнаружение ориентированных ограничивающих рамок и отслеживание объектов. YOLO11 также удобна для разработчиков: пакет Ultralytics для Python предоставляет простой и единообразный интерфейс для обучения, оценки и развёртывания моделей.

Кроме того, пакет Ultralytics для Python поддерживает различные интеграции и несколько форматов экспорта, включая OpenVINO, ONNX и TorchScript, что упрощает встраивание YOLO11 в различные конвейеры развёртывания. Процесс экспорта прост и адаптируется к требованиям твоего оборудования — будь то облачная инфраструктура, периферийные устройства или встраиваемые системы.

Что такое OpenVINO™?#

OpenVINO™ (открытый инструментарий для инференса и оптимизации нейронных сетей) — это набор инструментов с открытым исходным кодом для оптимизации и развёртывания инференса ИИ на широком спектре оборудования. Он позволяет разработчикам эффективно запускать высокопроизводительные приложения инференса на различных платформах Intel, включая CPU, встроенные и дискретные GPU, NPU и программируемые пользователем вентильные матрицы (FPGA).

OpenVINO предоставляет унифицированный интерфейс среды выполнения, который абстрагирует различия оборудования с помощью специализированных для устройств плагинов. Это позволяет разработчикам написать код один раз и развёртывать его на нескольких аппаратных платформах Intel, используя единый API.

Вот несколько ключевых возможностей, благодаря которым OpenVINO отлично подходит для развёртывания:

• Конвертер моделей: этот инструмент преобразует и подготавливает модели из популярных фреймворков, таких как PyTorch, ONNX, TensorFlow, PaddlePaddle и других, чтобы их можно было оптимизировать для эффективного инференса на оборудовании Intel.
• Гетерогенное выполнение: тебе не нужно переписывать код для разных устройств Intel. OpenVINO позволяет легко запускать одну и ту же модель на любом поддерживаемом оборудовании — от CPU до GPU.
• Поддержка квантования: набор инструментов поддерживает форматы пониженной точности, такие как FP16 (по умолчанию) и INT8, которые помогают уменьшить размер модели и ускорить инференс без существенного снижения точности.

Рис. 3. OpenVINO открывает разнообразные возможности развёртывания.

Интеграция Ultralytics и OpenVINO#

Теперь, когда мы разобрались, что такое OpenVINO и почему он важен, давай обсудим, как экспортировать модели Ultralytics YOLO11 в формат OpenVINO и запускать эффективный инференс на оборудовании Intel.

Шаг 1. Установи пакет Ultralytics для Python#

Чтобы экспортировать модель в формат OpenVINO, сначала нужно установить пакет Ultralytics для Python. В этом пакете есть всё необходимое для обучения, оценки и экспорта моделей YOLO, включая YOLO11.

Чтобы установить пакет, выполни команду pip install ultralytics в терминале или командной строке. Если ты работаешь в интерактивной среде, например Jupyter Notebook или Google Colab, просто добавь перед командой восклицательный знак.

Если при установке или экспорте возникнут проблемы, документация Ultralytics и руководства по устранению неполадок помогут тебе их решить.

Шаг 2. Экспорт модели Ultralytics YOLO11 в формат OpenVINO#

После установки пакета Ultralytics следующий шаг — загрузить модель YOLO11 и преобразовать её в формат, совместимый с OpenVINO.

В примере ниже мы используем предварительно обученную модель YOLO11 («yolo11n.pt»). Функция экспорта преобразует её в формат OpenVINO. После выполнения этого кода преобразованная модель сохранится в новой папке «yolo11n_openvino_model».

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="openvino")

Шаг 3. Запуск инференса с экспортированной моделью#

После экспорта модели YOLO11 в формат OpenVINO можно запускать инференс двумя способами: с помощью пакета Ultralytics для Python или нативной среды выполнения OpenVINO.

Использование пакета Ultralytics для Python#

Экспортированную модель YOLO11 можно легко развернуть с помощью пакета Ultralytics для Python, как показано в примере кода ниже. Этот способ отлично подходит для быстрых экспериментов и упрощённого развёртывания на оборудовании Intel.

Также можно указать устройство для инференса, например «intel:cpu», «intel:gpu» или «intel:npu», в зависимости от оборудования Intel, доступного в твоей системе.

ov_model = YOLO("yolo11n_openvino_model/")
results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

Чтобы сохранить размеченное выходное изображение в каталоге "runs/detect/predict", добавь save=True к вызову инференса.

Рис. 4. Обнаружение объектов на изображении с помощью экспортированной модели Ultralytics YOLO11.

Использование нативной среды выполнения OpenVINO#

Если тебе нужен настраиваемый способ запуска инференса, особенно в производственной среде, среда выполнения OpenVINO даст больше контроля над выполнением модели. Она поддерживает такие расширенные возможности, как асинхронное выполнение (параллельная обработка нескольких запросов инференса) и балансировка нагрузки (эффективное распределение нагрузки инференса по оборудованию Intel).

Для работы с нативной средой выполнения понадобятся файлы экспортированной модели: файл .xml (с описанием архитектуры сети) и файл .bin (с обученными весами модели). В зависимости от приложения можно также настроить дополнительные параметры, например размеры входных данных или этапы предобработки.

Типичный процесс развёртывания включает инициализацию ядра OpenVINO, загрузку и компиляцию модели для целевого устройства, подготовку входных данных и выполнение инференса. Подробные примеры и пошаговые инструкции смотри в официальной документации Ultralytics по OpenVINO или в уроке Ultralytics Academy о том, как запускать OpenVINO на CPU.

Зачем выбирать интеграцию Ultralytics и OpenVINO?#

Изучая интеграции Ultralytics, ты заметишь, что пакет Ultralytics для Python поддерживает экспорт моделей YOLO11 в различные форматы, например TorchScript, CoreML, TensorRT и ONNX. Так зачем выбирать интеграцию с OpenVINO?

Вот несколько причин, почему формат OpenVINO отлично подходит для развёртывания моделей на оборудовании Intel:

• Рост производительности: на CPU Intel инференс может работать до 3 раз быстрее, а встроенные GPU и NPU обеспечивают дополнительное ускорение.
• Переобучение не требуется: ты можешь напрямую экспортировать существующие модели Ultralytics YOLO11 в формат OpenVINO без изменений и повторного обучения.
• Готовность к масштабированию: одну и ту же экспортированную модель можно развернуть и на маломощных периферийных устройствах, и в крупной облачной инфраструктуре, что упрощает масштабируемое развёртывание ИИ.

Также ты можешь оценить результаты тестирования производительности модели Ultralytics YOLO11 на различных платформах Intel® в OpenVINO™ Model Hub. OpenVINO Model Hub — это ресурс, который помогает разработчикам оценивать модели ИИ на оборудовании Intel и изучать преимущества OpenVINO по производительности на CPU Intel, встроенных GPU, NPU и дискретных видеокартах.

Рис. 5. OpenVINO™ Model Hub: результаты тестирования производительности модели Ultralytics YOLO11 на различных платформах Intel®.

Применение Ultralytics YOLO11 и формата экспорта OpenVINO#

Интеграция с OpenVINO значительно упрощает развёртывание моделей Ultralytics YOLO11 на оборудовании Intel в реальных условиях.

Отличный пример — умная розница, где Ultralytics YOLO11 помогает в реальном времени обнаруживать пустые полки, отслеживать товары, запасы которых заканчиваются, и анализировать перемещения покупателей по магазину. Это позволяет ритейлерам эффективнее управлять запасами и оптимизировать планировку магазина, повышая удобство покупок.

Аналогичным образом в умных городах YOLO11 можно использовать для мониторинга дорожного движения: подсчитывать транспортные средства, отслеживать пешеходов и в реальном времени обнаруживать проезд на красный свет. Эти данные помогают оптимизировать транспортные потоки, повышать безопасность дорог и поддерживать автоматизированные системы контроля.

Рис. 6. Подсчёт транспортных средств с помощью YOLO11.

Ещё один интересный сценарий — промышленный контроль: Ultralytics YOLO11 можно развернуть на производственных линиях для автоматического обнаружения визуальных дефектов, например отсутствующих компонентов, несоосности или повреждений поверхности. Это повышает эффективность, снижает затраты и помогает улучшать качество продукции.

Что важно учитывать при работе с набором инструментов OpenVINO#

При развёртывании моделей Ultralytics YOLO11 с OpenVINO учитывай несколько важных моментов, чтобы добиться наилучших результатов:

• Проверь совместимость оборудования: убедись, что OpenVINO поддерживает твоё оборудование Intel — CPU, встроенный GPU или NPU, — чтобы модель работала эффективно.
• Установи нужные драйверы: если ты используешь GPU или NPU Intel, проверь, что все необходимые драйверы правильно установлены и обновлены.
• Учитывай компромисс между точностью и производительностью: OpenVINO поддерживает точности моделей FP32, FP16 и INT8. Выбрать нужную можно при экспорте с помощью аргумента quantize (например, quantize="int8"). Каждый вариант представляет собой компромисс между скоростью и точностью, поэтому важно выбрать подходящий с учётом целей производительности и доступного оборудования.

Главные выводы#

Экспорт Ultralytics YOLO11 в формат OpenVINO позволяет легко запускать быстрые и эффективные модели компьютерного зрения на оборудовании Intel. Ты можешь развёртывать их на CPU, GPU и NPU без повторного обучения и изменения кода. Это отличный способ повысить производительность, сохранив простоту и масштабируемость.

Благодаря встроенной поддержке в пакете Ultralytics для Python экспорт и запуск инференса с OpenVINO не вызывают сложностей. Всего за несколько шагов ты можешь оптимизировать модель и запускать её на различных платформах Intel. Этот процесс поможет быстро и уверенно перейти от разработки к развёртыванию — будь то умная розница, мониторинг дорожного движения или промышленный контроль.

Присоединяйся к сообществу YOLO и загляни в репозиторий GitHub Ultralytics, чтобы узнать больше об интеграциях, которые поддерживает Ultralytics. Также ознакомься с вариантами лицензирования Ultralytics, чтобы уже сегодня начать работу с компьютерным зрением!

Посети сайт OpenVINO, чтобы узнать об инструментах для оптимизации и масштабного развёртывания ИИ.