Бесшовное развертывание Ultralytics YOLO11 с использованием OpenVINO™

Внедрение AI зависит от доступности решений на основе AI, и важная часть этого — простота их развертывания на уже имеющемся у людей оборудовании. Запуск AI-моделей на GPU (графических процессорах) — отличный вариант с точки зрения производительности и возможностей параллельной обработки.

Однако на практике доступ к высокопроизводительным GPU есть не у всех, особенно в периферийных средах или на обычных ноутбуках. Поэтому так важно оптимизировать модели для эффективной работы на более доступном оборудовании, таком как CPU (центральные процессоры), интегрированные GPU и NPU (нейронные процессоры).

Компьютерное зрение, например, — это направление AI, которое позволяет машинам анализировать изображения и видеопотоки и понимать их в реальном времени. Модели Vision AI, такие как Ultralytics YOLO11, поддерживают такие ключевые задачи, как обнаружение объектов и сегментация экземпляров, лежащие в основе приложений — от аналитики розничной торговли до медицинской диагностики.

Рис. 1. Использование Ultralytics YOLO11 для обнаружения объектов и сегментации в розничном магазине.

Чтобы сделать компьютерное зрение более доступным, Ultralytics выпустила обновленную интеграцию с инструментарием OpenVINO — проектом с открытым исходным кодом для оптимизации и выполнения AI-инференса на CPU, GPU и NPU.

Благодаря этой интеграции стало проще экспортировать и развертывать модели YOLO11, получая до 3× более быстрый инференс на CPU и ускоренную работу на GPU и NPU Intel. В этой статье мы покажем, как использовать пакет Ultralytics Python для экспорта моделей YOLO11 в формат OpenVINO и выполнять с его помощью инференс. Начнем!

Обзор Ultralytics YOLO11#

Прежде чем подробно рассмотреть интеграцию OpenVINO, поддерживаемую Ultralytics, давай разберемся, что делает YOLO11 надежной и эффективной моделью компьютерного зрения. YOLO11 — последняя модель в серии Ultralytics YOLO, предлагающая значительные улучшения как скорости, так и точности.

Одно из ее ключевых преимуществ — эффективность. Например, Ultralytics YOLO11m имеет на 22% меньше параметров, чем Ultralytics YOLOv8m, но при этом достигает более высокого значения средней точности (mAP) на датасете COCO. Это означает, что модель работает быстрее и точнее обнаруживает объекты, что делает ее идеальной для приложений реального времени, где критически важны производительность и быстродействие.

Рис. 2. Тесты производительности Ultralytics YOLO11.

Помимо обнаружения объектов, YOLO11 поддерживает различные продвинутые задачи компьютерного зрения, включая сегментацию экземпляров, оценку позы, классификацию изображений, отслеживание объектов и обнаружение ориентированных ограничивающих рамок. YOLO11 также удобна для разработчиков: пакет Ultralytics Python предоставляет простой и единообразный интерфейс для обучения, оценки и развертывания моделей.

Кроме того, пакет Ultralytics Python поддерживает различные интеграции и несколько форматов экспорта, включая OpenVINO, ONNX и TorchScript, что позволяет легко интегрировать YOLO11 в различные конвейеры развертывания. Независимо от того, ориентируешься ли ты на облачную инфраструктуру, периферийные устройства или встраиваемые системы, процесс экспорта прост и адаптируется к требованиям твоего оборудования.

Что такое OpenVINO™?#

OpenVINO™ (открытая визуализация и оптимизация нейронных сетей) — это инструментарий с открытым исходным кодом для оптимизации и развертывания AI-инференса на широком спектре оборудования. Он позволяет разработчикам эффективно запускать высокопроизводительные приложения инференса на различных платформах Intel, включая CPU, интегрированные и дискретные GPU, NPU и программируемые пользователем вентильные матрицы (FPGAs).

OpenVINO предоставляет унифицированный интерфейс среды выполнения, абстрагирующий различия оборудования с помощью специализированных плагинов для устройств. Это означает, что разработчики могут написать код один раз и развертывать его на нескольких целевых устройствах Intel, используя единообразный API.

Вот некоторые ключевые возможности, благодаря которым OpenVINO отлично подходит для развертывания:

• Конвертер моделей: этот инструмент преобразует и подготавливает модели из популярных фреймворков, таких как PyTorch, ONNX, TensorFlow, PaddlePaddle и других, чтобы их можно было оптимизировать для эффективного инференса на оборудовании Intel.
• Гетерогенное выполнение: тебе не нужно переписывать код для различного оборудования Intel. OpenVINO упрощает запуск одной и той же модели на любом поддерживаемом оборудовании — от CPU до GPU.
• Поддержка квантования: инструментарий поддерживает форматы с пониженной точностью, такие как FP16 (по умолчанию) и INT8, которые помогают уменьшить размер модели и ускорить инференс без существенного влияния на точность.

Рис. 3. OpenVINO обеспечивает различные варианты развертывания.

Изучаем интеграцию Ultralytics x OpenVINO#

Теперь, когда мы разобрались, что такое OpenVINO и почему он важен, давай обсудим, как экспортировать модели Ultralytics YOLO11 в формат OpenVINO и выполнять эффективный инференс на оборудовании Intel.

Шаг 1: установи пакет Ultralytics для Python#

Чтобы экспортировать модель в формат OpenVINO, сначала нужно установить пакет Ultralytics Python. Этот пакет предоставляет все необходимое для обучения, оценки и экспорта моделей YOLO, включая YOLO11.

Установить его можно, выполнив в терминале или командной строке команду "pip install ultralytics". Если ты работаешь в интерактивной среде, например Jupyter Notebook или Google Colab, просто добавь перед командой восклицательный знак.

Если во время установки или экспорта возникнут проблемы, документация Ultralytics и руководства по устранению неполадок помогут тебе восстановить рабочий процесс.

Шаг 2: экспортируй модель Ultralytics YOLO11 в формат OpenVINO#

После настройки пакета Ultralytics следующий шаг — загрузить модель YOLO11 и преобразовать ее в формат, совместимый с OpenVINO.

В примере ниже мы используем предварительно обученную модель YOLO11 (»yolo11n.pt«). Функция экспорта преобразует ее в формат OpenVINO. После выполнения этого кода преобразованная модель будет сохранена в новом каталоге с именем »yolo11n_openvino_model«.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="openvino")

Шаг 3: выполни инференс с экспортированной моделью#

После экспорта модели YOLO11 в формат OpenVINO можно выполнять инференс двумя способами: с помощью пакета Ultralytics Python или собственного OpenVINO Runtime.

Использование пакета Ultralytics Python#

Экспортированную модель YOLO11 можно легко развернуть с помощью пакета Ultralytics Python, как показано в приведенном ниже фрагменте кода. Этот метод идеально подходит для быстрых экспериментов и упрощенного развертывания на оборудовании Intel.

Также можно указать устройство, используемое для инференса, например "intel:cpu", "intel:gpu" или "intel:npu", в зависимости от доступного в твоей системе оборудования Intel.

ov_model = YOLO("yolo11n_openvino_model/")
results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

После выполнения приведенного выше кода выходное изображение будет сохранено в каталоге "runs/detect/predict".

Рис. 4. Использование экспортированной модели Ultralytics YOLO11 для обнаружения объектов на изображении.

Использование собственного OpenVINO Runtime#

Если тебе нужен настраиваемый способ выполнения инференса, особенно в производственных средах, OpenVINO Runtime дает больше контроля над выполнением модели. Он поддерживает такие продвинутые возможности, как асинхронное выполнение (запуск нескольких запросов инференса параллельно) и балансировка нагрузки (эффективное распределение рабочих нагрузок инференса между устройствами Intel).

Для использования собственного runtime понадобятся файлы экспортированной модели: файл .xml (описывает архитектуру сети) и файл .bin (хранит обученные веса модели). В зависимости от приложения также можно настроить дополнительные параметры, такие как размеры входных данных или этапы предобработки.

Типичный процесс развертывания включает инициализацию ядра OpenVINO, загрузку и компиляцию модели для целевого устройства, подготовку входных данных и выполнение инференса. Подробные примеры и пошаговые инструкции см. в официальной документации Ultralytics по OpenVINO.

Зачем выбирать интеграцию Ultralytics x OpenVINO?#

Изучая интеграции Ultralytics, ты заметишь, что пакет Ultralytics Python поддерживает экспорт моделей YOLO11 в различные форматы, такие как TorchScript, CoreML, TensorRT и ONNX. Так зачем выбирать интеграцию OpenVINO?

Вот несколько причин, почему формат экспорта OpenVINO отлично подходит для развертывания моделей на оборудовании Intel:

• Прирост производительности: ты можешь получить до 3× более быстрый инференс на CPU Intel, а интегрированные GPU и NPU обеспечивают дополнительное ускорение.
• Повторное обучение не требуется: существующие модели Ultralytics YOLO11 можно напрямую экспортировать в формат OpenVINO без их изменения или повторного обучения.
• Готовность к масштабированию: одну и ту же экспортированную модель можно развернуть на периферийных устройствах с низким энергопотреблением и в крупномасштабной облачной инфраструктуре, что упрощает масштабируемое развертывание AI.

Ты также можешь оценить результаты тестов производительности модели Ultralytics YOLO11 на различных платформах Intel® в OpenVINO™ Model Hub. OpenVINO Model Hub — это ресурс, который позволяет разработчикам оценивать AI-модели на оборудовании Intel и изучать преимущества OpenVINO на CPU Intel, встроенных GPU, NPU и дискретных графических процессорах.

Рис. 5. OpenVINO™ Model Hub: тесты производительности модели Ultralytics YOLO11 на различных платформах Intel®.

Применение Ultralytics YOLO11 и формата экспорта OpenVINO#

Благодаря интеграции OpenVINO развертывание моделей Ultralytics YOLO11 на оборудовании Intel в реальных сценариях становится значительно проще.

Отличный пример — интеллектуальная розничная торговля, где Ultralytics YOLO11 помогает в реальном времени обнаруживать пустые полки, отслеживать товары, запасы которых заканчиваются, и анализировать перемещения покупателей по магазину. Это позволяет продавцам улучшать управление запасами и оптимизировать планировку магазинов для повышения вовлеченности покупателей.

Аналогично, в умных городах YOLO11 можно использовать для мониторинга трафика: подсчета транспортных средств, отслеживания пешеходов и обнаружения проезда на красный свет в реальном времени. Эти данные помогают оптимизировать транспортные потоки, повышать безопасность дорог и поддерживать автоматизированные системы контроля.

Рис. 6. Подсчет транспортных средств с помощью YOLO11.

Еще один интересный вариант применения — промышленный контроль, где Ultralytics YOLO11 можно развернуть на производственных линиях для автоматического обнаружения визуальных дефектов, таких как отсутствующие компоненты, смещение или повреждение поверхности. Это повышает эффективность, снижает затраты и способствует улучшению качества продукции.

Ключевые факторы, которые следует учитывать при использовании инструментария OpenVINO#

При развертывании моделей Ultralytics YOLO11 с помощью OpenVINO следует помнить о нескольких важных моментах, чтобы получить наилучшие результаты:

• Проверь совместимость оборудования: убедись, что твое оборудование Intel — CPU, интегрированный GPU или NPU — поддерживается OpenVINO, чтобы модель могла работать эффективно.
• Установи правильные драйверы: если ты используешь GPU или NPU Intel, проверь, что все необходимые драйверы установлены корректно и обновлены до последней версии.
• Разберись с компромиссами точности: OpenVINO поддерживает точности моделей FP32, FP16 и INT8. Каждая из них предполагает компромисс между скоростью и точностью, поэтому важно выбрать подходящий вариант с учетом целей производительности и доступного оборудования.

Основные выводы#

Экспорт Ultralytics YOLO11 в формат OpenVINO упрощает запуск быстрых и эффективных моделей Vision AI на оборудовании Intel. Ты можешь развертывать их на CPU, GPU и NPU без повторного обучения или изменения кода. Это отличный способ повысить производительность, сохранив простоту и масштабируемость.

Поддержка в пакете Ultralytics Python делает экспорт и выполнение инференса с OpenVINO простыми. Всего за несколько шагов можно оптимизировать модель и запускать ее на различных платформах Intel. Независимо от того, работаешь ли ты с интеллектуальной розничной торговлей, мониторингом трафика или промышленным контролем, этот рабочий процесс помогает быстро и уверенно перейти от разработки к развертыванию.

Присоединяйся к сообществу YOLO и загляни в репозиторий Ultralytics на GitHub, чтобы узнать больше о полезных интеграциях, поддерживаемых Ultralytics. Также ознакомься с вариантами лицензирования Ultralytics, чтобы начать работу с компьютерным зрением уже сегодня!

Зарегистрируйся на наш предстоящий вебинар, чтобы увидеть интеграцию Ultralytics × OpenVINO в действии, и посети сайт OpenVINO, чтобы изучить инструменты для оптимизации и масштабного развертывания AI.