Бесшовное развертывание Ultralytics YOLO11 с использованием OpenVINO™

Внедрение ИИ зависит от доступности ИИ-решений, и огромная часть этого — простота их развертывания на уже имеющемся у людей оборудовании. Запуск моделей ИИ на GPU (графических процессорах) — отличный вариант с точки зрения производительности и мощности параллельных вычислений.

Однако реальность такова, что не у всех есть доступ к высокопроизводительным GPU, особенно в граничных средах (edge environments) или на обычных ноутбуках. Именно поэтому так важно оптимизировать модели для эффективной работы на более доступном оборудовании, таком как центральные процессоры (CPU), встроенные GPU и нейронные процессоры (NPU).

Компьютерное зрение, например, — это отрасль ИИ, позволяющая машинам анализировать и понимать изображения и видеопотоки в режиме реального времени. Модели Vision AI, такие как Ultralytics YOLO11, поддерживают ключевые задачи, такие как обнаружение объектов и сегментация экземпляров, которые лежат в основе приложений — от аналитики в ритейле до медицинской диагностики.

Рис. 1. Использование Ultralytics YOLO11 для обнаружения и сегментации объектов в розничном магазине.

Чтобы сделать компьютерное зрение более доступным, Ultralytics выпустила обновленную интеграцию с инструментарием OpenVINO — проектом с открытым исходным кодом для оптимизации и запуска ИИ-выводов на CPU, GPU и NPU.

Благодаря этой интеграции стало проще экспортировать и развертывать модели YOLO11, получая до 3× более быстрый вывод на CPU и ускоренную производительность на Intel GPU и NPU. В этой статье мы подробно рассмотрим, как использовать пакет Ultralytics Python для экспорта моделей YOLO11 в формат OpenVINO и использовать их для вывода. Давай начнем!

Link to this sectionОбзор Ultralytics YOLO11#

Прежде чем мы погрузимся в детали интеграции OpenVINO, поддерживаемой Ultralytics, давай внимательнее рассмотрим, что делает YOLO11 надежной и эффективной моделью компьютерного зрения. YOLO11 — это новейшая модель в серии Ultralytics YOLO, предлагающая значительные улучшения как в скорости, так и в точности.

Один из ключевых моментов — эффективность. Например, Ultralytics YOLO11m имеет на 22% меньше параметров, чем Ultralytics YOLOv8m, но при этом достигает более высокого среднего показателя точности (mAP) на наборе данных COCO. Это означает, что она работает быстрее и точнее обнаруживает объекты, что делает ее идеальной для приложений реального времени, где производительность и отзывчивость имеют решающее значение.

Рис. 2. Бенчмарки производительности Ultralytics YOLO11.

Помимо обнаружения объектов, YOLO11 поддерживает различные передовые задачи компьютерного зрения, такие как сегментация экземпляров, оценка позы, классификация изображений, отслеживание объектов и обнаружение ориентированных ограничивающих рамок. YOLO11 также удобна для разработчиков: пакет Ultralytics Python предоставляет простой и последовательный интерфейс для обучения, оценки и развертывания моделей.

Кроме того, пакет Ultralytics Python поддерживает различные интеграции и множество форматов экспорта, включая OpenVINO, ONNX, TorchScript, что позволяет легко внедрять YOLO11 в разные конвейеры развертывания. Независимо от того, ориентируешься ли ты на облачную инфраструктуру, граничные устройства или встроенные системы, процесс экспорта прост и адаптируется к потребностям твоего оборудования.

Link to this sectionЧто такое OpenVINO™?#

OpenVINO™ (Open Visual Inference and Neural Network Optimization) — это инструментарий с открытым исходным кодом для оптимизации и развертывания ИИ-выводов на широком спектре оборудования. Он позволяет разработчикам эффективно запускать высокопроизводительные приложения вывода на различных платформах Intel, включая CPU, встроенные и дискретные GPU, NPU и программируемые пользователем вентильные матрицы (FPGA).

OpenVINO предоставляет унифицированный интерфейс среды выполнения, который абстрагирует различия в оборудовании с помощью плагинов для конкретных устройств. Это означает, что разработчики могут написать код один раз и развернуть его на нескольких целевых устройствах Intel, используя последовательный API.

Вот несколько ключевых функций, которые делают OpenVINO отличным выбором для развертывания:

• Конвертер моделей: Этот инструмент преобразует и подготавливает модели из популярных фреймворков, таких как PyTorch, ONNX, TensorFlow, PaddlePaddle и других, чтобы их можно было оптимизировать для эффективного вывода на оборудовании Intel.
• Гетерогенное выполнение: Тебе не нужно переписывать свой код для разного оборудования Intel. OpenVINO позволяет легко запускать одну и ту же модель на любом поддерживаемом оборудовании, от CPU до GPU.
• Поддержка квантования: Инструментарий поддерживает форматы со сниженной точностью, такие как FP16 (по умолчанию) и INT8, которые помогают уменьшить размер модели и ускорить вывод без существенного влияния на точность.

Рис. 3. OpenVINO обеспечивает разнообразные варианты развертывания.

Link to this sectionИзучение интеграции Ultralytics x OpenVINO#

Теперь, когда мы изучили, что такое OpenVINO и почему это важно, давай обсудим, как экспортировать модели YOLO11 в формат OpenVINO и выполнять эффективный вывод на оборудовании Intel.

Link to this sectionШаг 1: Установка пакета Ultralytics Python#

Для экспорта модели в формат OpenVINO тебе сначала нужно установить пакет Ultralytics Python. Этот пакет предоставляет все необходимое для обучения, оценки и экспорта моделей YOLO, включая YOLO11.

Ты можешь установить его, выполнив команду "pip install ultralytics" в своем терминале или командной строке. Если ты работаешь в интерактивной среде, такой как Jupyter Notebook или Google Colab, просто добавь восклицательный знак перед командой.

Кроме того, если ты столкнешься с какими-либо проблемами во время установки или экспорта, документация Ultralytics и руководства по устранению неполадок станут отличными ресурсами, которые помогут тебе вернуться в строй.

Link to this sectionШаг 2: Экспорт модели YOLO11 в формат OpenVINO#

Как только пакет Ultralytics настроен, следующий шаг — загрузить модель YOLO11 и преобразовать ее в формат, совместимый с OpenVINO.

В примере ниже мы используем предобученную модель YOLO11 (“yolo11n.pt”). Функционал экспорта используется для преобразования ее в формат OpenVINO. После выполнения этого кода преобразованная модель будет сохранена в новой директории с названием “yolo11n_openvino_model”.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="openvino")

Link to this sectionШаг 3: Запуск вывода с экспортированной моделью#

Как только твоя модель YOLO11 экспортирована в формат OpenVINO, ты можешь запускать выводы двумя способами: используя пакет Ultralytics Python или встроенную среду выполнения OpenVINO Runtime.

Link to this sectionИспользование пакета Ultralytics Python#

Экспортированную модель YOLO11 можно легко развернуть с помощью пакета Ultralytics Python, как показано в фрагменте кода ниже. Этот метод идеален для быстрой проверки гипотез и упрощенного развертывания на оборудовании Intel.

Ты также можешь указать, какое устройство использовать для вывода, например, "intel:cpu", "intel:gpu" или "intel:npu", в зависимости от того, какое оборудование Intel доступно в твоей системе.

ov_model = YOLO("yolo11n_openvino_model/")
results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

После выполнения указанного выше кода выходное изображение будет сохранено в директории "runs/detect/predict".

Рис 4. Использование экспортированной модели YOLO11 для обнаружения объектов на изображении.

Link to this sectionИспользование встроенной среды выполнения OpenVINO Runtime#

Если ты ищешь настраиваемый способ запуска вывода, особенно в производственных средах, OpenVINO Runtime дает тебе больше контроля над тем, как выполняется твоя модель. Он поддерживает расширенные функции, такие как асинхронное выполнение (запуск нескольких запросов вывода параллельно) и балансировка нагрузки (эффективное распределение рабочих нагрузок вывода по оборудованию Intel).

Чтобы использовать встроенную среду выполнения, тебе понадобятся файлы экспортированной модели: файл .xml (который определяет архитектуру сети) и файл .bin (в котором хранятся обученные веса модели). Ты также можешь настроить дополнительные параметры, такие как размерность входных данных или этапы предварительной обработки, в зависимости от твоего приложения.

Типичный процесс развертывания включает инициализацию ядра OpenVINO, загрузку и компиляцию модели для целевого устройства, подготовку входных данных и выполнение вывода. Для получения подробных примеров и пошаговых руководств обратись к официальной документации Ultralytics OpenVINO.

Link to this sectionПочему стоит выбрать интеграцию Ultralytics x OpenVINO?#

Изучая интеграции Ultralytics, ты заметишь, что пакет Ultralytics Python поддерживает экспорт моделей YOLO11 в различные форматы, такие как TorchScript, CoreML, TensorRT и ONNX. Так почему стоит выбрать интеграцию OpenVINO?

Вот несколько причин, почему формат экспорта OpenVINO отлично подходит для развертывания моделей на оборудовании Intel:

• Прирост производительности: Ты можешь получить до 3× более быстрый вывод на CPU Intel, с дополнительным ускорением на встроенных GPU и NPU.
• Переобучение не требуется: Ты можешь экспортировать свои существующие модели YOLO11 напрямую в формат OpenVINO без изменения или переобучения их.
• Создано для масштабирования: Одна и та же экспортированная модель может быть развернута как на маломощных граничных устройствах, так и в крупномасштабной облачной инфраструктуре, что упрощает масштабируемое развертывание ИИ.

Ты также можешь оценить бенчмарки производительности модели YOLO11 на ряде платформ Intel® в OpenVINO™ Model Hub. OpenVINO Model Hub — это ресурс для разработчиков, позволяющий оценивать ИИ-модели на оборудовании Intel и открывать для себя преимущества производительности OpenVINO на CPU Intel, встроенных GPU, NPU и дискретной графике.

Рис 5. OpenVINO™ Model Hub: бенчмарки производительности модели YOLO11 на ряде платформ Intel®.

Link to this sectionПрименение YOLO11 и формата экспорта OpenVINO#

С помощью интеграции OpenVINO развертывание моделей YOLO11 на оборудовании Intel в реальных ситуациях становится намного проще.

Отличный пример — умный ритейл, где YOLO11 может помочь обнаруживать пустые полки в реальном времени, отслеживать, какие продукты заканчиваются, и анализировать, как покупатели передвигаются по магазину. Это позволяет ритейлерам улучшить управление запасами и оптимизировать планировку магазина для лучшего взаимодействия с покупателями.

Аналогично, в умных городах YOLO11 можно использовать для мониторинга дорожного движения путем подсчета транспортных средств, отслеживания пешеходов и обнаружения нарушений сигнала светофора в режиме реального времени. Эти данные могут помочь в оптимизации транспортных потоков, повышении безопасности дорожного движения и автоматизированных системах контроля.

Рис. 6. Подсчет транспортных средств с помощью YOLO11.

Еще один интересный кейс — промышленная инспекция, где YOLO11 можно внедрить на производственных линиях для автоматического обнаружения визуальных дефектов, таких как отсутствующие компоненты, перекосы или повреждения поверхности. Это повышает эффективность, снижает затраты и поддерживает более высокое качество продукции.

Link to this sectionКлючевые факторы, которые следует учитывать при использовании инструментария OpenVINO#

При развертывании моделей YOLO11 с помощью OpenVINO, вот несколько важных моментов, которые следует учитывать для достижения наилучших результатов:

• Проверь совместимость оборудования: убедись, что твое оборудование Intel, будь то CPU, встроенный GPU или NPU, поддерживается OpenVINO, чтобы модель могла работать эффективно.
• Установи правильные драйверы: если ты используешь GPU или NPU Intel, дважды проверь, что все необходимые драйверы установлены правильно и обновлены до последней версии.
• Пойми компромиссы точности: OpenVINO поддерживает точность моделей FP32, FP16 и INT8. Каждая из них имеет свой компромисс между скоростью и точностью, поэтому важно выбрать правильный вариант, исходя из твоих целей по производительности и доступного оборудования.

Link to this sectionОсновные выводы#

Экспорт Ultralytics YOLO11 в формат OpenVINO позволяет легко запускать быстрые и эффективные модели компьютерного зрения на оборудовании Intel. Ты можешь развертывать их на CPU, GPU и NPU, не переобучая и не меняя свой код. Это отличный способ повысить производительность, сохраняя при этом простоту и масштабируемость.

Благодаря поддержке, встроенной в пакет Ultralytics Python, экспорт и запуск вывода с помощью OpenVINO просты. Всего за несколько шагов ты можешь оптимизировать свою модель и запустить ее на различных платформах Intel. Независимо от того, работаешь ли ты над умным ритейлом, мониторингом трафика или промышленной инспекцией, этот рабочий процесс поможет тебе перейти от разработки к развертыванию быстро и уверенно.

Присоединяйся к сообществу YOLO и загляни в репозиторий Ultralytics на GitHub, чтобы узнать больше об эффективных интеграциях, поддерживаемых Ultralytics. Также ознакомься с вариантами лицензирования Ultralytics, чтобы начать работу с компьютерным зрением уже сегодня!

Зарегистрируйся на наш предстоящий вебинар, чтобы увидеть интеграцию Ultralytics × OpenVINO в действии, и посети веб-сайт OpenVINO, чтобы изучить инструменты для оптимизации и развертывания ИИ в масштабе.