Бесшовное развертывание Ultralytics YOLO11 с использованием OpenVINO™

Внедрение ИИ зависит от доступности ИИ-решений, и огромная часть этого — простота их развертывания на уже имеющемся у людей оборудовании. Запуск моделей ИИ на GPU (графических процессорах) — отличный вариант с точки зрения производительности и мощности параллельных вычислений.

Однако реальность такова, что не у всех есть доступ к высокопроизводительным GPU, особенно в граничных средах (edge environments) или на обычных ноутбуках. Именно поэтому так важно оптимизировать модели для эффективной работы на более доступном оборудовании, таком как центральные процессоры (CPU), встроенные GPU и нейронные процессоры (NPU).

Компьютерное зрение, например, — это ветвь искусственного интеллекта, которая позволяет машинам анализировать и понимать изображения и видеопотоки в реальном времени. Модели искусственного зрения, такие как Ultralytics YOLO11, поддерживают ключевые задачи, такие как детекция объектов и сегментация экземпляров, которые лежат в основе приложений — от аналитики в розничной торговле до медицинской диагностики.

Рис. 1. Использование Ultralytics YOLO11 для детекции и сегментации объектов в розничном магазине.

Чтобы сделать компьютерное зрение более доступным, компания Ultralytics выпустила обновленную интеграцию с набором инструментов OpenVINO, который представляет собой проект с открытым исходным кодом для оптимизации и запуска инференса ИИ на CPU, GPU и NPU.

Благодаря этой интеграции стало проще экспортировать и развертывать модели YOLO11 с инференсом до 3 раз быстрее на CPU и с ускоренной производительностью на Intel GPU и NPU. В этой статье мы рассмотрим, как использовать пакет Ultralytics Python для экспорта моделей YOLO11 в формат OpenVINO и применения его для инференса. Давайте начнем!

Обзор Ultralytics YOLO11#

Прежде чем мы погрузимся в детали интеграции OpenVINO, поддерживаемой Ultralytics, давай внимательнее рассмотрим, что делает YOLO11 надежной и эффективной моделью компьютерного зрения. YOLO11 — это новейшая модель в серии Ultralytics YOLO, предлагающая значительные улучшения как в скорости, так и в точности.

Один из ключевых моментов — эффективность. Например, Ultralytics YOLO11m имеет на 22% меньше параметров, чем Ultralytics YOLOv8m, но при этом достигает более высокого среднего показателя точности (mAP) на наборе данных COCO. Это означает, что она работает быстрее и точнее обнаруживает объекты, что делает ее идеальной для приложений реального времени, где производительность и отзывчивость имеют решающее значение.

Рис. 2. Тесты производительности Ultralytics YOLO11.

Помимо детекции объектов, YOLO11 поддерживает различные продвинутые задачи компьютерного зрения, такие как сегментация экземпляров, оценка позы, классификация изображений, трекинг объектов и детекция с ориентированными ограничивающими рамками. YOLO11 также удобна для разработчиков: пакет Ultralytics Python предоставляет простой и единообразный интерфейс для обучения, оценки и развертывания моделей.

Вдобавок к этому пакет Ultralytics Python поддерживает различные интеграции и множество форматов экспорта, включая OpenVINO, ONNX, TorchScript, позволяя тебе легко интегрировать YOLO11 в различные конвейеры развертывания. Независимо от того, ориентируешься ли ты на облачную инфраструктуру, периферийные устройства или встраиваемые системы, процесс экспорта прост и адаптируем под твои аппаратные требования.

Что такое OpenVINO™?#

OpenVINO™ (Open Visual Inference and Neural Network Optimization) — это инструментарий с открытым исходным кодом для оптимизации и развертывания ИИ-выводов на широком спектре оборудования. Он позволяет разработчикам эффективно запускать высокопроизводительные приложения вывода на различных платформах Intel, включая CPU, встроенные и дискретные GPU, NPU и программируемые пользователем вентильные матрицы (FPGA).

OpenVINO предоставляет унифицированный интерфейс среды выполнения, который абстрагирует различия в оборудовании с помощью плагинов для конкретных устройств. Это означает, что разработчики могут написать код один раз и развернуть его на нескольких целевых устройствах Intel, используя последовательный API.

Вот несколько ключевых функций, которые делают OpenVINO отличным выбором для развертывания:

• Конвертер моделей: Этот инструмент преобразует и подготавливает модели из популярных фреймворков, таких как PyTorch, ONNX, TensorFlow, PaddlePaddle и других, чтобы их можно было оптимизировать для эффективного инференса на оборудовании Intel.
• Гетерогенное выполнение: Тебе не нужно переписывать свой код для разного оборудования Intel. OpenVINO позволяет легко запускать одну и ту же модель на любом поддерживаемом оборудовании, от CPU до GPU.
• Поддержка квантования: Инструментарий поддерживает форматы со сниженной точностью, такие как FP16 (по умолчанию) и INT8, которые помогают уменьшить размер модели и ускорить вывод без существенного влияния на точность.

Рис. 3. OpenVINO обеспечивает разнообразные варианты развертывания.

Изучение интеграции Ultralytics x OpenVINO#

Теперь, когда мы разобрались, что такое OpenVINO и каково его значение, давай обсудим, как экспортировать модели Ultralytics YOLO11 в формат OpenVINO и запустить эффективный инференс на оборудовании Intel.

Шаг 1: Установка пакета Ultralytics Python#

Чтобы экспортировать модель в формат OpenVINO, тебе сначала нужно установить пакет Ultralytics Python. Этот пакет предоставляет все необходимое для обучения, оценки и экспорта моделей YOLO, включая YOLO11.

Ты можешь установить его, выполнив команду "pip install ultralytics" в своем терминале или командной строке. Если ты работаешь в интерактивной среде, такой как Jupyter Notebook или Google Colab, просто добавь восклицательный знак перед командой.

Кроме того, если у тебя возникнут какие-либо проблемы во время установки или экспорта, документация Ultralytics и руководства по устранению неполадок станут отличными ресурсами, которые помогут тебе вернуться в строй.

Шаг 2: Экспортируй свою модель Ultralytics YOLO11 в формат OpenVINO#

Как только пакет Ultralytics настроен, следующий шаг — загрузить модель YOLO11 и преобразовать ее в формат, совместимый с OpenVINO.

В примере ниже мы используем предобученную модель YOLO11 (“yolo11n.pt”). Функционал экспорта используется для преобразования ее в формат OpenVINO. После выполнения этого кода преобразованная модель будет сохранена в новой директории с названием “yolo11n_openvino_model”.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="openvino")

Шаг 3: Запуск вывода с экспортированной моделью#

Как только твоя модель YOLO11 экспортирована в формат OpenVINO, ты можешь запускать выводы двумя способами: используя пакет Ultralytics Python или встроенную среду выполнения OpenVINO Runtime.

Использование пакета Ultralytics Python#

Экспортированную модель YOLO11 можно легко развернуть с помощью пакета Ultralytics Python, как показано в фрагменте кода ниже. Этот метод идеален для быстрой проверки гипотез и упрощенного развертывания на оборудовании Intel.

Ты также можешь указать, какое устройство использовать для вывода, например, "intel:cpu", "intel:gpu" или "intel:npu", в зависимости от того, какое оборудование Intel доступно в твоей системе.

ov_model = YOLO("yolo11n_openvino_model/")
results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

После выполнения указанного выше кода выходное изображение будет сохранено в директории "runs/detect/predict".

Рис. 4. Использование экспортированной модели Ultralytics YOLO11 для обнаружения объектов на изображении.

Использование встроенной среды выполнения OpenVINO Runtime#

Если ты ищешь настраиваемый способ запуска вывода, особенно в производственных средах, OpenVINO Runtime дает тебе больше контроля над тем, как выполняется твоя модель. Он поддерживает расширенные функции, такие как асинхронное выполнение (запуск нескольких запросов вывода параллельно) и балансировка нагрузки (эффективное распределение рабочих нагрузок вывода по оборудованию Intel).

Чтобы использовать встроенную среду выполнения, тебе понадобятся файлы экспортированной модели: файл .xml (который определяет архитектуру сети) и файл .bin (в котором хранятся обученные веса модели). Ты также можешь настроить дополнительные параметры, такие как размерность входных данных или этапы предварительной обработки, в зависимости от твоего приложения.

Типичный процесс развертывания включает инициализацию ядра OpenVINO, загрузку и компиляцию модели для целевого устройства, подготовку входных данных и выполнение инференса. Подробные примеры и пошаговые руководства см. в официальной документации Ultralytics OpenVINO.

Почему стоит выбрать интеграцию Ultralytics x OpenVINO?#

Изучая интеграции Ultralytics, ты заметишь, что пакет Ultralytics Python поддерживает экспорт моделей YOLO11 в различные форматы, такие как TorchScript, CoreML, TensorRT и ONNX. Так почему стоит выбрать интеграцию OpenVINO?

Вот несколько причин, почему формат экспорта OpenVINO отлично подходит для развертывания моделей на оборудовании Intel:

• Прирост производительности: Ты можешь оценить инференс, который работает до 3 раз быстрее на Intel CPU, с дополнительным ускорением, доступным на интегрированных GPU и NPU.
• Переобучение не требуется: ты можешь экспортировать свои существующие модели Ultralytics YOLO11 напрямую в формат OpenVINO без их изменения или переобучения.
• Создано для масштабирования: Одна и та же экспортированная модель может быть развернута на маломощных периферийных устройствах и крупномасштабной облачной инфраструктуре, что упрощает масштабируемое развертывание ИИ.

Ты также можешь оценить тесты производительности модели Ultralytics YOLO11 на различных платформах Intel® в OpenVINO™ Model Hub. OpenVINO Model Hub — это ресурс для разработчиков, где можно оценить модели ИИ на оборудовании Intel и оценить преимущества производительности OpenVINO на процессорах Intel, встроенных GPU, NPU и дискретных видеокартах.

Рис. 5. OpenVINO™ Model Hub: бенчмарки производительности модели Ultralytics YOLO11 на различных платформах Intel®.

Варианты применения Ultralytics YOLO11 и формата экспорта OpenVINO#

С помощью интеграции OpenVINO развертывание моделей Ultralytics YOLO11 на оборудовании Intel в реальных условиях становится намного проще.

Отличным примером является умный ритейл, где Ultralytics YOLO11 помогает в реальном времени обнаруживать пустые полки, отслеживать заканчивающиеся товары и анализировать перемещения покупателей по магазину. Это позволяет ритейлерам улучшить управление запасами и оптимизировать планировку магазина для повышения вовлеченности покупателей.

Аналогичным образом в умных городах YOLO11 может использоваться для мониторинга трафика путем подсчета транспортных средств, отслеживания пешеходов и обнаружения проездов на красный свет в режиме реального времени. Эти аналитические данные могут способствовать оптимизации транспортного потока, повышению безопасности дорожного движения и помощи в системах автоматического контроля.

Рис. 6. Подсчет транспортных средств с помощью YOLO11.

Другой интересный вариант использования — промышленный контроль, где Ultralytics YOLO11 может применяться на производственных линиях для автоматического обнаружения визуальных дефектов, таких как отсутствующие компоненты, перекосы или повреждения поверхности. Это повышает эффективность, снижает затраты и поддерживает высокое качество продукции.

Ключевые факторы, которые следует учитывать при использовании инструментария OpenVINO#

При развертывании моделей Ultralytics YOLO11 с помощью OpenVINO обрати внимание на несколько важных моментов для достижения наилучших результатов:

• Проверь совместимость оборудования: убедись, что твое железо Intel — будь то CPU, интегрированный GPU или NPU — поддерживается OpenVINO, чтобы модель могла работать эффективно.
• Установи правильные драйверы: если ты используешь GPU или NPU Intel, дважды проверь, что все необходимые драйверы установлены правильно и обновлены до последней версии.
• Пойми компромиссы точности: OpenVINO поддерживает точность моделей FP32, FP16 и INT8. Каждая из них влечет за собой компромисс между скоростью и точностью, поэтому важно выбрать правильный вариант, исходя из твоих целей производительности и доступного оборудования.

Основные выводы#

Экспорт Ultralytics YOLO11 в формат OpenVINO позволяет легко запускать быстрые и эффективные модели компьютерного зрения на оборудовании Intel. Ты можешь развертывать их на CPU, GPU и NPU, не переобучая и не меняя свой код. Это отличный способ повысить производительность, сохраняя при этом простоту и масштабируемость.

Благодаря поддержке, встроенной в пакет Ultralytics Python, экспорт и запуск вывода с помощью OpenVINO просты. Всего за несколько шагов ты можешь оптимизировать свою модель и запустить ее на различных платформах Intel. Независимо от того, работаешь ли ты над умным ритейлом, мониторингом трафика или промышленной инспекцией, этот рабочий процесс поможет тебе перейти от разработки к развертыванию быстро и уверенно.

Присоединяйся к сообществу YOLO и загляни в репозиторий GitHub компании Ultralytics, чтобы узнать больше об эффективных интеграциях, поддерживаемых Ultralytics. Кроме того, ознакомься с вариантами лицензирования Ultralytics, чтобы начать работу с компьютерным зрением уже сегодня!

Зарегистрируйся на наш предстоящий вебинар, чтобы увидеть интеграцию Ultralytics × OpenVINO в действии, и посети сайт OpenVINO, чтобы изучить инструменты для оптимизации и развертывания ИИ в масштабе.