1 июля 2025 г.
Узнайте, как экспорт Ultralytics YOLO11 в формат OpenVINO™ обеспечивает молниеносный вывод на оборудовании Intel®, повышая скорость, масштабируемость и точность.
Внедрение ИИ зависит от доступности решений ИИ, и огромная часть этого — упрощение их развертывания на оборудовании, которое уже есть у людей. Запуск моделей ИИ на графических процессорах (GPU) — отличный вариант с точки зрения производительности и мощности параллельной обработки.
Однако реальность такова, что не у всех есть доступ к высокопроизводительным графическим процессорам, особенно в периферийных средах или на обычных ноутбуках. Вот почему так важно оптимизировать модели для эффективной работы на более широко доступном оборудовании, таком как центральные процессоры (CPU), интегрированные графические процессоры и нейронные процессоры (NPU).
Компьютерное зрение, например, — это раздел ИИ, который позволяет машинам анализировать и понимать изображения и видеопотоки в реальном времени. Модели Vision AI, такие как Ultralytics YOLO11 , поддерживают ключевые задачи, такие как обнаружение объектов и сегментация экземпляров, которые лежат в основе приложений от розничной аналитики до медицинской диагностики.
Чтобы сделать компьютерное зрение более доступным, Ultralytics выпустила обновленную интеграцию с набором инструментов OpenVINO, который является проектом с открытым исходным кодом для оптимизации и запуска логического вывода ИИ на ЦП, ГП и NPU.
Благодаря этой интеграции экспорт и развертывание моделей YOLO11 стали проще, обеспечивая до 3× более быструю инференцию на ЦП и ускоренную производительность на графических процессорах и NPU Intel. В этой статье мы рассмотрим, как использовать Python-пакет Ultralytics для экспорта моделей YOLO11 в формат OpenVINO и использовать его для инференции. Давайте начнем!
Прежде чем мы углубимся в детали интеграции OpenVINO, поддерживаемой Ultralytics, давайте внимательнее посмотрим, что делает YOLO11 надежной и эффективной моделью компьютерного зрения. YOLO11 — это последняя модель в серии Ultralytics YOLO, предлагающая значительные улучшения как в скорости, так и в точности.
Одним из ключевых преимуществ является эффективность. Например, Ultralytics YOLO11m имеет на 22% меньше параметров, чем Ultralytics YOLOv8m, но при этом достигает более высокой средней точности (mAP) на наборе данных COCO. Это означает, что он работает быстрее, а также более точно обнаруживает объекты, что делает его идеальным для приложений реального времени, где производительность и скорость реагирования имеют решающее значение.
Помимо обнаружения объектов, YOLO11 поддерживает различные расширенные задачи компьютерного зрения, такие как сегментация экземпляров, оценка позы, классификация изображений, отслеживание объектов и обнаружение ориентированных ограничивающих рамок. YOLO11 также удобен для разработчиков: Python-пакет Ultralytics предоставляет простой и последовательный интерфейс для обучения, оценки и развертывания моделей.
В дополнение к этому, пакет Ultralytics Python поддерживает различные интеграции и несколько форматов экспорта, включая OpenVINO, ONNX, TorchScript, что позволяет легко интегрировать YOLO11 в различные конвейеры развертывания. Независимо от того, ориентируетесь ли вы на облачную инфраструктуру, периферийные устройства или встроенные системы, процесс экспорта прост и адаптируется к вашим аппаратным потребностям.
OpenVINO™ (Open Visual Inference and Neural Network Optimization) — это набор инструментов с открытым исходным кодом для оптимизации и развертывания логического вывода ИИ на широком спектре оборудования. Он позволяет разработчикам эффективно запускать высокопроизводительные приложения логического вывода на различных платформах Intel, включая ЦП, интегрированные и дискретные графические процессоры, NPU и программируемые пользователем вентильные матрицы (FPGA).
OpenVINO предоставляет унифицированный интерфейс среды выполнения, который абстрагирует аппаратные различия с помощью плагинов для конкретных устройств. Это означает, что разработчики могут написать код один раз и развернуть его на нескольких аппаратных платформах Intel, используя согласованный API.
Вот некоторые из ключевых особенностей, которые делают OpenVINO отличным выбором для развертывания:
Теперь, когда мы изучили, что такое OpenVINO и его значение, давайте обсудим, как экспортировать модели YOLO11 в формат OpenVINO и выполнять эффективный вывод на оборудовании Intel.
Чтобы экспортировать модель в формат OpenVINO, вам сначала необходимо установить пакет Ultralytics Python. Этот пакет предоставляет все необходимое для обучения, оценки и экспорта моделей YOLO, включая YOLO11.
Вы можете установить его, выполнив команду "pip install ultralytics" в вашем терминале или командной строке. Если вы работаете в интерактивной среде, такой как Jupyter Notebook или Google Colab, просто добавьте восклицательный знак перед командой.
Кроме того, если у вас возникнут какие-либо проблемы во время установки или экспорта, документация Ultralytics и руководства по устранению неполадок — отличные ресурсы, которые помогут вам вернуться в нужное русло.
После установки пакета Ultralytics следующим шагом будет загрузка вашей модели YOLO11 и преобразование ее в формат, совместимый с OpenVINO.
В приведенном ниже примере мы используем предварительно обученную модель YOLO11 («yolo11n.pt»). Функция экспорта используется для преобразования ее в формат OpenVINO. После запуска этого кода преобразованная модель будет сохранена в новом каталоге под названием «yolo11n_openvino_model».
from ultralytics import YOLO
model = YOLO("yolo11n.pt")
model.export(format="openvino")После экспорта вашей модели YOLO11 в формат OpenVINO вы можете запускать логические выводы двумя способами: с помощью пакета Ultralytics Python или собственной среды выполнения OpenVINO.
Экспортированная модель YOLO11 может быть легко развернута с использованием Python-пакета Ultralytics, как показано в примере кода ниже. Этот метод идеально подходит для быстрых экспериментов и оптимизированного развертывания на оборудовании Intel.
Вы также можете указать, какое устройство использовать для инференса, например, "intel:cpu", "intel:gpu" или "intel:npu", в зависимости от оборудования Intel, доступного в вашей системе.
ov_model = YOLO("yolo11n_openvino_model/")
results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")После запуска приведенного выше кода выходное изображение будет сохранено в каталоге «runs/detect/predict».
Если вы ищете настраиваемый способ запуска инференса, особенно в производственных средах, OpenVINO Runtime дает вам больше контроля над тем, как выполняется ваша модель. Он поддерживает расширенные функции, такие как асинхронное выполнение (параллельный запуск нескольких запросов инференса) и балансировка нагрузки (эффективное распределение рабочих нагрузок инференса по оборудованию Intel).
Чтобы использовать собственный runtime, вам понадобятся экспортированные файлы модели: файл .xml (который определяет архитектуру сети) и файл .bin (который хранит обученные веса модели). Вы также можете настроить дополнительные параметры, такие как размеры входных данных или этапы предварительной обработки, в зависимости от вашего приложения.
Типичный процесс развертывания включает инициализацию ядра OpenVINO, загрузку и компиляцию модели для целевого устройства, подготовку входных данных и выполнение логического вывода. Подробные примеры и пошаговые инструкции см. в официальной документации Ultralytics OpenVINO.
Изучая интеграции Ultralytics, вы заметите, что пакет Ultralytics Python поддерживает экспорт моделей YOLO11 в различные форматы, такие как TorchScript, CoreML, TensorRT и ONNX. Итак, почему стоит выбрать интеграцию OpenVINO?
Вот несколько причин, почему формат экспорта OpenVINO отлично подходит для развертывания моделей на оборудовании Intel:
Вы также можете оценить эталонные показатели производительности модели YOLO11 на различных платформах Intel® в OpenVINO™ Model Hub. OpenVINO Model Hub — это ресурс для разработчиков, позволяющий оценивать модели ИИ на оборудовании Intel и обнаруживать преимущества производительности OpenVINO на процессорах Intel, встроенных графических процессорах, NPU и дискретной графике.
Благодаря интеграции OpenVINO развертывание моделей YOLO11 на оборудовании Intel в реальных условиях становится намного проще.
Отличным примером является интеллектуальная розничная торговля, где YOLO11 может помочь в режиме реального времени обнаруживать пустые полки, отслеживать, какие продукты заканчиваются, и анализировать, как покупатели перемещаются по магазину. Это позволяет розничным торговцам улучшить управление запасами и оптимизировать планировку магазинов для повышения вовлеченности покупателей.
Аналогично, в умных городах YOLO11 может использоваться для мониторинга трафика путем подсчета транспортных средств, отслеживания пешеходов и обнаружения нарушений правил проезда на красный свет в режиме реального времени. Эти данные могут поддерживать оптимизацию транспортного потока, повышать безопасность дорожного движения и помогать в автоматизированных системах контроля.
Еще один интересный вариант использования — промышленный контроль, где YOLO11 может быть развернута на производственных линиях для автоматического обнаружения визуальных дефектов, таких как отсутствующие компоненты, смещение или повреждение поверхности. Это повышает эффективность, снижает затраты и обеспечивает лучшее качество продукции.
При развертывании моделей YOLO11 с помощью OpenVINO следует помнить о нескольких важных вещах, чтобы получить наилучшие результаты:
Экспорт Ultralytics YOLO11 в формат OpenVINO упрощает запуск быстрых и эффективных моделей Vision AI на оборудовании Intel. Вы можете выполнять развертывание на ЦП, ГП и NPU без необходимости переобучения или изменения кода. Это отличный способ повысить производительность, сохраняя при этом простоту и масштабируемость.
Благодаря встроенной поддержке в пакете Ultralytics Python экспорт и запуск инференса с помощью OpenVINO не составляет труда. Всего за несколько шагов вы можете оптимизировать свою модель и запустить ее на различных платформах Intel. Независимо от того, работаете ли вы в сфере интеллектуальной розничной торговли, мониторинга дорожного движения или промышленного контроля, этот рабочий процесс поможет вам быстро и уверенно перейти от разработки к развертыванию.
Присоединяйтесь к сообществу YOLO и ознакомьтесь с репозиторием Ultralytics на GitHub, чтобы узнать больше об эффективных интеграциях, поддерживаемых Ultralytics. Также ознакомьтесь с вариантами лицензирования Ultralytics, чтобы начать работу с компьютерным зрением уже сегодня!
Зарегистрируйтесь на наш предстоящий вебинар, чтобы увидеть интеграцию Ultralytics × OpenVINO в действии, и посетите веб-сайт OpenVINO, чтобы изучить инструменты для оптимизации и развертывания AI в масштабе.
.webp)