Экспортируй и оптимизируй Ultralytics YOLOv8 для инференса в Intel OpenVINO

В этой статье блога мы рассмотрим, как экспортировать и оптимизировать предварительно обученную или обученную на собственных данных модель Ultralytics YOLOv8 для инференса с помощью OpenVINO. Если ты используешь систему на базе Intel, будь то CPU или GPU, это руководство покажет, как значительно ускорить модель с минимальными усилиями.

Зачем оптимизировать Ultralytics YOLOv8 с помощью OpenVINO?#

Оптимизация модели Ultralytics YOLOv8 с помощью OpenVINO может ускорить инференс до 3 раз, особенно если ты используешь CPU Intel. Такое повышение производительности может существенно повлиять на приложения реального времени — от обнаружения объектов до сегментации и систем безопасности.

Этапы экспорта и оптимизации модели Ultralytics YOLOv8#

Разбираемся в процессе#

Для начала разберем процесс. Мы преобразуем модель PyTorch в формат OpenVINO и оптимизируем ее. На момент записи видео преобразование выполнялось через ONNX как промежуточный формат; в текущих версиях Ultralytics преобразование выполняется напрямую из PyTorch. Процесс состоит из нескольких простых шагов и применим к различным моделям и форматам, включая TensorFlow, PyTorch и ONNX.

Экспорт модели#

В документации Ultralytics мы видим, что для экспорта модели YOLOv8 используется метод экспорта фреймворка Ultralytics. Этот метод преобразует модель из PyTorch и оптимизирует её для OpenVINO. В результате получается модель, которая работает значительно быстрее на оборудовании Intel.

Установка зависимостей#

Перед запуском скрипта экспорта нужно убедиться, что установлены все необходимые зависимости. К ним относятся библиотека Ultralytics и OpenVINO. Установка этих пакетов — простой процесс, который можно выполнить через pip, установщик пакетов Python.

Запуск скрипта экспорта#

После настройки среды можно запустить скрипт экспорта. Этот скрипт преобразует модель PyTorch в OpenVINO. Процесс прост: для выполнения экспорта достаточно вызвать одну функцию. Фреймворк Ultralytics упрощает преобразование и оптимизацию моделей, помогая добиться максимальной производительности без лишних сложностей.

Рис. 1. Николай Нильсен рассказывает, как запустить скрипт экспорта.

Сравнение производительности#

После экспорта важно сравнить производительность исходной и оптимизированной моделей. Замерь время инференса обеих моделей, чтобы наглядно увидеть прирост производительности. Как правило, время инференса модели OpenVINO значительно меньше, чем у исходной модели PyTorch. Особенно заметна разница на крупных моделях.

Применение и преимущества в реальных условиях#

Оптимизация моделей Ultralytics YOLOv8 с помощью OpenVINO особенно полезна для приложений, которым нужна обработка в реальном времени. Вот несколько примеров:

• Системы безопасности: обнаружение объектов в реальном времени позволяет мгновенно предупреждать сотрудников службы безопасности, повышая уровень защиты и скорость реагирования.
• Автономные автомобили: более высокая скорость инференса повышает отзывчивость систем автономного вождения, делая их безопаснее и надёжнее.
• Здравоохранение: быстрая обработка изображений в диагностических инструментах может спасать жизни, обеспечивая более быстрое получение результатов и своевременное вмешательство.

Эти оптимизации не только повышают производительность, но и улучшают надежность и эффективность приложений. Это может улучшить пользовательский опыт, повысить продуктивность и открыть путь к более инновационным решениям.

Подводя итоги#

Экспорт и оптимизация модели Ultralytics YOLOv8 для OpenVINO — эффективный способ использовать оборудование Intel для более быстрых и производительных ИИ-приложений. Всего за несколько простых шагов можно значительно повысить производительность модели и эффективно применять её в реальных сценариях.

Изучи другие руководства и инструкции Ultralytics, например урок OpenVINO на CPU в Ultralytics Academy, чтобы продолжать развивать свои ИИ-проекты. Посети наш репозиторий GitHub и присоединяйся к сообществу Ultralytics, чтобы узнавать больше и следить за обновлениями.

Помни: оптимизация моделей — это не только скорость. Она открывает новые возможности и помогает создавать надежные, эффективные и готовые к будущему решения на основе ИИ.