Экспортируй и оптимизируй Ultralytics YOLOv8 для инференса на Intel OpenVINO

В этой статье мы рассмотрим, как ты можешь экспортировать и оптимизировать свою предобученную или кастомную модель Ultralytics YOLOv8 для инференса с использованием OpenVINO. Если ты используешь систему на базе Intel, будь то CPU или GPU, это руководство покажет тебе, как значительно ускорить работу модели с минимальными усилиями.

Link to this sectionЗачем оптимизировать YOLOv8 с помощью OpenVINO?#

Оптимизация модели YOLOv8 с помощью OpenVINO может обеспечить ускорение инференса до 3 раз, особенно если ты работаешь на CPU Intel. Этот прирост производительности может сыграть огромную роль в приложениях реального времени: от детекции объектов до сегментации и систем безопасности.

Link to this sectionШаги по экспорту и оптимизации твоей модели YOLOv8#

Link to this sectionРазбираемся в процессе#

Для начала давай разберем процесс. Мы сконвертируем модель PyTorch в ONNX, а затем оптимизируем её с помощью OpenVINO. Этот процесс состоит из нескольких простых шагов и может применяться к различным моделям и форматам, включая TensorFlow, PyTorch, Caffe и ONNX.

Link to this sectionЭкспорт модели#

Заглянув в документацию Ultralytics, мы увидим, что экспорт модели YOLOv8 выполняется с помощью метода export фреймворка Ultralytics. Этот метод позволяет конвертировать модель из PyTorch в ONNX и, наконец, оптимизировать её для OpenVINO. В результате получается модель, которая работает значительно быстрее, используя преимущества мощного оборудования Intel.

Link to this sectionУстановка зависимостей#

Перед запуском скрипта экспорта тебе нужно убедиться, что все необходимые зависимости установлены. К ним относятся библиотека Ultralytics, ONNX и OpenVINO. Установка этих пакетов — простой процесс, который можно выполнить через pip, установщик пакетов Python.

Link to this sectionЗапуск скрипта экспорта#

Как только окружение настроено, ты можешь запустить свой скрипт экспорта. Этот скрипт сконвертирует твою модель PyTorch в ONNX, а затем в OpenVINO. Процесс прост и включает вызов одной функции для выполнения экспорта. Фреймворк Ultralytics упрощает конвертацию и оптимизацию моделей, гарантируя получение максимальной производительности без лишних хлопот.

Рис 1. Николай Нильсен показывает, как запустить скрипт экспорта.

Link to this sectionСравнение производительности#

После экспорта важно сравнить производительность оригинальной и оптимизированной моделей. Бенчмаркинг времени инференса обеих моделей позволит тебе наглядно увидеть прирост производительности. Как правило, модель OpenVINO показывает значительное сокращение времени инференса по сравнению с оригинальной моделью PyTorch. Это особенно заметно на более крупных моделях, где выигрыш в производительности ощущается сильнее всего.

Link to this sectionРеальное применение и преимущества#

Оптимизация моделей YOLOv8 с помощью OpenVINO особенно полезна для приложений, требующих обработки в реальном времени. Вот несколько примеров:

• Системы безопасности: детекция объектов в реальном времени позволяет мгновенно оповещать сотрудников службы безопасности, повышая защищенность и скорость реагирования.
• Автономные транспортные средства: более высокая скорость инференса повышает скорость реакции систем автономного вождения, делая их безопаснее и надежнее.
• Здравоохранение: быстрая обработка изображений для диагностических инструментов может спасать жизни, предоставляя результаты быстрее и позволяя своевременно оказывать помощь.

Внедряя эти оптимизации, ты не только улучшаешь производительность, но и повышаешь надежность и эффективность своих приложений. Это ведет к лучшему пользовательскому опыту, росту продуктивности и появлению более инновационных решений.

Link to this sectionЗаключение#

Экспорт и оптимизация модели YOLOv8 для OpenVINO — это мощный способ использовать возможности оборудования Intel для создания более быстрых и эффективных AI-приложений. Сделав всего несколько простых шагов, ты сможешь кардинально улучшить производительность своей модели и эффективно применять её в реальных задачах.

Не забудь ознакомиться с другими уроками и руководствами от Ultralytics, чтобы продолжать совершенствовать свои AI-проекты. Посети наш репозиторий на GitHub и присоединяйся к сообществу Ultralytics, чтобы получать больше полезной информации и обновлений. Давай внедрять инновации вместе!

Помни, что оптимизация моделей — это не только скорость, но и открытие новых возможностей, а также залог того, что твои AI-решения будут надежными, эффективными и готовыми к будущему.