Экспортируй и оптимизируй Ultralytics YOLOv8 для инференса на Intel OpenVINO
Оптимизируй модель Ultralytics YOLOv8 для инференса с помощью OpenVINO. Следуй нашему руководству, чтобы преобразовать модели PyTorch в ONNX и оптимизировать их для приложений реального времени.
В этой статье мы рассмотрим, как экспортировать и оптимизировать предварительно обученную или обученную на собственных данных модель Ultralytics YOLOv8 для инференса с использованием OpenVINO. Если ты используешь систему на базе Intel — CPU или GPU, — это руководство покажет, как значительно ускорить работу модели с минимальными усилиями.
Зачем оптимизировать Ultralytics YOLOv8 с помощью OpenVINO?#
Оптимизация модели Ultralytics YOLOv8 с помощью OpenVINO может обеспечить до трёхкратного ускорения задач инференса, особенно при использовании CPU Intel. Такой прирост производительности может иметь огромное значение для приложений реального времени — от обнаружения объектов до сегментации и систем безопасности.
Шаги по экспорту и оптимизации модели Ultralytics YOLOv8#
Разбираемся в процессе#
Для начала разберём процесс по шагам. Мы преобразуем модель PyTorch в ONNX, а затем оптимизируем её с помощью OpenVINO. Этот процесс включает несколько простых шагов и может применяться к различным моделям и форматам, включая TensorFlow, PyTorch, Caffe и ONNX.
Экспорт модели#
Обратившись к документации Ultralytics, мы видим, что экспорт модели YOLOv8 выполняется с помощью метода export из фреймворка Ultralytics. Этот метод позволяет преобразовать модель из PyTorch в ONNX, а затем оптимизировать её для OpenVINO. В результате получается модель, которая работает значительно быстрее, используя мощное аппаратное обеспечение Intel.
Установка зависимостей#
Перед запуском скрипта экспорта нужно убедиться, что установлены все необходимые зависимости. К ним относятся библиотека Ultralytics, ONNX и OpenVINO. Установка этих пакетов — простой процесс, который можно выполнить через pip, установщик пакетов Python.
Запуск скрипта экспорта#
После настройки окружения можно запустить скрипт экспорта. Этот скрипт преобразует модель PyTorch в ONNX, а затем в OpenVINO. Процесс прост и сводится к вызову одной функции, которая выполняет экспорт. Фреймворк Ultralytics упрощает преобразование и оптимизацию моделей, помогая получить максимальную производительность с минимальными усилиями.
Рис. 1. Nicolai Nielsen объясняет, как запустить скрипт экспорта.
Сравнение производительности#
После экспорта важно сравнить производительность исходной и оптимизированной моделей. Измерив время инференса обеих моделей, ты сможешь ясно увидеть прирост производительности. Как правило, модель OpenVINO демонстрирует значительно меньшее время инференса по сравнению с исходной моделью PyTorch. Особенно заметно это на крупных моделях, где прирост производительности наиболее ощутим.
Применение и преимущества в реальных условиях#
Оптимизация моделей Ultralytics YOLOv8 с помощью OpenVINO особенно полезна для приложений, требующих обработки в реальном времени. Вот несколько примеров:
- Системы безопасности: обнаружение объектов в реальном времени позволяет мгновенно оповещать сотрудников службы безопасности, повышая уровень безопасности и оперативность реагирования.
- Автоматизированные транспортные средства: более высокая скорость инференса повышает быстроту реагирования систем автономного вождения, делая их безопаснее и надёжнее.
- Здравоохранение: быстрая обработка изображений для диагностических инструментов может спасать жизни, ускоряя получение результатов и обеспечивая своевременное медицинское вмешательство.
Внедряя эти оптимизации, ты не только повышаешь производительность, но и улучшаешь надёжность и эффективность своих приложений. Это может привести к более удобному взаимодействию пользователей с продуктом, росту производительности и появлению более инновационных решений.
Подводя итоги#
Экспорт и оптимизация модели Ultralytics YOLOv8 для OpenVINO — эффективный способ использовать аппаратное обеспечение Intel для создания более быстрых и производительных AI-приложений. Всего за несколько простых шагов ты можешь преобразить производительность модели и эффективно применять её в реальных сценариях.
Обязательно ознакомься с другими руководствами и учебными материалами Ultralytics, чтобы продолжать развивать свои AI-проекты. Посети наш репозиторий на GitHub и присоединяйся к сообществу Ultralytics, чтобы получать новые сведения и обновления. Давай вместе внедрять инновации!
Помни: оптимизация моделей — это не только скорость, но и раскрытие новых возможностей, а также обеспечение надёжности, эффективности и готовности твоих AI-решений к будущему.
