Интеграции Ultralytics YOLOv8 для отслеживания экспериментов машинного обучения

Сбор и аннотирование данных и обучение таких моделей, как модель Ultralytics YOLOv8, — основа любого проекта в области компьютерного зрения. Часто для поиска наиболее эффективной модели приходится многократно обучать свою модель с разными параметрами. Инструменты отслеживания экспериментов помогают немного упростить управление проектом в области компьютерного зрения. Отслеживание экспериментов — это запись сведений о каждом запуске обучения: например, использованных параметров, полученных результатов и внесённых изменений.

Рис. 1. Изображение, показывающее место отслеживания экспериментов в проекте по компьютерному зрению.

Запись этих сведений поможет тебе воспроизводить результаты, понимать, что работает, а что нет, и эффективнее настраивать модели. Для организаций это помогает поддерживать согласованность между командами, улучшает взаимодействие и обеспечивает четкий аудиторский след. Для отдельных специалистов это способ вести четкую и упорядоченную документацию своей работы, чтобы совершенствовать подход и со временем добиваться лучших результатов.

В этой статье мы расскажем о доступных интеграциях для обучения, которые помогают управлять экспериментами YOLOv8 и отслеживать их. Независимо от того, работаешь ли ты самостоятельно или в большой команде, понимание принципов работы подходящих инструментов отслеживания и их использование могут существенно повлиять на успех твоих проектов YOLOv8.

Отслеживание экспериментов машинного обучения с помощью MLflow#

MLflow — это платформа с открытым исходным кодом, разработанная Databricks, которая упрощает управление полным жизненным циклом машинного обучения. MLflow Tracking — ключевой компонент MLflow, предоставляющий API и пользовательский интерфейс, которые помогают специалистам по анализу данных и инженерам регистрировать результаты экспериментов машинного обучения и визуализировать их. Платформа поддерживает несколько языков и интерфейсов, включая Python, REST, Java и API для R.

MLflow Tracking легко интегрируется с YOLOv8, и ты можешь напрямую регистрировать важные метрики, такие как прецизионность, полнота и функция потерь, для своих моделей. Настроить MLflow с YOLOv8 просто, а доступно несколько гибких вариантов: можно использовать настройки localhost по умолчанию, подключиться к различным хранилищам данных или запустить удаленный сервер отслеживания MLflow, чтобы хранить все данные в порядке.

Рис. 2. Типичные конфигурации среды отслеживания MLflow. Источник изображения: MLflow Tracking.

Вот несколько факторов, которые помогут решить, подходит ли MLflow для твоего проекта:

• Масштабируемость: MLflow легко масштабируется в соответствии с твоими потребностями — будь то работа на одном компьютере или развертывание в крупных кластерах. Если проект предполагает переход от разработки к рабочей среде, MLflow поможет обеспечить такой рост.
• Сложность проекта: MLflow отлично подходит для сложных проектов, требующих тщательного отслеживания, управления моделями и возможностей развертывания. Если проекту нужны все эти функции, MLflow поможет оптимизировать рабочие процессы.
• Настройка и обслуживание: несмотря на широкие возможности, освоение и настройка MLflow требуют времени и усилий.

Отслеживание моделей компьютерного зрения с помощью Weights & Biases (W&B)#

Weights & Biases — это платформа MLOps для отслеживания, визуализации и управления экспериментами машинного обучения. Используя W&B с YOLOv8, ты можешь отслеживать производительность моделей во время обучения и тонкой настройки. Интерактивная панель W&B наглядно отображает эти метрики в реальном времени, помогая выявлять тенденции, сравнивать варианты моделей и устранять проблемы в процессе обучения.

W&B автоматически регистрирует метрики обучения и контрольные точки модели. С его помощью ты также можешь настраивать гиперпараметры, например скорость обучения и размер пакета. Платформа поддерживает широкий выбор конфигураций: от отслеживания запусков на локальном компьютере до управления крупными проектами с использованием облачного хранилища.

Рис. 3. Пример панелей отслеживания экспериментов в Weights & Biases. Источник изображения: Weights & Biases track experiments.

Вот несколько факторов, которые помогут решить, подходит ли Weights & Biases для твоего проекта:

• Расширенные возможности визуализации и отслеживания: W&B предоставляет интуитивно понятную панель для визуализации метрик обучения и производительности модели в реальном времени.

Отслеживание экспериментов MLOps с помощью ClearML#

ClearML — это платформа MLOps с открытым исходным кодом, предназначенная для автоматизации, мониторинга и оркестрации рабочих процессов машинного обучения. Она поддерживает популярные фреймворки машинного обучения, такие как PyTorch, TensorFlow и Keras, и легко интегрируется в существующие процессы. ClearML также поддерживает распределенные вычисления на локальных компьютерах и в облаке, а также позволяет отслеживать использование CPU и GPU.

Интеграция YOLOv8 с ClearML предоставляет инструменты для отслеживания экспериментов, управления моделями и мониторинга ресурсов. Интуитивно понятный веб-интерфейс платформы позволяет визуализировать данные, сравнивать эксперименты и отслеживать важные метрики, такие как потери, точность и оценки на валидации, в реальном времени. Интеграция также поддерживает расширенные возможности, включая удалённое выполнение, настройку гиперпараметров и сохранение контрольных точек модели.

Рис. 4. Пример визуализации отслеживания экспериментов в ClearML. Источник изображения: ClearML Tracking Experiments and Visualizing Results.

Вот несколько факторов, которые помогут решить, подходит ли ClearML для твоего проекта:

• Необходимость в расширенном отслеживании экспериментов: ClearML предоставляет надежные средства отслеживания экспериментов, включая автоматическую интеграцию с Git.
• Гибкое развертывание: ClearML можно использовать локально, в облаке или в кластерах Kubernetes, адаптируя платформу к различным конфигурациям.

Отслеживание экспериментов обучения с помощью Comet ML#

Comet ML — удобная платформа, которая помогает управлять экспериментами машинного обучения и отслеживать их. Интеграция YOLOv8 с Comet ML позволяет регистрировать эксперименты и просматривать результаты в динамике. Благодаря этой интеграции проще выявлять тенденции и сравнивать разные запуски.

Comet ML можно использовать в облаке, в частном виртуальном облаке (VPC) и даже локально, поэтому платформа подходит для разных конфигураций и потребностей. Этот инструмент создан для командной работы. Ты можешь делиться проектами, отмечать коллег и оставлять комментарии, чтобы все участники были в курсе и могли точно воспроизводить эксперименты.

Вот несколько факторов, которые помогут решить, подходит ли Comet ML для твоего проекта:

• Поддержка множества фреймворков и языков: Comet ML работает с Python, JavaScript, Java, R и другими языками, поэтому это универсальный вариант для проектов с любыми инструментами и языками.
• Настраиваемые панели и отчеты: интерфейс Comet ML можно гибко настраивать, чтобы создавать наиболее подходящие для твоего проекта отчеты и панели.
• Стоимость: Comet ML — коммерческая платформа, а для использования некоторых расширенных функций нужна платная подписка.

TensorBoard для визуализации#

TensorBoard — мощный инструментарий визуализации, созданный специально для экспериментов с TensorFlow, но он также отлично подходит для отслеживания и визуализации метрик в самых разных проектах машинного обучения. TensorBoard известен своей простотой и быстродействием: с его помощью пользователи могут легко отслеживать ключевые метрики и визуализировать графы моделей, эмбеддинги и другие типы данных.

Одно из главных преимуществ использования TensorBoard с YOLOv8 — минимальная настройка: установи пакет tensorboard и один раз включи ведение журналов с помощью yolo settings tensorboard=True. Ещё одно преимущество — возможность запускать TensorBoard полностью локально. Это особенно важно для проектов со строгими требованиями к конфиденциальности данных или для сред, где загрузка данных в облако невозможна.

Рис. 5. Мониторинг обучения модели YOLOv8 с помощью TensorBoard.

Вот несколько факторов, которые помогут решить, подходит ли TensorBoard для твоего проекта:

• Простое отслеживание экспериментов: TensorBoard подходит для базового отслеживания с ограниченными возможностями сравнения экспериментов. В нем также нет надежных функций для совместной работы команды, контроля версий и управления конфиденциальностью.

Отслеживание экспериментов машинного обучения с помощью DVCLive (Data Version Control Live)#

Интеграция YOLOv8 с DVCLive упрощает отслеживание экспериментов и управление ими: можно версионировать наборы данных, модели и код вместе, не храня большие файлы в Git. Для этого используются команды, подобные командам Git, а отслеживаемые метрики сохраняются в обычных текстовых файлах, что упрощает контроль версий. DVCLive записывает ключевые метрики, визуализирует результаты и упорядоченно управляет экспериментами, не засоряя репозиторий. Он поддерживает широкий спектр поставщиков хранилищ и может работать локально или в облаке. DVCLive отлично подходит командам, которым нужно упростить отслеживание экспериментов без дополнительной инфраструктуры и зависимости от облака.

Управление моделями и рабочими процессами Ultralytics с помощью Ultralytics HUB#

Ultralytics HUB (теперь Ultralytics Platform) — собственная универсальная платформа, созданная для упрощения обучения, развёртывания и управления моделями Ultralytics YOLO, такими как YOLOv5 и YOLOv8. В отличие от внешних интеграций, Ultralytics HUB предлагает встроенную среду, созданную специально для пользователей YOLO. Платформа упрощает весь процесс: ты можешь загружать наборы данных, выбирать предварительно обученные модели и запускать обучение всего за несколько кликов, используя облачные ресурсы, — и всё это в удобном интерфейсе HUB. Ultralytics HUB также поддерживает отслеживание экспериментов, упрощая мониторинг хода обучения, сравнение результатов и тонкую настройку моделей.

Рис. 6. Мониторинг обучения модели YOLOv8 с помощью Ultralytics HUB.

Главные выводы#

Выбор подходящего инструмента для отслеживания экспериментов машинного обучения может многое изменить. Все рассмотренные инструменты помогают отслеживать эксперименты по обучению YOLOv8, но важно взвесить преимущества и недостатки каждого, чтобы выбрать оптимальный вариант для своего проекта. Подходящий инструмент поможет тебе поддерживать порядок и повышать производительность модели YOLOv8!

Интеграции упрощают использование YOLOv8 в проектах и помогают быстрее продвигаться вперёд. Чтобы узнать больше об интеграциях YOLOv8, ознакомься с нашей документацией.

Узнай больше об ИИ: изучи наш репозиторий на GitHub и присоединяйся к нашему сообществу. Подробную информацию о применении ИИ в производстве и здравоохранении ты найдёшь на страницах наших решений.