Изучение интеграций Ultralytics YOLOv8 для отслеживания ML-экспериментов

Сбор данных, их разметка и обучение таких моделей, как модель Ultralytics YOLOv8, составляют основу любого проекта в области компьютерного зрения. Часто тебе потребуется обучать свою кастомную модель несколько раз с разными параметрами, чтобы получить наиболее оптимальный результат. Использование инструментов для отслеживания экспериментов по обучению может значительно упростить управление твоим проектом по компьютерному зрению. Отслеживание экспериментов — это процесс записи подробностей каждого запуска обучения, таких как использованные параметры, достигнутые результаты и любые изменения, внесенные в процессе.

Рис. 1. Изображение, показывающее, как отслеживание экспериментов вписывается в проект по компьютерному зрению.

Ведение записей этих деталей помогает воспроизводить результаты, понимать, что работает, а что нет, и более эффективно настраивать модели. Для организаций это помогает поддерживать согласованность между командами, способствует сотрудничеству и обеспечивает четкий журнал аудита. Для отдельных специалистов это способ вести понятную и организованную документацию своей работы, которая позволяет совершенствовать подход и со временем добиваться лучших результатов.

В этой статье мы познакомим тебя с различными интеграциями для обучения, доступными для управления твоими экспериментами с YOLOv8 и их мониторинга. Работаешь ли ты в одиночку или в составе большой команды, понимание и использование правильных инструментов для отслеживания могут сыграть решающую роль в успехе твоих проектов на YOLOv8.

Отслеживание экспериментов машинного обучения с помощью MLflow#

MLflow — это платформа с открытым исходным кодом, разработанная Databricks, которая упрощает управление всем жизненным циклом машинного обучения. MLflow Tracking — это важный компонент MLflow, предоставляющий API и пользовательский интерфейс, помогающий специалистам по данным и инженерам логировать и визуализировать свои эксперименты по машинному обучению. Он поддерживает множество языков и интерфейсов, включая API для Python, REST, Java и R.

MLflow Tracking легко интегрируется с YOLOv8, и ты можешь логировать важные метрики, такие как точность, полнота и функция потерь, прямо из моделей. Настройка MLflow с YOLOv8 предельно проста и предлагает гибкие варианты: ты можешь использовать стандартную настройку localhost, подключаться к различным хранилищам данных или запустить удаленный сервер отслеживания MLflow, чтобы все было организовано.

Рис. 2. Распространенные варианты настройки среды отслеживания MLflow. Источник изображения: MLflow tracking.

Вот несколько моментов, которые помогут тебе решить, является ли MLflow подходящим инструментом для твоего проекта:

• Масштабируемость: MLflow хорошо масштабируется под твои нужды, работаешь ли ты на одной машине или развертываешь систему на крупных кластерах. Если твой проект предполагает переход от разработки к эксплуатации, MLflow поддержит этот рост.
• Сложность проекта: MLflow идеально подходит для сложных проектов, требующих тщательного отслеживания, управления моделями и возможностей развертывания. Если твой проект требует этих полномасштабных функций, MLflow может оптимизировать твои рабочие процессы.
• Настройка и обслуживание: Несмотря на свою мощь, MLflow требует обучения и расходов на настройку.

Использование Weights & Biases (W&B) для отслеживания моделей компьютерного зрения#

Weights & Biases — это MLOps-платформа для отслеживания, визуализации и управления экспериментами по машинному обучению. Используя W&B с YOLOv8, ты можешь следить за производительностью своих моделей по мере их обучения и точной настройки. Интерактивная панель мониторинга W&B предоставляет четкое представление этих метрик в реальном времени, что упрощает выявление трендов, сравнение вариантов моделей и устранение неполадок в процессе обучения.

W&B автоматически логирует метрики обучения и чекпоинты моделей, и ее даже можно использовать для настройки гиперпараметров, таких как скорость обучения и размер батча. Платформа поддерживает широкий спектр вариантов настройки: от отслеживания запусков на твоем локальном компьютере до управления крупномасштабными проектами с использованием облачного хранилища.

Рис. 3. Пример панелей мониторинга отслеживания экспериментов Weights & Biases. Источник изображения: Weights & Biases track experiments.

Вот несколько моментов, которые помогут тебе решить, является ли Weights & Biases подходящим инструментом для твоего проекта:

• Улучшенная визуализация и отслеживание: W&B предоставляет интуитивно понятную панель мониторинга для визуализации метрик обучения и производительности моделей в реальном времени.
• Ценовая модель: Стоимость зависит от количества отслеживаемых часов, что может не подойти пользователям с ограниченным бюджетом или проектам с длительным временем обучения.

Отслеживание MLOps-экспериментов с помощью ClearML#

ClearML — это MLOps-платформа с открытым исходным кодом, разработанная для автоматизации, мониторинга и оркестрации рабочих процессов машинного обучения. Она поддерживает популярные фреймворки машинного обучения, такие как PyTorch, TensorFlow и Keras, и легко интегрируется с твоими существующими процессами. ClearML также поддерживает распределенные вычисления на локальных машинах или в облаке и может контролировать использование CPU и GPU.

Интеграция YOLOv8 с ClearML предоставляет инструменты для отслеживания экспериментов, управления моделями и мониторинга ресурсов. Интуитивный веб-интерфейс платформы позволяет визуализировать данные, сравнивать эксперименты и в реальном времени отслеживать критические метрики, такие как потери, точность и оценки валидации. Интеграция также поддерживает расширенные функции, такие как удаленное выполнение, настройка гиперпараметров и сохранение контрольных точек моделей.

Рис. 4. Пример визуализаций отслеживания экспериментов ClearML. Источник изображения: Clear ML Tracking Experiments and Visualizing Results.

Вот несколько моментов, которые помогут тебе решить, является ли ClearML подходящим инструментом для твоего проекта:

• Потребность в расширенном отслеживании экспериментов: ClearML обеспечивает надежное отслеживание экспериментов, которое включает автоматическую интеграцию с Git.
• Гибкое развертывание: ClearML можно использовать локально (on-premises), в облаке или на кластерах Kubernetes, что делает его адаптируемым к различным настройкам.

Отслеживание экспериментов по обучению с помощью Comet ML#

Comet ML — это удобная платформа, которая помогает управлять экспериментами по машинному обучению и отслеживать их. Интеграция YOLOv8 с Comet ML позволяет логировать эксперименты и просматривать результаты с течением времени. Эта интеграция облегчает выявление трендов и сравнение различных запусков.

Comet ML можно использовать в облаке, в виртуальном частном облаке (VPC) или даже локально, что делает его адаптируемым к различным настройкам и потребностям. Этот инструмент предназначен для командной работы. Ты можешь делиться проектами, отмечать товарищей по команде и оставлять комментарии, чтобы все были в курсе дела и могли точно воспроизводить эксперименты.

Вот несколько моментов, которые помогут тебе решить, является ли Comet ML подходящим инструментом для твоего проекта:

• Поддержка нескольких фреймворков и языков: Comet ML работает с Python, JavaScript, Java, R и другими языками, что делает ее универсальным вариантом независимо от используемых в твоем проекте инструментов.
• Настраиваемые панели управления и отчеты: Интерфейс Comet ML легко настраивается, поэтому ты можешь создавать те отчеты и панели управления, которые наиболее актуальны для твоего проекта.
• Стоимость: Comet ML — это коммерческая платформа, и некоторые из ее расширенных функций требуют платной подписки.

TensorBoard может помочь с визуализацией#

TensorBoard — это мощный инструментарий визуализации, специально разработанный для экспериментов с TensorFlow, но он также является отличным инструментом для отслеживания и визуализации метрик в широком спектре проектов машинного обучения. Известный своей простотой и скоростью, TensorBoard позволяет пользователям легко отслеживать ключевые метрики и визуализировать графы моделей, эмбеддинги и другие типы данных.

Одно из главных преимуществ использования TensorBoard с YOLOv8 заключается в том, что он поставляется предустановленным, избавляя тебя от необходимости дополнительной настройки. Другой плюс — способность TensorBoard работать полностью локально (on-premises). Это особенно важно для проектов со строгими требованиями к конфиденциальности данных или для сред, где выгрузка в облако невозможна.

Рис. 5. Мониторинг обучения модели YOLOv8 с помощью TensorBoard.

Вот несколько моментов, которые помогут тебе решить, является ли TensorBoard подходящим инструментом для твоего проекта:

• Объяснимость с помощью What-If Tool (WIT): TensorBoard включает инструмент What-If Tool, который предлагает простой в использовании интерфейс для изучения и понимания моделей машинного обучения. Он ценен для тех, кто хочет получить представление о «черных ящиках» моделей и улучшить их объяснимость.
• Простое отслеживание экспериментов: TensorBoard идеально подходит для базовых потребностей в отслеживании, но имеет ограниченные возможности сравнения экспериментов и ему не хватает надежных функций для совместной работы в команде, контроля версий и управления конфиденциальностью.

Использование DVCLive (Data Version Control Live) для отслеживания ML-экспериментов#

Интеграция YOLOv8 с DVCLive предоставляет удобный способ отслеживания и управления экспериментами путем совместного версионирования твоих датасетов, моделей и кода без сохранения больших файлов в Git. Она использует команды, похожие на Git, и сохраняет отслеживаемые метрики в текстовых файлах для простого контроля версий. DVCLive логирует ключевые метрики, визуализирует результаты и аккуратно управляет экспериментами, не загромождая репозиторий. Она поддерживает множество поставщиков хранилищ и может работать как локально, так и в облаке. DVCLive идеально подходит для команд, стремящихся упростить отслеживание экспериментов без дополнительной инфраструктуры или облачных зависимостей.

Управление моделями и рабочими процессами Ultralytics с помощью Ultralytics HUB#

Ultralytics HUB — это собственная универсальная платформа, созданная для того, чтобы упростить обучение, развертывание и управление такими моделями Ultralytics YOLO, как YOLOv5 и YOLOv8. В отличие от внешних интеграций, Ultralytics HUB предлагает бесшовную нативную среду, созданную специально для пользователей YOLO. Она упрощает весь процесс, позволяя легко загружать датасеты, выбирать предобученные модели и запускать обучение всего в несколько кликов с использованием облачных ресурсов — и все это в простом в использовании интерфейсе HUB. Ultralytics HUB также поддерживает отслеживание экспериментов, что облегчает мониторинг прогресса обучения, сравнение результатов и точную настройку моделей.

Рис. 6. Мониторинг обучения модели YOLOv8 с помощью Ultralytics HUB.

Основные выводы#

Выбор правильного инструмента для отслеживания твоих экспериментов по машинному обучению может сыграть большую роль. Все обсужденные нами инструменты могут помочь с отслеживанием экспериментов по обучению YOLOv8, но важно взвесить плюсы и минусы каждого из них, чтобы найти наиболее подходящий для твоего проекта вариант. Правильный инструмент поможет тебе организовать работу и улучшить производительность твоей модели YOLOv8!

Интеграции могут упростить использование YOLOv8 в твоих инновационных проектах и ускорить твой прогресс. Чтобы узнать больше об интересных интеграциях YOLOv8, ознакомься с нашей документацией.

Узнай больше об ИИ, изучив наш репозиторий на GitHub и присоединившись к нашему сообществу. Ознакомься со страницами наших решений для получения подробной информации об ИИ в производстве и здравоохранении. 🚀