Изучение интеграций Ultralytics YOLOv8 для отслеживания ML-экспериментов

Сбор данных, их разметка и обучение моделей, таких как модель Ultralytics YOLOv8, составляют основу любого проекта по компьютерному зрению. Часто тебе придется обучать свою кастомную модель несколько раз с разными параметрами, чтобы добиться оптимального результата. Использование инструментов для отслеживания экспериментов по обучению может немного упростить управление твоим проектом по компьютерному зрению. Отслеживание экспериментов — это процесс записи деталей каждого запуска обучения: параметров, которые ты использовал, полученных результатов и любых изменений, внесенных в процессе.

Рис. 1. Изображение, показывающее, как отслеживание экспериментов вписывается в проект по компьютерному зрению.

Ведение записей об этих деталях помогает тебе воспроизводить результаты, понимать, что работает, а что нет, и более эффективно выполнять тонкую настройку моделей. Для организаций это помогает поддерживать согласованность между командами, способствует сотрудничеству и обеспечивает четкий контрольный журнал. Для отдельных лиц это вопрос ведения четкой и организованной документации своей работы, что позволяет совершенствовать подход и добиваться лучших результатов с течением времени.

В этой статье мы познакомим тебя с различными интеграциями для обучения, доступными для управления и мониторинга твоих экспериментов с YOLOv8. Работаешь ли ты в одиночку или в составе большой команды, понимание и использование правильных инструментов для отслеживания могут существенно повлиять на успех твоих проектов YOLOv8.

Link to this sectionОтслеживание экспериментов машинного обучения с помощью MLflow#

MLflow — это платформа с открытым исходным кодом, разработанная Databricks, которая упрощает управление всем жизненным циклом машинного обучения. MLflow Tracking — это важный компонент MLflow, предоставляющий API и пользовательский интерфейс, помогающий специалистам по данным и инженерам логировать и визуализировать свои эксперименты по машинному обучению. Он поддерживает множество языков и интерфейсов, включая API для Python, REST, Java и R.

MLflow Tracking легко интегрируется с YOLOv8, и ты можешь логировать важные метрики, такие как precision, recall и loss, непосредственно из своих моделей. Настройка MLflow с YOLOv8 выполняется просто, и существуют гибкие варианты: ты можешь использовать стандартную настройку localhost, подключиться к различным хранилищам данных или запустить удаленный сервер отслеживания MLflow, чтобы поддерживать порядок во всем.

Рис. 2. Распространенные варианты настройки среды отслеживания MLflow. Источник изображения: MLflow tracking.

Вот несколько моментов, которые помогут тебе решить, является ли MLflow подходящим инструментом для твоего проекта:

• Масштабируемость: MLflow хорошо масштабируется под твои нужды, работаешь ли ты на одной машине или развертываешь систему на крупных кластерах. Если твой проект предполагает переход от разработки к эксплуатации, MLflow поддержит этот рост.
• Сложность проекта: MLflow идеально подходит для сложных проектов, требующих тщательного отслеживания, управления моделями и возможностей развертывания. Если твой проект требует этих полномасштабных функций, MLflow может оптимизировать твои рабочие процессы.
• Настройка и обслуживание: Несмотря на свою мощь, MLflow требует обучения и расходов на настройку.

Link to this sectionИспользование Weights & Biases (W&B) для отслеживания моделей компьютерного зрения#

Weights & Biases — это MLOps-платформа для отслеживания, визуализации и управления экспериментами машинного обучения. Используя W&B с YOLOv8, ты можешь контролировать производительность моделей в процессе их обучения и тонкой настройки. Интерактивная панель управления W&B предоставляет наглядное представление этих метрик в реальном времени и облегчает отслеживание тенденций, сравнение вариантов моделей и устранение неполадок в процессе обучения.

W&B автоматически записывает метрики обучения и чекпоинты моделей, и ты можешь использовать его даже для тонкой настройки гиперпараметров, таких как learning rate и batch size. Платформа поддерживает широкий спектр вариантов настройки: от отслеживания запусков на твоем локальном компьютере до управления крупномасштабными проектами с использованием облачных хранилищ.

Рис. 3. Пример панелей мониторинга отслеживания экспериментов Weights & Biases. Источник изображения: Weights & Biases track experiments.

Вот несколько моментов, которые помогут тебе решить, является ли Weights & Biases подходящим инструментом для твоего проекта:

• Улучшенная визуализация и отслеживание: W&B предоставляет интуитивно понятную панель мониторинга для визуализации метрик обучения и производительности моделей в реальном времени.
• Ценовая модель: Стоимость зависит от количества отслеживаемых часов, что может не подойти пользователям с ограниченным бюджетом или проектам с длительным временем обучения.

Link to this sectionОтслеживание MLOps-экспериментов с помощью ClearML#

ClearML — это MLOps-платформа с открытым исходным кодом, разработанная для автоматизации, мониторинга и оркестрации рабочих процессов машинного обучения. Она поддерживает популярные фреймворки машинного обучения, такие как PyTorch, TensorFlow и Keras, и легко интегрируется с твоими существующими процессами. ClearML также поддерживает распределенные вычисления на локальных машинах или в облаке и может контролировать использование CPU и GPU.

Интеграция YOLOv8 с ClearML предоставляет инструменты для отслеживания экспериментов, управления моделями и мониторинга ресурсов. Интуитивно понятный веб-интерфейс платформы позволяет визуализировать данные, сравнивать эксперименты и отслеживать критические метрики, такие как loss, accuracy и показатели валидации, в реальном времени. Интеграция также поддерживает расширенные функции, такие как удаленное выполнение, настройка гиперпараметров и сохранение чекпоинтов моделей.

Рис. 4. Пример визуализаций отслеживания экспериментов ClearML. Источник изображения: Clear ML Tracking Experiments and Visualizing Results.

Вот несколько моментов, которые помогут тебе решить, является ли ClearML подходящим инструментом для твоего проекта:

• Потребность в расширенном отслеживании экспериментов: ClearML обеспечивает надежное отслеживание экспериментов, которое включает автоматическую интеграцию с Git.
• Гибкое развертывание: ClearML можно использовать локально (on-premises), в облаке или на кластерах Kubernetes, что делает его адаптируемым к различным настройкам.

Link to this sectionОтслеживание экспериментов по обучению с помощью Comet ML#

Comet ML — это удобная платформа, которая помогает управлять экспериментами машинного обучения и отслеживать их. Интеграция YOLOv8 с Comet ML позволяет тебе логировать свои эксперименты и просматривать результаты с течением времени. Интеграция упрощает выявление тенденций и сравнение различных запусков.

Comet ML можно использовать в облаке, в виртуальном частном облаке (VPC) или даже локально, что делает его адаптируемым к различным настройкам и потребностям. Этот инструмент предназначен для командной работы. Ты можешь делиться проектами, отмечать товарищей по команде и оставлять комментарии, чтобы все были в курсе дела и могли точно воспроизводить эксперименты.

Вот несколько моментов, которые помогут тебе решить, является ли Comet ML подходящим инструментом для твоего проекта:

• Поддержка нескольких фреймворков и языков: Comet ML работает с Python, JavaScript, Java, R и другими, что делает его универсальным вариантом, независимо от того, какие инструменты или языки используются в твоем проекте.
• Настраиваемые панели управления и отчеты: Интерфейс Comet ML легко настраивается, поэтому ты можешь создавать те отчеты и панели управления, которые наиболее актуальны для твоего проекта.
• Стоимость: Comet ML — это коммерческая платформа, и некоторые из ее расширенных функций требуют платной подписки.

Link to this sectionTensorBoard может помочь с визуализацией#

TensorBoard — это мощный инструментарий визуализации, специально разработанный для экспериментов с TensorFlow, но он также является отличным инструментом для отслеживания и визуализации метрик в широком спектре проектов машинного обучения. Известный своей простотой и скоростью, TensorBoard позволяет пользователям легко отслеживать ключевые метрики и визуализировать графы моделей, эмбеддинги и другие типы данных.

Одним из главных преимуществ использования TensorBoard с YOLOv8 является то, что он поставляется предварительно установленным, что избавляет от необходимости дополнительной настройки. Еще одно преимущество — способность TensorBoard работать полностью локально. Это особенно важно для проектов со строгими требованиями к конфиденциальности данных или в средах, где облачная загрузка невозможна.

Рис. 5. Мониторинг обучения модели YOLOv8 с помощью TensorBoard.

Вот несколько моментов, которые помогут тебе решить, является ли TensorBoard подходящим инструментом для твоего проекта:

• Объяснимость с помощью What-If Tool (WIT): TensorBoard включает инструмент What-If Tool, который предлагает простой в использовании интерфейс для изучения и понимания моделей машинного обучения. Он ценен для тех, кто хочет получить представление о «черных ящиках» моделей и улучшить их объяснимость.
• Простое отслеживание экспериментов: TensorBoard идеально подходит для базовых потребностей в отслеживании, но имеет ограниченные возможности сравнения экспериментов и ему не хватает надежных функций для совместной работы в команде, контроля версий и управления конфиденциальностью.

Link to this sectionИспользование DVCLive (Data Version Control Live) для отслеживания ML-экспериментов#

Интеграция YOLOv8 с DVCLive предоставляет оптимизированный способ отслеживания и управления экспериментами путем версионирования твоих наборов данных, моделей и кода вместе, без хранения больших файлов в Git. Он использует Git-подобные команды и хранит отслеживаемые метрики в обычных текстовых файлах для удобного контроля версий. DVCLive логирует ключевые метрики, визуализирует результаты и управляет экспериментами чисто, не засоряя твой репозиторий. Он поддерживает широкий спектр поставщиков хранилищ и может работать локально или в облаке. DVCLive идеально подходит для команд, стремящихся оптимизировать отслеживание экспериментов без дополнительной инфраструктуры или облачных зависимостей.

Link to this sectionУправление моделями и рабочими процессами Ultralytics с помощью Ultralytics HUB#

Ultralytics HUB is an in-house, all-in-one platform designed to simplify the training, deployment, and management of Ultralytics YOLO models like YOLOv5 and YOLOv8. Unlike external integrations, Ultralytics HUB offers a seamless, native experience created specifically for YOLO users. It simplifies the entire process, allowing you to easily upload datasets, choose pre-trained models, and start training with just a few clicks using cloud resources - all within the HUB’s easy-to-use interface. Ultralytics HUB also supports experiment tracking, making monitoring training progress, comparing results, and fine-tuning models easy.

Рис. 6. Мониторинг обучения модели YOLOv8 с помощью Ultralytics HUB.

Link to this sectionОсновные выводы#

Выбор правильного инструмента для отслеживания твоих экспериментов по машинному обучению может сыграть большую роль. Все обсужденные нами инструменты могут помочь с отслеживанием экспериментов по обучению YOLOv8, но важно взвесить плюсы и минусы каждого из них, чтобы найти наиболее подходящий для твоего проекта вариант. Правильный инструмент поможет тебе организовать работу и улучшить производительность твоей модели YOLOv8!

Интеграции могут упростить использование YOLOv8 в твоих инновационных проектах и ускорить твой прогресс. Чтобы изучить больше интересных интеграций YOLOv8, загляни в нашу документацию.

Узнай больше об ИИ, изучив наш репозиторий GitHub и присоединившись к нашему сообществу. Ознакомься с нашими страницами решений для получения подробной информации об ИИ в производстве и здравоохранении. 🚀