Изучаем интеграции Ultralytics YOLOv8 для отслеживания экспериментов машинного обучения

Сбор данных и их аннотирование, а также обучение таких моделей, как модель Ultralytics YOLOv8, — основа любого проекта по компьютерному зрению. Часто тебе приходится многократно обучать собственную модель с разными параметрами, чтобы создать оптимальную модель. Использование инструментов для отслеживания экспериментов обучения может немного упростить управление твоим проектом по компьютерному зрению. Отслеживание экспериментов — это процесс записи сведений о каждом запуске обучения, таких как использованные параметры, полученные результаты и внесённые по ходу работы изменения.

Рис. 1. Изображение, показывающее, как отслеживание экспериментов вписывается в проект по компьютерному зрению.

Фиксация этих сведений помогает воспроизводить результаты, понимать, что работает, а что нет, и эффективнее тонко настраивать модели. Для организаций это помогает поддерживать согласованность между командами, развивать сотрудничество и обеспечивать понятный аудиторский след. Для отдельных специалистов это означает ведение понятной и структурированной документации своей работы, которая позволяет со временем совершенствовать подход и добиваться лучших результатов.

В этой статье мы расскажем о различных доступных интеграциях для обучения, предназначенных для управления и мониторинга экспериментов YOLOv8. Независимо от того, работаешь ли ты самостоятельно или в составе большой команды, понимание возможностей и правильное использование инструментов отслеживания могут существенно повлиять на успех твоих проектов YOLOv8.

Отслеживание экспериментов машинного обучения с MLflow#

MLflow — это разработанная Databricks платформа с открытым исходным кодом, которая упрощает управление всем жизненным циклом машинного обучения. MLflow Tracking — важный компонент MLflow, предоставляющий API и пользовательский интерфейс, с помощью которых специалисты по данным и инженеры могут регистрировать и визуализировать эксперименты машинного обучения. Он поддерживает несколько языков и интерфейсов, включая API Python, REST, Java и R.

MLflow Tracking легко интегрируется с YOLOv8, и ты можешь регистрировать важные метрики, такие как precision, recall и loss, непосредственно из своих моделей. Настройка MLflow с YOLOv8 выполняется просто, а варианты использования гибкие: можно оставить настройки localhost по умолчанию, подключиться к различным хранилищам данных или запустить удалённый сервер отслеживания MLflow, чтобы всё оставалось организованным.

Рис. 2. Распространённые варианты настройки среды отслеживания MLflow. Источник изображения: отслеживание MLflow.

Вот несколько критериев, которые помогут тебе решить, подходит ли MLflow для твоего проекта:

• Масштабируемость: MLflow хорошо масштабируется в соответствии с твоими потребностями — от работы на одной машине до развёртывания в больших кластерах. Если проект предполагает переход от разработки к промышленной эксплуатации, MLflow поддержит этот рост.
• Сложность проекта: MLflow идеально подходит для сложных проектов, требующих тщательного отслеживания, управления моделями и возможностей развёртывания. Если проекту нужны все эти функции, MLflow может упростить твои рабочие процессы.
• Настройка и обслуживание: Несмотря на широкие возможности, MLflow требует времени на освоение и дополнительных усилий при настройке.

Использование Weights & Biases (W&B) для отслеживания моделей компьютерного зрения#

Weights & Biases — это платформа MLOps для отслеживания, визуализации и управления экспериментами машинного обучения. Используя W&B с YOLOv8, ты можешь отслеживать производительность моделей во время их обучения и тонкой настройки. Интерактивная панель мониторинга W&B в реальном времени наглядно отображает эти метрики и упрощает выявление тенденций, сравнение вариантов моделей и устранение неполадок в процессе обучения.

W&B автоматически регистрирует метрики обучения и контрольные точки моделей, а также позволяет выполнять тонкую настройку таких гиперпараметров, как скорость обучения и размер пакета. Платформа поддерживает широкий выбор вариантов настройки: от отслеживания запусков на локальной машине до управления крупными проектами с облачным хранилищем.

Рис. 3. Пример панелей мониторинга отслеживания экспериментов Weights & Biases. Источник изображения: Weights & Biases — отслеживание экспериментов.

Вот несколько критериев, которые помогут тебе решить, подходит ли Weights & Biases для твоего проекта:

• Расширенная визуализация и отслеживание: W&B предоставляет интуитивно понятную панель мониторинга для визуализации метрик обучения и производительности моделей в реальном времени.
• Модель ценообразования: Стоимость рассчитывается на основе отслеживаемых часов, что может быть неудобно для пользователей с ограниченным бюджетом или проектов с длительным обучением.

Отслеживание экспериментов MLOps с ClearML#

ClearML — это платформа MLOps с открытым исходным кодом, предназначенная для автоматизации, мониторинга и оркестрации рабочих процессов машинного обучения. Она поддерживает популярные фреймворки машинного обучения, такие как PyTorch, TensorFlow и Keras, и легко интегрируется в существующие процессы. ClearML также поддерживает распределённые вычисления на локальных машинах или в облаке, а также может отслеживать использование CPU и GPU.

Интеграция YOLOv8 с ClearML предоставляет инструменты для отслеживания экспериментов, управления моделями и мониторинга ресурсов. Интуитивно понятный веб-интерфейс платформы позволяет визуализировать данные, сравнивать эксперименты и отслеживать важные метрики, такие как loss, accuracy и оценки на валидации, в реальном времени. Интеграция также поддерживает расширенные функции, включая удалённое выполнение, настройку гиперпараметров и создание контрольных точек моделей.

Рис. 4. Пример визуализаций отслеживания экспериментов ClearML. Источник изображения: Clear ML — отслеживание экспериментов и визуализация результатов.

Вот несколько критериев, которые помогут тебе решить, подходит ли ClearML для твоего проекта:

• Потребность в расширенном отслеживании экспериментов: ClearML обеспечивает надёжное отслеживание экспериментов, включая автоматическую интеграцию с Git.
• Гибкое развёртывание: ClearML можно использовать локально, в облаке или в кластерах Kubernetes, поэтому он адаптируется к разным конфигурациям.

Отслеживание экспериментов обучения с помощью Comet ML#

Comet ML — удобная платформа, которая помогает управлять экспериментами машинного обучения и отслеживать их. Интеграция YOLOv8 с Comet ML позволяет регистрировать эксперименты и просматривать результаты в динамике. Интеграция упрощает выявление тенденций и сравнение различных запусков.

Comet ML можно использовать в облаке, в виртуальном частном облаке (VPC) или даже локально, поэтому он адаптируется к разным конфигурациям и потребностям. Этот инструмент предназначен для командной работы. Ты можешь делиться проектами, отмечать участников команды и оставлять комментарии, чтобы все были в курсе происходящего и могли точно воспроизводить эксперименты.

Вот несколько критериев, которые помогут тебе решить, подходит ли Comet ML для твоего проекта:

• Поддержка нескольких фреймворков и языков: Comet ML работает с Python, JavaScript, Java, R и другими языками, поэтому это универсальный вариант независимо от инструментов и языков, используемых в проекте.
• Настраиваемые панели мониторинга и отчёты: Интерфейс Comet ML легко настраивается, поэтому ты можешь создавать отчёты и панели мониторинга, наиболее подходящие для твоего проекта.
• Стоимость: Comet ML — коммерческая платформа, и для некоторых расширенных функций требуется платная подписка.

TensorBoard помогает с визуализацией#

TensorBoard — это мощный набор инструментов визуализации, специально разработанный для экспериментов TensorFlow, но он также отлично подходит для отслеживания и визуализации метрик в самых разных проектах машинного обучения. TensorBoard, известный своей простотой и скоростью, позволяет легко отслеживать ключевые метрики и визуализировать графы моделей, эмбеддинги и другие типы данных.

Одно из главных преимуществ использования TensorBoard с YOLOv8 — он уже удобно предустановлен, поэтому дополнительная настройка не требуется. Ещё одно преимущество — возможность полностью развернуть TensorBoard локально. Это особенно важно для проектов со строгими требованиями к конфиденциальности данных или для сред, где загрузка данных в облако невозможна.

Рис. 5. Мониторинг обучения модели YOLOv8 с помощью TensorBoard.

Вот несколько критериев, которые помогут тебе решить, подходит ли TensorBoard для твоего проекта:

• Объяснимость с помощью инструмента What-If (WIT): TensorBoard включает инструмент What-If с удобным интерфейсом для исследования и понимания моделей ML. Он полезен тем, кто хочет получить представление о моделях типа «чёрный ящик» и повысить их объяснимость.
• Простое отслеживание экспериментов: TensorBoard идеально подходит для базовых задач отслеживания, но имеет ограниченные возможности сравнения экспериментов и не располагает надёжными функциями командной работы, контроля версий и управления конфиденциальностью.

Использование DVCLive (Контроль версий данных в реальном времени) для отслеживания экспериментов ML#

Интеграция YOLOv8 с DVCLive предоставляет упрощённый способ отслеживания и управления экспериментами: наборы данных, модели и код версионируются вместе без хранения больших файлов в Git. Она использует команды в стиле Git и хранит отслеживаемые метрики в обычных текстовых файлах, что упрощает контроль версий. DVCLive регистрирует ключевые метрики, визуализирует результаты и аккуратно управляет экспериментами, не загромождая репозиторий. Он поддерживает широкий спектр поставщиков хранилищ и может работать локально или в облаке. DVCLive идеально подходит командам, которые хотят упростить отслеживание экспериментов без дополнительной инфраструктуры или зависимости от облака.

Управление моделями и рабочими процессами Ultralytics с помощью Ultralytics HUB#

Ultralytics HUB — это внутренняя универсальная платформа, предназначенная для упрощения обучения, развёртывания и управления моделями Ultralytics YOLO, такими как YOLOv5 и YOLOv8. В отличие от внешних интеграций, Ultralytics HUB предлагает удобный нативный интерфейс, созданный специально для пользователей YOLO. Он упрощает весь процесс: ты можешь легко загружать наборы данных, выбирать предварительно обученные модели и запускать обучение всего за несколько кликов, используя облачные ресурсы, — всё это в удобном интерфейсе HUB. Ultralytics HUB также поддерживает отслеживание экспериментов, поэтому ты можешь легко контролировать ход обучения, сравнивать результаты и выполнять тонкую настройку моделей.

Рис. 6. Мониторинг обучения модели YOLOv8 с помощью Ultralytics HUB.

Основные выводы#

Выбор подходящего инструмента для отслеживания экспериментов машинного обучения может иметь большое значение. Все рассмотренные нами инструменты помогают отслеживать эксперименты обучения YOLOv8, но важно взвесить преимущества и недостатки каждого из них, чтобы найти оптимальный вариант для своего проекта. Правильный инструмент поможет поддерживать порядок и повысить производительность твоей модели YOLOv8!

Интеграции могут упростить использование YOLOv8 в твоих инновационных проектах и ускорить прогресс. Чтобы узнать о других интересных интеграциях YOLOv8, ознакомься с нашей документацией.

Узнай больше об AI, изучив наш репозиторий на GitHub и присоединившись к нашему сообществу. Посети страницы наших решений, чтобы подробно узнать о применении AI в производстве и здравоохранении. 🚀