Weights & Biases

Weights & Biases (часто сокращенно W&B или WandB) - это известная платформа, ориентированная на разработчиков и предназначенная для оптимизации операций машинного обучения (MLOps). Она служит централизованной системой учета для инженеров машинного обучения и специалистов по исследованию данных, позволяя им track эксперименты, визуализировать производительность моделей и управлять наборами данных. В сложном жизненном цикле машинного обучения (ML), track каждое отследить каждое изменение конфигурации и результат сложно; W&B решает эту проблему, автоматически регистрируя метрики и организуя их в интерактивные информационные панели. Это позволяет командам сравнивать различные тренировки, обеспечивать воспроизводимость и эффективно сотрудничать в проектах, начиная от академических исследований и заканчивая развертыванием систем компьютерного зрения в масштабах предприятия. развертывания систем компьютерного зрения (CV).

Отличие платформы от концепций

Для понимания этого инструмента необходимо отличать его от фундаментальных концепций нейронных сетей (НС), в честь которых он назван.

• Weights & Biases (Платформа): Это программный сервис и библиотека, которые выступают в качестве комплексный инструмент для отслеживания экспериментов. Она интегрируется с популярными фреймворками для мониторинга процесса обучения, управления системными ресурсами и хранения артефактов модели.
• Вес (параметр): В контексте глубокого обучения, веса модели - это обучаемые коэффициенты, которые преобразуют входные данные в слоях сети. Они определяют силу связи между нейронами.
• Биасы (Параметр): Это дополнительные обучаемые значения, которые позволяют сдвинуть функцию активации влево или вправо, помогая модели лучше соответствовать данным за счет смещения.

В то время как параметрыweights and biases) являются математическими компонентами, оптимизируемыми в процессе обучения с помощью стохастического градиентного спуска (SGD), платформаWeights & Biases) - это утилита, используемая для наблюдения и анализа этого процесса оптимизации.

Основные возможности и области применения

Платформа W&B предоставляет набор инструментов для решения конкретных задач в области разработки искусственного интеллекта (ИИ) рабочий процесс.

• Отслеживание экспериментов: Разработчики могут регистрировать динамические показатели, такие как функция потерь и точность с течением времени. Это помогает выявить такие проблемы, как чрезмерная подгонка, когда модель слишком хорошо изучает обучающие данные, но не может обобщить их.
• Настройка гиперпараметров: Поиск оптимальной конфигурации модели, например скорость обучения, размер партии или архитектура сети - упрощается с помощью W&B Sweeps, который автоматизирует поиск оптимальных значений.
• Версионирование данных и моделей: С помощью С помощью W&B Artifacts команды могут track историю своих данных и сохраненных моделей. Это гарантирует, что любой результат можно воспроизвести, найдя точную версию использованных учебных данных и кода.
• Интерактивная визуализация: Платформа отображает насыщенные медиаданные, позволяя пользователям просматривать предсказанные ограничительные рамки на изображениях или накладывать сегментационные маски, что способствует улучшению визуализации данных и отладки.

Примеры интеграции в реальном мире

Weights & Biases широко используется в отраслях, требующих тщательной проверки моделей и совместной разработки.

• Обнаружение объектов в автомобиле: Команда, разрабатывающая технологию самостоятельного вождения, может использовать Ultralytics YOLO11 для detect пешеходов и автомобилей. С помощью интеграции W&B, они могут визуализировать валидационные данные прогнозов по тысячам эпох. Это позволяет выявить конкретные случаи сбоя, например, пропущенные обнаружения в условиях недостаточной освещенности, и соответствующим образом скорректировать свою соответствующим образом скорректировать стратегию расширения данных.
• Анализ медицинских изображений: Исследователи, работающие над созданием ИИ в здравоохранении, используют W&B для ведения точного журнала экспериментов при обучении моделей для обнаружения опухолей. Учитывая критический характер этой области, использование инструментов мониторинга моделей для track таких показателей, как отзыв и точность, жизненно важно для соблюдения нормативных требований и обеспечения безопасности пациентов.

Внедрение W&B с помощью Ultralytics

Интеграция Weights & Biases с современными фреймворками, такими как PyTorch или специальными библиотеками, такими как Ultralytics , является просто. Библиотека автоматически определяет наличие W&B и регистрирует ключевые метрики без обширного кода.

В следующем примере показано, как обучить модель YOLO11 , автоматически регистрируя выполнение в журнале Weights & Biases. Убедитесь, что вы запустили pip install wandb и аутентифицируется через wandb login в вашем терминале перед запуском скрипта.

from ultralytics import YOLO

# Initialize the YOLO11 model using pre-trained weights
model = YOLO("yolo11n.pt")

# Train the model on the COCO8 dataset
# If 'wandb' is installed and logged in, training metrics are automatically
# uploaded to the Weights & Biases dashboard.
results = model.train(data="coco8.yaml", epochs=5, project="Ultralytics-WandB-Demo", name="yolo11-experiment")

Эта интеграция фиксирует системные показатели, такие как GPU использование, и показатели модели, обеспечивая полное представление о производительности обучения. Для получения более глубоких сведений пользователи могут изучить руководство по интеграцииUltralytics , чтобы настроить что именно записывается в журнал.