Distributed Training

Распределенное обучение — это метод в машинном обучении, при котором рабочая нагрузка по обучению модели разделяется между несколькими процессорами или машинами. Этот подход необходим для обработки крупномасштабных наборов данных и сложных архитектур нейронных сетей, обучение которых на одном устройстве заняло бы непрактично много времени. Используя суммарную вычислительную мощность нескольких графических процессоров (GPU) или тензорных процессоров (TPU), распределенное обучение значительно ускоряет цикл разработки, позволяя исследователям и инженерам быстрее итерироваться и достигать более высокой точности своих моделей.

Link to this sectionКак работает распределенное обучение#

Основная идея распределенного обучения заключается в распараллеливании. Вместо последовательной обработки данных на одном чипе, задача разбивается на более мелкие блоки, которые обрабатываются одновременно. Существует две основные стратегии для достижения этого:

• Параллелизм данных: Это наиболее распространенный подход для таких задач, как обнаружение объектов. В этой конфигурации копия всей модели размещается на каждом устройстве. Глобальные обучающие данные делятся на меньшие пакеты, и каждое устройство одновременно обрабатывает свой отдельный пакет. После каждого шага градиенты (обновления модели) синхронизируются между всеми устройствами, чтобы гарантировать согласованность весов модели.
• Параллелизм модели: Когда нейронная сеть (NN) слишком велика, чтобы поместиться в память одного GPU, сама модель разделяется между несколькими устройствами. Различные слои или компоненты модели располагаются на разных чипах, а данные передаются между ними. Это часто необходимо для обучения массивных фундаментальных моделей и больших языковых моделей (LLM).

Link to this sectionРеальные приложения#

Распределенное обучение трансформировало многие отрасли, сделав возможным решение задач, которые ранее считались вычислительно невыполнимыми.

• Автономное вождение: Разработка безопасных автономных транспортных средств требует анализа петабайтов видео и данных с датчиков. Автомобильные инженеры используют крупные распределенные кластеры для обучения моделей компьютерного зрения для семантической сегментации в реальном времени и обнаружения полос движения. Этот масштаб обеспечивает надежную работу систем ИИ в автомобилестроении в различных дорожных условиях.
• Медицинская визуализация: В секторе здравоохранения анализ 3D-сканов высокого разрешения, таких как МРТ, требует значительного объема памяти и вычислительной мощности. Распределенное обучение позволяет исследователям создавать высокопроизводительные диагностические инструменты для обнаружения опухолей и других критических задач. Используя такие фреймворки, как NVIDIA MONAI, больницы могут обучать модели на разнообразных наборах данных без ограничений по памяти, что улучшает результаты ИИ в здравоохранении.

Link to this sectionИспользование распределенного обучения с Ultralytics#

Библиотека ultralytics упрощает реализацию распределенного обучения на основе параллелизма данных (DDP). Ты можешь масштабировать обучение современных моделей YOLO26 на нескольких GPU, просто указав индексы устройств в аргументах обучения.

from ultralytics import YOLO

# Load a pre-trained YOLO26 model
model = YOLO("yolo26n.pt")

# Train the model using two GPUs (device 0 and 1)
# The library automatically handles the DDP communication backend
results = model.train(data="coco8.yaml", epochs=100, device=[0, 1])

Link to this sectionСвязанные концепции и сравнения#

Полезно отличать распределенное обучение от похожих терминов в экосистеме машинного обучения, чтобы понимать их специфические роли:

• Против федеративного обучения: Хотя оба подхода подразумевают использование нескольких устройств, их цели различаются. Распределенное обучение обычно централизует данные в высокопроизводительном кластере для максимальной скорости. Напротив, федеративное обучение хранит данные децентрализованно на пользовательских устройствах (таких как смартфоны), чтобы обеспечить конфиденциальность данных, обновляя глобальную модель без необходимости передачи исходных данных.
• Против высокопроизводительных вычислений (HPC): HPC — это обширная область, включающая суперкомпьютеры для научных симуляций, например, прогнозирования погоды. Распределенное обучение — это специфическое применение HPC для алгоритмов оптимизации в глубоком обучении. Оно часто опирается на специализированные библиотеки коммуникации, такие как NVIDIA NCCL, для минимизации задержек между GPU.

Link to this sectionМасштабирование с помощью облачных платформ#

Управление инфраструктурой для распределенного обучения может быть сложным. Современные платформы упрощают это, предлагая управляемые среды. Например, Ultralytics Platform позволяет пользователям управлять наборами данных и запускать процессы обучения, которые можно развернуть в облачных средах или локальных кластерах. Эта интеграция оптимизирует рабочий процесс от разметки данных до финального развертывания модели, гарантируя, что масштабирование на несколько GPU будет максимально бесшовным. Аналогично, облачные провайдеры, такие как Google Cloud Vertex AI и Amazon SageMaker, предоставляют надежную инфраструктуру для выполнения задач распределенного обучения корпоративного уровня.