Pipeline Parallelism

Конвейерный параллелизм (Pipeline Parallelism) — это передовой метод распределенного обучения, предназначенный для разделения крупной нейронной сети (НС) между несколькими вычислительными устройствами, такими как GPU, путем разделения модели по глубине. Когда веса модели современной архитектуры и состояния оптимизатора превышают лимиты памяти одного ускорителя, инженеры разбивают последовательные слои сети на «этапы». Например, первые 10 слоев могут находиться на GPU 0, в то время как последующие 10 слоев располагаются на GPU 1. Во время протока вперед данные передаются от одного устройства к другому. Соединяя эти устройства в цепочку, ты можешь обучать массивные алгоритмы глубокого обучения (DL), не сталкиваясь с лимитирующими аппаратное обеспечение ошибками нехватки памяти.

Как работает конвейерный параллелизм#

Наивная реализация распределения слоев по устройствам приводит к серьезным неэффективностям, известным как «пузыри конвейера». Поскольку слои обрабатываются последовательно, GPU 1 простаивает полностью, пока GPU 0 обрабатывает начальные слои. Чтобы максимизировать использование оборудования, современные планировщики конвейера делят глобальный размер батча на более мелкие «микробатчи».

Вместо того чтобы ждать завершения всего батча, GPU 0 немедленно начинает обработку второго микробатча, как только передает первый микробатч на GPU 1. Такие инструменты, как Microsoft DeepSpeed и PyTorch Distributed Pipelining API, обычно используют стратегию планирования 1F1B (One Forward, One Backward). Этот метод параллельно чередует вычисление прямого и обратного проходов для разных микробатчей, значительно минимизируя пузыри конвейера и потребление памяти. Недавние достижения 2024 и 2025 годов даже внедряют конвейерный параллелизм с нулевым пузырем — стратегию прогнозирования весов с учетом оптимизатора, которая почти полностью устраняет время простоя в вычислительных кластерах.

Отличие родственных методов параллелизма#

Конвейерный параллелизм функционирует в рамках более широкой экосистемы стратегий распределенных вычислений. Понимание различий между ними имеет решающее значение для эффективного масштабирования моделей ИИ:

• Параллелизм моделей: Это общий термин для разделения модели между устройствами. Конвейерный параллелизм является узкоспециализированной формой параллелизма моделей, которая разбивает архитектуру последовательно по глубине.
• Тензорный параллелизм: В отличие от разделения по глубине в конвейерном параллелизмоме, тензорный параллелизм фрагментирует отдельные матричные операции горизонтально по GPU. Эти два метода часто комбинируются для максимальной пропускной способности.
• Параллелизм данных: Параллелизм данных дублирует всю модель на каждом GPU и распределяет между ними обучающие данные. Для компактных, высокооптимизированных архитектур обнаружения объектов и сегментации изображений, таких как модель Ultralytics YOLO26, которая изначально помещается в видеопамять одного устройства, параллелизм данных через DistributedDataParallel (DDP) в PyTorch является предпочтительным методом ускорения обучения.

Реальные применения в ИИ и ML#

Масштабирование сложной инфраструктуры необходимо для построения современных передовых систем ИИ:

• Обучение базовых моделей: Разработка гигантских больших языковых моделей (LLMs) и базовых моделей, таких как Llama 3 от Meta, требует объединения тензорного, дата- и конвейерного параллелизма. Такие фреймворки, как NVIDIA Megatron-LM, используют эти стратегии для обучения массивных архитектур Mixture-of-Experts (MoE) на тысячах GPU на облачных платформах вроде AWS SageMaker.
• Высокоразрешающая медицинская диагностика: В ИИ в здравоохранении и научном моделировании 3D-волюметрические сканы часто создают активации, слишком массивные для одного ускорителя. Конвейеризация слоев сети между узлами позволяет исследовательским больницам обучать глубокие сети на огромных наборах данных MRI без ущерба для разрешения изображений.

Пример кода: Концепция разбиения слоев#

Исторически распределение слоев по устройствам требовало сложного пользовательского кода. Сегодня основная логика сопоставляет конкретные слои с разными идентификаторами устройств. Ниже приведено концептуальное представление того, как этапы сети разделяются между устройствами в PyTorch, закладывая основу для операций конвейерного параллелизма:

import torch.nn as nn


class SimplePipelineModel(nn.Module):
    def __init__(self):
        super().__init__()
        # Stage 1 is assigned to the first GPU
        self.stage1 = nn.Sequential(nn.Linear(1024, 1024), nn.ReLU()).to("cuda:0")
        # Stage 2 is assigned to the second GPU
        self.stage2 = nn.Sequential(nn.Linear(1024, 1024), nn.ReLU()).to("cuda:1")

    def forward(self, x):
        # The forward pass seamlessly crosses device boundaries
        x_out = self.stage1(x.to("cuda:0"))
        return self.stage2(x_out.to("cuda:1"))

Хотя создание базовых моделей требует сложной оркестрации, развертывание быстрых и масштабируемых проектов компьютерного зрения (CV) обычно проще. Для оптимизированного развертывания моделей и автоматизированного использования нескольких GPU разработчики доверяют платформе Ultralytics Platform для автоматического масштабирования рабочих нагрузок. Используя надежные советы по обучению моделей, платформа абстрагирует управление инфраструктурой, позволяя инженерам сосредоточиться исключительно на создании точных ИИ-решений, способных осуществлять инференс в реальном времени.