Pipeline Parallelism

Pipeline Parallelism est une technique avancée d'entraînement distribué conçue pour répartir un grand réseau de neurones (NN) sur plusieurs dispositifs de calcul, tels que des GPUs, en séparant le modèle par la profondeur. Lorsque les poids du modèle et les états de l'optimiseur d'une architecture moderne dépassent les limites de mémoire d'un seul accélérateur, les ingénieurs divisent les couches séquentielles du réseau en « étages ». Par exemple, les 10 premières couches peuvent résider sur le GPU 0, tandis que les 10 couches suivantes résident sur le GPU 1. Pendant la passe avant, les données circulent d'un appareil à l'autre. En chaînant ces appareils, les chercheurs peuvent entraîner des algorithmes massifs d'apprentissage profond (DL) sans rencontrer d'erreurs de dépassement de mémoire limitant le matériel.

Comment fonctionne le parallélisme de pipeline#

Une implémentation naïve consistant à diviser les couches entre les appareils entraîne de graves inefficacités connues sous le nom de « bulles de pipeline ». Étant donné que les couches s'exécutent de manière séquentielle, le GPU 1 reste totalement inactif pendant que le GPU 0 traite les couches initiales. Pour maximiser l'utilisation du matériel, les planificateurs de pipeline modernes divisent la taille de batch globale en « micro-batchs » plus petits.

Au lieu d'attendre qu'un batch entier soit terminé, le GPU 0 commence immédiatement à traiter le deuxième micro-batch dès qu'il transmet le premier micro-batch au GPU 1. Des outils tels que Microsoft DeepSpeed et l'API PyTorch Distributed Pipelining utilisent couramment la stratégie de planification 1F1B (One Forward, One Backward). Cette méthode alterne simultanément les calculs de passes avant et arrière pour différents micro-batchs, minimisant ainsi considérablement les bulles de pipeline et la consommation de mémoire. Les avancées récentes de 2024 et 2025 introduisent même le Zero Bubble Pipeline Parallelism, une stratégie de prédiction des poids consciente de l'optimiseur qui élimine presque le temps d'inactivité dans les clusters de calcul.

Distinction des techniques de parallélisme connexes#

Le parallélisme de pipeline opère au sein d'un écosystème plus large de stratégies informatiques distribuées. Comprendre les différences est crucial pour mettre à l'échelle les modèles d'IA efficacement :

• Parallélisme de modèle : C'est le terme global pour diviser un modèle entre plusieurs périphériques. Le parallélisme de pipeline est une forme très spécifique de parallélisme de modèle qui partitionne l'architecture séquentiellement par profondeur.
• Tensor Parallelism : Contrairement aux divisions par la profondeur du parallélisme de pipeline, le parallélisme de tenseurs fragmente horizontalement les opérations de matrices individuelles sur les GPUs. Ces deux techniques sont fréquemment combinées pour maximiser le débit.
• Data Parallelism : Le parallélisme de données réplique le modèle entier sur chaque GPU et distribue les données d'entraînement entre eux. Pour les architectures compactes et hautement optimisées de détection d'objets et de segmentation d'images telles que le modèle Ultralytics YOLO26, qui s'intègre nativement dans la VRAM d'un seul appareil, le parallélisme de données via DistributedDataParallel (DDP) de PyTorch est la méthode privilégiée pour accélérer l'entraînement.

Applications concrètes en IA et ML#

La mise à l'échelle d'infrastructures complexes est essentielle pour construire des systèmes d'IA modernes à la pointe de la technologie :

• Entraînement de modèles de fondation : Le développement de grands modèles de langage (LLMs) gigantesques et de modèles de fondation comme Llama 3 de Meta nécessite de combiner les parallélismes de tenseurs, de données et de pipeline. Des frameworks comme NVIDIA Megatron-LM exploitent ces stratégies pour entraîner des architectures massives de Mixture-of-Experts (MoE) sur des milliers de GPUs sur des plateformes cloud telles que AWS SageMaker.
• Diagnostics médicaux à haute résolution : Dans l'IA en santé et la modélisation scientifique, les scans volumétriques 3D produisent souvent des activations trop massives pour un seul accélérateur. Le pipelinage des couches du réseau entre les nœuds permet aux hôpitaux de recherche d'entraîner des réseaux profonds sur d'immenses ensembles de données MRI sans compromettre la résolution de l'image.

Exemple de code : Concept de partitionnement des couches#

Historiquement, la distribution des couches sur plusieurs appareils nécessitait du code personnalisé et complexe. Aujourd'hui, la logique fondamentale associe des couches spécifiques à différents identifiants d'appareils. Vous trouverez ci-dessous une représentation conceptuelle de la manière dont les étages du réseau sont répartis entre les appareils dans PyTorch, posant les bases des opérations parallèles de pipeline :

import torch.nn as nn


class SimplePipelineModel(nn.Module):
    def __init__(self):
        super().__init__()
        # Stage 1 is assigned to the first GPU
        self.stage1 = nn.Sequential(nn.Linear(1024, 1024), nn.ReLU()).to("cuda:0")
        # Stage 2 is assigned to the second GPU
        self.stage2 = nn.Sequential(nn.Linear(1024, 1024), nn.ReLU()).to("cuda:1")

    def forward(self, x):
        # The forward pass seamlessly crosses device boundaries
        x_out = self.stage1(x.to("cuda:0"))
        return self.stage2(x_out.to("cuda:1"))

Bien que la création de modèles de fondation nécessite une orchestration complexe, le déploiement de projets de vision par ordinateur (CV) rapides et évolutifs est généralement plus simple. Pour un déploiement de modèle simplifié et une utilisation automatisée multi-GPU, les développeurs font confiance à la plateforme Ultralytics pour mettre à l'échelle les charges de travail automatiquement. En s'appuyant sur des conseils d'entraînement de modèle robustes, la plateforme abstrait la gestion de l'infrastructure, permettant aux ingénieurs de se concentrer entièrement sur la création de solutions d'IA précises capables d'inférence en temps réel.