Distributed Training
Erfahre, wie verteiltes Training KI-Workloads über mehrere GPUs skaliert. Lerne, das Training von Ultralytics YOLO26 mit DDP für schnellere und genauere Ergebnisse zu beschleunigen.
Distributed training ist eine Methode im maschinellen Lernen, bei der die Arbeitslast beim Trainieren eines Modells auf mehrere Prozessoren oder Maschinen aufgeteilt wird. Dieser Ansatz ist unerlässlich für die Bewältigung groß angelegter Datensätze und komplexer Architekturen neuronaler Netze, deren Training auf einem einzigen Gerät andernfalls eine unpraktisch lange Zeit in Anspruch nehmen würde. Durch die Nutzung der kombinierten Rechenleistung mehrerer Graphics Processing Units (GPUs) oder Tensor Processing Units (TPUs) beschleunigt distributed training den Entwicklungszyklus erheblich, sodass Forscher und Ingenieure schneller iterieren und eine höhere accuracy in ihren Modellen erreichen können.
Wie verteiltes Training funktioniert#
Der Kerngedanke hinter dem verteilten Training ist die Parallelisierung. Anstatt Daten sequenziell auf einem Chip zu verarbeiten, wird die Aufgabe in kleinere Teile unterteilt, die gleichzeitig verarbeitet werden. Es gibt zwei primäre Strategien, um dies zu erreichen:
- Data Parallelism: Dies ist der gängigste Ansatz für Aufgaben wie object detection. Bei dieser Konfiguration wird eine Kopie des gesamten Modells auf jedem Gerät platziert. Die globalen training data werden in kleinere Batches aufgeteilt, und jedes Gerät verarbeitet gleichzeitig einen anderen Batch. Nach jedem Schritt werden die Gradienten (Aktualisierungen des Modells) über alle Geräte hinweg synchronisiert, um sicherzustellen, dass die model weights konsistent bleiben.
- Model Parallelism: Wenn ein neural network (NN) zu groß ist, um in den Arbeitsspeicher einer einzelnen GPU zu passen, wird das Modell selbst auf mehrere Geräte aufgeteilt. Verschiedene Schichten oder Komponenten des Modells befinden sich auf unterschiedlichen Chips, und Daten fließen zwischen ihnen. Dies ist oft notwendig, um massive foundation models und Large Language Models (LLMs) zu trainieren.
Praxisanwendungen#
Verteiltes Training hat Branchen verändert, indem es möglich wurde, Probleme zu lösen, die zuvor rechnerisch nicht machbar waren.
- Autonomes Fahren: Die Entwicklung sicherer autonomous vehicles erfordert die Analyse von Petabytes an Video- und Sensordaten. Automobilingenieure verwenden große verteilte Cluster, um Vision-Modelle für Echtzeit-semantic segmentation und Spurerkennung zu trainieren. Dieser massive Maßstab stellt sicher, dass die AI in automotive-Systeme zuverlässig auf unterschiedliche Straßenbedingungen reagieren können.
- Medizinische Bildgebung: Im Gesundheitssektor erfordert die Analyse hochauflösender 3D-Scans wie MRIs erheblichen Speicher und Rechenleistung. Distributed training ermöglicht es Forschern, leistungsstarke Diagnosetools für die tumor detection und andere kritische Aufgaben zu entwickeln. Durch den Einsatz von Frameworks wie NVIDIA MONAI können Krankenhäuser Modelle anhand vielfältiger Datensätze trainieren, ohne auf Speicherengpässe zu stoßen, wodurch die Ergebnisse der AI in healthcare verbessert werden.
Verteiltes Training mit Ultralytics nutzen#
Die Bibliothek ultralytics macht es unkompliziert, Distributed Data Parallel (DDP)-Training zu implementieren. Du kannst das Training von modernsten YOLO26-Modellen über mehrere GPUs skalieren, indem du einfach die Geräteindizes in deinen Trainingsargumenten angibst.
from ultralytics import YOLO
# Load a pre-trained YOLO26 model
model = YOLO("yolo26n.pt")
# Train the model using two GPUs (device 0 and 1)
# The library automatically handles the DDP communication backend
results = model.train(data="coco8.yaml", epochs=100, device=[0, 1])Verwandte Konzepte und Vergleiche#
Es ist hilfreich, verteiltes Training von ähnlichen Begriffen im Ökosystem des maschinellen Lernens zu unterscheiden, um ihre spezifischen Rollen zu verstehen:
- Vs. Föderiertes Lernen: Zwar sind an beiden mehrere Geräte beteiligt, aber ihre Ziele unterscheiden sich. Distributed training zentralisiert Daten normalerweise in einem Hochleistungscluster, um die Geschwindigkeit zu maximieren. Im Gegensatz dazu hält federated learning Daten dezentral auf Benutzergeräten (wie Smartphones) vor, um den data privacy-Schutz zu priorisieren, wobei das globale Modell aktualisiert wird, ohne dass jemals Rohdaten die Quelle verlassen.
- Vs. High-Performance Computing (HPC): HPC ist ein breites Feld, das Supercomputing für wissenschaftliche Simulationen wie Wettervorhersagen umfasst. Distributed training ist eine spezifische Anwendung von HPC, die auf optimization algorithms im Deep Learning angewendet wird. Es stützt sich oft auf spezielle Kommunikationsbibliotheken wie NVIDIA NCCL, um die Latenz zwischen GPUs zu minimieren.
Skalierung mit Cloud-Plattformen#
Die Verwaltung der Infrastruktur für distributed training kann komplex sein. Moderne Plattformen vereinfachen dies, indem sie verwaltete Umgebungen anbieten. Beispielsweise ermöglicht die Ultralytics Platform Benutzern die Verwaltung von Datensätzen und das Initiieren von Trainingsläufen, die in Cloud-Umgebungen oder lokalen Clustern bereitgestellt werden können. Diese Integration optimiert den Workflow von der data annotation bis zur finalen model deployment und stellt sicher, dass die Skalierung auf mehrere GPUs so nahtlos wie möglich ist. Ähnlich stellen Cloud-Anbieter wie Google Cloud Vertex AI und Amazon SageMaker eine robuste Infrastruktur bereit, um Distributed-Training-Jobs im Unternehmensmaßstab auszuführen.
