Split Learning

Split learning ist ein Ansatz für verteiltes maschinelles Lernen, der ein neuronales Netz auf zwei oder mehr Rechenstandorte aufteilt. Ein Client verarbeitet private Eingangsdaten durch die frühen Schichten des Modells, sendet nur Zwischendaten an einen Server und empfängt Gradienten, die für das weitere Training seiner lokalen Schichten erforderlich sind. Dies ermöglicht es Organisationen oder Geräten, zusammenzuarbeiten, ohne Rohdaten des Trainings direkt zu übertragen.

Der Ansatz ist besonders relevant, wenn machine learning über Datenschutz-, Eigentums-, Bandbreiten- oder Hardwaregrenzen hinweg funktionieren muss. Beispielsweise kann ein Krankenhaus medizinische Bilder lokal vorhalten, während ein leistungsstärkerer Server den rechenintensiven Teil eines Modells ausführt. Das Belassen von Rohdaten vor Ort garantiert jedoch nicht automatisch data privacy, da Zwischenrepräsentationen weiterhin sensible Informationen preisgeben können.

Wie Split Learning funktioniert#

Ein neural network wird an einer ausgewählten Schnittschicht (Cut Layer) geteilt. Schichten vor der Schnittschicht werden auf dem Client ausgeführt, während Schichten nach der Schnittschicht auf dem Server ausgeführt werden. Die Ausgabe des clientseitigen Netzwerks wird oft als Aktivierung, Zwischenrepräsentation oder Smashed Data bezeichnet.

Ein Trainingsschritt folgt dieser Sequenz:

1. Der Client führt einen Vorwärtsdurchlauf von der Rohdateneingabe bis zur Schnittschicht aus.
2. Er sendet die resultierende Aktivierung an den Server.
3. Der Server vervollständigt den Vorwärtsdurchlauf und berechnet den Loss.
4. Während der backpropagation berechnet der Server einen Gradienten für die Aktivierung der Schnittschicht und gibt diesen zurück.
5. Der Client verwendet diesen Gradienten, um seine lokalen Schichten zu aktualisieren.

Dieser Prozess stützt sich auf dieselbe Kettenregel, die von Systemen wie der PyTorch automatic differentiation implementiert wird. Der Unterschied besteht darin, dass Aktivierungen und Gradienten während des Trainings eine Netzwerkgrenze überschreiten.

Das folgende Einzelprozess-Beispiel simuliert diese Grenze:

import torch
from torch import nn

client_model = nn.Sequential(nn.Linear(8, 16), nn.ReLU())
server_model = nn.Sequential(nn.Linear(16, 2))
client_optimizer = torch.optim.SGD(client_model.parameters(), lr=0.01)
server_optimizer = torch.optim.SGD(server_model.parameters(), lr=0.01)

inputs = torch.randn(4, 8)
targets = torch.tensor([0, 1, 0, 1])

client_optimizer.zero_grad()
server_optimizer.zero_grad()

client_activations = client_model(inputs)
sent_activations = client_activations.detach().requires_grad_()

predictions = server_model(sent_activations)
loss = nn.CrossEntropyLoss()(predictions, targets)
loss.backward()

client_activations.backward(sent_activations.grad)
server_optimizer.step()
client_optimizer.step()

print(loss.item())

Das Abtrennen von client_activations stellt das Senden an ein anderes System dar. Der zurückgegebene Aktivierungsgradient verbindet die beiden Hälften für die Optimierung wieder. Eine produktive Implementierung muss Netzwerke, Authentifizierung, Verschlüsselung, Fehlerbehandlung und Datenschutzkontrollen hinzufügen.

Split Learning im Vergleich zu verwandten Ansätzen#

Split learning gehört zum breiteren Feld des distributed training, partitioniert die Berechnungen jedoch auf andere Weise.

• Federated learning: Jeder Teilnehmer trainiert normalerweise ein vollständiges lokales Modell und sendet Modellaktualisierungen zur Aggregation. Split learning gibt jedem Teilnehmer nur einen Teil des Modells und tauscht Zwischenaktivierungen sowie Gradienten aus.
• Pipeline parallelism: Beide Ansätze platzieren verschiedene Schichten auf unterschiedlichen Geräten. Pipeline parallelism verbessert in erster Linie die Skalierbarkeit oder die Hardwareauslastung in einer vertrauenswürdigen Umgebung, während split learning typischerweise Dateneigentümer von Rechenanbietern trennt.
• Datenparalleles Training: Frameworks wie PyTorch DistributedDataParallel und TensorFlow distributed training replizieren ein Modell und synchronisieren Aktualisierungen. Sie belassen frühe Schichten normalerweise nicht ausschließlich neben den Originaldaten.

Split learning kann auch vertikal partitionierte Daten unterstützen, bei denen Organisationen unterschiedliche Merkmale für übereinstimmende Datensätze vorhalten. Der SecretFlow split-learning workflow veranschaulicht diese Anordnung.

Anwendungen in der Praxis#

• Kollaborative medizinische Bildgebung: Krankenhäuser können ein gemeinsames computer vision-System trainieren, während Röntgenschnitte oder Scans in ihrer eigenen Infrastruktur verbleiben. Jedes Krankenhaus führt die ersten Schichten lokal aus, und ein zentraler Server vervollständigt das Training anhand von Zwischenmerkmalen. Die MIT split-learning overview nutzt Radiologiezentren, um diese Architektur zu erläutern.

• Ressourcenbeschränkte Industriekameras: Fabrikkameras oder Gateways können einen kompakten Merkmalsextraktor lokal ausführen, während ein Server die verbleibenden Schichten für die object detection trainiert. Dies kann die Übertragung von Rohvideo-Daten und die Client-Berechnung reduzieren, wodurch der Ansatz für edge AI-Systeme relevant wird, die über mehrere Standorte hinweg arbeiten.

Vorteile, Risiken und Designentscheidungen#

Die Schnittschicht bestimmt das Verhältnis zwischen Client-Arbeitslast, Server-Arbeitslast, Kommunikationsvolumen und Informationspreisgabe. Ein früher Schnitt reduziert die Client-Berechnung, erzeugt jedoch möglicherweise große, eingangsähnliche Aktivierungen. Ein späterer Schnitt kann abstraktere Merkmale erzeugen, erfordert jedoch stärkere Client-Hardware.

Zwischenaktivierungen und Gradienten können weiterhin anfällig für Rekonstruktion, Inferenz oder Manipulation sein. Teams sollten daher Zugriffskontrollen, verschlüsselten Transport, Aktivierungsschutz, Audit-Protokollierung und das Vertrauen der Teilnehmer bewerten, anstatt split learning als vollständige Datenschutzlösung zu betrachten. Der NIST Privacy Framework und der NIST AI Risk Management Framework bieten umfassendere Prozesse zur Bewertung dieser Risiken.

Bandbreite und Latenz sind ebenfalls wichtig, da jeder Trainingsschritt eine bidirektionale Kommunikation erfordern kann. Langsame oder unzuverlässige Clients können das gesamte System verlangsamen, während inkonsistente Datenverteilungen die Konvergenz beeinträchtigen können.

Ultralytics YOLO bietet keine schlüsselfertige Split-Learning-Orchestrierung. Die Implementierung würde erfordern, die YOLO architecture sorgfältig zu partitionieren, Remote-Vorwärts- und Rückwärtsdurchläufe zu koordinieren und möglicherweise den dokumentierten custom trainer workflow zu erweitern. Für Projekte, bei denen Daten nur auf eigener Hardware verbleiben müssen, unterstützt Ultralytics Platform model training lokales Training mit gestreamten Metriken, aber lokales Training ist kein split learning, da das Modell selbst nicht auf die Teilnehmer aufgeteilt wird.