Deep Learning (DL)

Deep Learning (DL) ist ein Teilgebiet des Machine Learning (ML), bei dem neuronale Netze mit vielen aufeinanderfolgenden Schichten trainiert werden, um direkt aus Rohdaten wie Pixeln, Audio-Wellenformen und Text zu lernen. „Deep“ bezieht sich auf diese Tiefe: Jede Schicht verändert die Ausgabe der vorherigen, sodass das Netzwerk selbst eine Merkmalshierarchie aufbaut – von Kanten über Texturen bis hin zu ganzen Objekten in einem Bild –, ohne dass Fachleute diese Merkmale von Hand entwerfen müssen. Deep Learning bildet die Grundlage für moderne Computer Vision, Spracherkennung, große Sprachmodelle (LLMs) und generative KI.

So funktioniert Deep Learning#

Ein neuronales Netzwerk ist eine Kette von Schichten. Jede Schicht multipliziert ihre Eingabe mit einer Matrix aus gelernten Gewichten, addiert einen Bias und leitet das Ergebnis durch eine nichtlineare Aktivierungsfunktion wie ReLU. Die Nichtlinearität macht die Tiefe nützlich: Ohne sie ließe sich jede Abfolge von Schichten zu einer einzigen linearen Transformation zusammenfassen.

Beim Training werden die Gewichte so angepasst, dass die Ausgaben des Netzwerks den Trainingslabels entsprechen. In jedem Schritt wird ein Datenbatch vorwärts durch das Netzwerk geleitet, eine Verlustfunktion bewertet den Fehler, die Backpropagation berechnet den Anteil jedes Gewichts an diesem Fehler, und ein Optimierer wie der stochastische Gradientenabstieg (SGD) oder Adam verschiebt jedes Gewicht in die Richtung, in der der Fehler abnimmt. Durch viele Wiederholungen über zahlreiche Epochen werden aus zufälligen Gewichten nützliche Merkmale. Das folgende PyTorch-Beispiel trainiert eine einzelne lineare Schicht und ein Netzwerk mit drei Schichten anhand von Punkten, die danach beschriftet sind, ob sie innerhalb eines Kreises liegen:

import torch
from torch import nn

torch.manual_seed(0)

# Points inside a circle are class 1: no straight line separates the classes
x = torch.rand(1000, 2) * 2 - 1
y = (x.pow(2).sum(dim=1) < 0.5).float().unsqueeze(1)

# A single linear layer versus stacked layers with nonlinear activations
models = {
    "linear": nn.Linear(2, 1),
    "deep": nn.Sequential(nn.Linear(2, 16), nn.ReLU(), nn.Linear(16, 16), nn.ReLU(), nn.Linear(16, 1)),
}
for name, model in models.items():
    optimizer = torch.optim.Adam(model.parameters(), lr=0.01)
    for step in range(500):
        loss = nn.functional.binary_cross_entropy_with_logits(model(x), y)
        optimizer.zero_grad()
        loss.backward()  # backpropagation computes gradients for every layer
        optimizer.step()
    accuracy = ((model(x) > 0) == y).float().mean()
    print(f"{name}: {accuracy:.1%} accuracy")

Das lineare Modell erreicht 60,8 %, ungefähr den Anteil der Punkte außerhalb des Kreises, da eine gerade Grenze keinen Bereich umschließen kann. Das tiefe Modell erreicht 99,9 %: Seine verborgenen Schichten biegen die Entscheidungsgrenze zu einer anhand der Daten erlernten Kurve. Ultralytics YOLO26 wird in wesentlich größerem Maßstab mit demselben Verfahren trainiert. model.train() führt Vorwärtsdurchläufe, Verlustberechnungen und Backpropagation für beschriftete Bilder auf einer GPU aus, sofern eine verfügbar ist.

Deep Learning und Machine Learning#

Deep Learning ist ein Teilgebiet des Machine Learning; die beiden Bereiche unterscheiden sich vor allem darin, woher die Merkmale stammen. Klassische Algorithmen wie Entscheidungsbäume, Support Vector Machines und Gradient-Boosted Trees lernen anhand von Merkmalen, die Menschen festlegen, etwa dem Betrag einer Transaktion oder der Häufigkeit eines Wortes. Tiefe Netzwerke lernen die Merkmale selbst. Deshalb sind sie bei unstrukturierten Daten wie Bildern, Audio und Text führend. Diese Fähigkeit hat ihren Preis: Tiefe Modelle benötigen in der Regel wesentlich mehr beschriftete Daten, werden auf GPUs oder anderen Beschleunigern trainiert und machen ihre Schlussfolgerungen weniger transparent. Bei Tabellendaten bleiben Gradient-Boosted Trees wie XGBoost starke Konkurrenten. Transferlernen verringert den Datenbedarf tiefer Modelle, indem es von einem Netzwerk ausgeht, das auf einem großen Datensatz vortrainiert wurde.

Wichtige Architekturen#

• Konvolutionale neuronale Netze (CNNs): Verschieben kleine erlernte Filter über ein Bild, sodass dasselbe Muster überall im Bild erkannt wird. CNNs bilden die Grundlage für die Echtzeit-Objekterkennung und Bildsegmentierung.
• Rekurrente neuronale Netze (RNNs): Verarbeiten Sequenzen Schritt für Schritt und führen dabei einen verborgenen Zustand mit. Varianten wie LSTMs dominierten Spracherkennung und Übersetzung, bevor sich Transformer durchsetzten.
• Transformer: Verwenden Self-Attention, um jedes Element einer Sequenz parallel mit allen anderen in Beziehung zu setzen. Sie wurden 2017 eingeführt und bilden die Grundlage für LLMs und Vision Transformer (ViTs).
• Diffusionsmodelle: Lernen, Rauschen Schritt für Schritt zu entfernen. Dadurch können sie aus zufälligem Rauschen Bilder, Videos und Audio erzeugen.

Ein kurzer Rückblick#

Die Ideen hinter Deep Learning sind Jahrzehnte alt. Backpropagation wurde durch eine Arbeit von David Rumelhart, Geoffrey Hinton und Ronald Williams aus dem Jahr 1986 bekannt, doch neuronale Netze blieben flach, bis drei Voraussetzungen zusammenkamen: große gelabelte Datensätze wie ImageNet, ausreichend schnelle GPUs für das Training und Techniken wie ReLU-Aktivierungen und Dropout. 2012 senkte AlexNet die Top-5-Fehlerrate auf ImageNet auf 15,3 %, verglichen mit 26,2 % beim nächstbesten Beitrag, und fast über Nacht wandte sich das Fachgebiet tiefen neuronalen Netzen zu. Hinton, Yann LeCun und Yoshua Bengio erhielten 2018 für diese Arbeit den Turing Award, und der Nobelpreis für Physik 2024 ging an Hinton und John Hopfield für Entdeckungen, die maschinelles Lernen mit künstlichen neuronalen Netzen ermöglichen. Auch die Netztiefe nahm weiter zu: Residualverbindungen ermöglichten es ResNet, Netze mit 152 Schichten zu trainieren, und ein Ensemble aus solchen Netzen gewann 2015 die ImageNet-Klassifizierungs-Challenge mit einer Top-5-Fehlerrate von 3,57 %.