Geometric Deep Learning (GDL)

Geometrisches Deep Learning (GDL) ist der Bereich des Deep Learnings, der neuronale Netze an der Struktur und den Symmetrien ihrer Daten ausrichtet, unabhängig davon, ob diese auf einem Pixelraster, einem Graphen, einer Punktmenge, einer Kugel oder einer gekrümmten Fläche liegen. Die Grundidee: Ein Modell sollte vorhersehbar reagieren, wenn sich die Eingabe auf eine Weise ändert, die ihre Bedeutung nicht verändert – etwa wenn ein Bild verschoben, die Atome eines Moleküls umbenannt oder ein 3D-Scan gedreht werden. Michael Bronstein, Joan Bruna, Yann LeCun, Arthur Szlam und Pierre Vandergheynst machten den Begriff 2017 mit ihrer Übersicht Geometric Deep Learning: Going Beyond Euclidean Data populär. Das Vorab-Buch von Bronstein, Bruna, Taco Cohen und Petar Veličković aus dem Jahr 2021 gliederte das Forschungsgebiet in fünf Bereiche: Gitter, Gruppen, Graphen, Geodäten und Eichungen.

Invarianz, Äquivarianz und das GDL-Grundgerüst#

Zwei Eigenschaften leisten den größten Teil der Arbeit. Eine Funktion ist gegenüber einer Transformation invariant, wenn ihre Ausgabe gleich bleibt – etwa wenn das Label einer Bildklassifikation weiterhin „Katze“ lauten soll, auch wenn sich die Katze bewegt. Sie ist äquivariant, wenn sich ihre Ausgabe gemeinsam mit der Eingabe verändert – etwa wenn sich die Maske einer semantischen Segmentierung mit dem Objekt verschieben soll. Das GDL-Grundgerüst stapelt äquivariante Schichten, die Informationen zwischen Nachbarn mischen, Pooling-Schritte zur Vergröberung des Definitionsbereichs und eine abschließende invariante Auslesung, wenn die Aufgabe eine einzige Antwort erfordert. Die Wahl der Symmetriegruppe des Definitionsbereichs ergibt bekannte Architekturen:

Faltung verwendet denselben Kernel an allen Pixelpositionen. Ein faltendes neuronales Netz (CNN) ist daher der translationsäquivariante Fall auf einem Gitter. Ein Graph-Neuronales Netz (GNN) wendet dieselbe Funktion auf jede Kante an. Eine Umbenennung der Knoten ordnet daher lediglich seine Ausgaben um. Ein Transformer behandelt seine Tokens als vollständig verbundenen Graphen. Da Self-Attention permutationsäquivariant ist, benötigt er Positionskodierungen, um die Token-Reihenfolge zu erkennen. GNNs sind die bekanntesten GDL-Modelle, und GDL ist das umfassendere Rahmenwerk, das alle drei erklärt. Von Taco Cohen und Max Welling 2016 eingeführte gruppenäquivariante CNNs erweitern die gemeinsame Nutzung von Gewichten auf Drehungen und Spiegelungen. Mesh- und Mannigfaltigkeitsnetze definieren Faltungen in lokalen Koordinatenrahmen auf gekrümmten Flächen.

Ultralytics YOLO26 ist der Gitterfall: Seine Faltungen verwenden dieselben Gewichte an allen Pixelpositionen. Symmetrien, die nicht in der Architektur verankert sind, werden durch Datenerweiterung erlernt. Standardmäßig spiegelt das Training jedes Bild mit der Wahrscheinlichkeit fliplr=0.5 horizontal. Vertikale Spiegelungen (flipud) und zufällige Drehungen (degrees) sind dagegen deaktiviert.

Message Passing auf Graphen#

Graphmodelle im GDL beruhen auf Message Passing. Jeder Knoten empfängt Nachrichten von seinen Nachbarn, kombiniert sie mit einer reihenfolgeunabhängigen Funktion wie Summe, Mittelwert oder Maximum und aktualisiert sein eigenes Embedding. Justin Gilmer und Kollegen bei Google zeigten 2017, dass viele Grapharchitekturen diesem Message-Passing-Schema entsprechen, und nutzten es, um quantenchemische Eigenschaften von Molekülen vorherzusagen. Eine Umbenennung der Knoten eines kleinen Graphen prüft beide Symmetrieeigenschaften direkt:

import torch

torch.manual_seed(0)
nodes = torch.randn(5, 3)  # 5 Atome oder Nutzer, je 3 Merkmale
adjacency = torch.zeros(5, 5)
edges = torch.tensor([[0, 1], [1, 2], [0, 2], [2, 3], [3, 4]])
adjacency[edges[:, 0], edges[:, 1]] = adjacency[edges[:, 1], edges[:, 0]] = 1
w_self, w_neighbors, w_dense = torch.randn(3, 4), torch.randn(3, 4), torch.randn(15, 4)

# Benenne die Knoten in zufälliger Reihenfolge um: derselbe Graph, anders aufgelistet
order = torch.randperm(5)
nodes_p, adjacency_p = nodes[order], adjacency[order][:, order]

# Message Passing: Jeder Knoten kombiniert seine eigenen Merkmale mit der Summe der Merkmale seiner Nachbarn
out = torch.relu(nodes @ w_self + adjacency @ nodes @ w_neighbors)
out_p = torch.relu(nodes_p @ w_self + adjacency_p @ nodes_p @ w_neighbors)
print(torch.allclose(out_p, out[order]))  # äquivariant: Die Ausgaben werden gemeinsam mit den Knoten umgeordnet
print(torch.allclose(out_p.sum(dim=0), out.sum(dim=0)))  # invariant: Die Auslesung auf Graph-Ebene bleibt unverändert

# Eine dichte Schicht auf der abgeflachten Knotenliste behandelt den umbenannten Graphen als neue Daten
print(torch.allclose(nodes_p.flatten() @ w_dense, nodes.flatten() @ w_dense))

Die Ausgabe lautet True, True und False. Die Ausgabe der Message-Passing-Schicht wird genau gemeinsam mit den Knoten umgeordnet, die summierte Auslesung auf Graph-Ebene bleibt unverändert, und eine gewöhnliche dichte Schicht liefert für denselben Graphen in anderer Reihenfolge eine andere Antwort. PyTorch Geometric bündelt Dutzende solcher Schichten und Funktionen zur Stapelverarbeitung unterschiedlich großer Graphen.

Anwendungen#

Moleküle sind Graphen aus Atomen und Bindungen. Message-Passing-Netze sagen daher Eigenschaften wie Löslichkeit und Bindung für die Arzneimittelforschung voraus. Proteine bringen zusätzlich eine 3D-Geometrie mit: AlphaFold 2 verfeinert seine vorhergesagten Strukturen mit invariantem Punkt-Attention-Verfahren, das bei Drehung oder Verschiebung des gesamten Proteins im Raum dasselbe Ergebnis liefert.

LiDAR-Scans und Tiefensensoren erzeugen Punktwolken, also ungeordnete Mengen von 3D-Punkten. PointNet, 2017 von Charles Qi und Kollegen an der Stanford University entwickelt, wendet ein gemeinsames Netz auf jeden Punkt an und führt anschließend ein Max-Pooling durch. Dadurch hängt die Ausgabe nicht von der Reihenfolge der Punkte ab. Dieses Design bildet die Grundlage zahlreicher Systeme zur 3D-Objekterkennung für autonome Fahrzeuge und Robotik. Soziale und kommerzielle Graphen aus Nutzern und Artikeln bilden die Grundlage GNN-basierter Empfehlungssysteme wie PinSage von Pinterest. Wissensgraphen wenden dasselbe Message Passing auf Entitäten und ihre Beziehungen an.

Wettermodelle arbeiten auf der Kugel. GraphCast, 2023 von Google DeepMind in Science veröffentlicht, übermittelt Nachrichten über ein mehrskaliges Netz, das durch Verfeinerung eines Ikosaeders um den Globus erstellt wird. Das Modell sagt Hunderte von Variablen zehn Tage im Voraus mit einer Auflösung von 0,25° in weniger als einer Minute voraus und übertrifft die führende operationelle deterministische Vorhersage, ECMWFs HRES, bei 90 % von 1.380 Prüfgrößen.