Neural Operators

Neuronale Operatoren sind neuronale Netze, die Abbildungen zwischen Funktionen statt zwischen Vektoren fester Größe lernen. Die Eingabe ist eine Funktion, etwa ein anfängliches Geschwindigkeitsfeld, eine Durchlässigkeitskarte einer Gesteinsformation oder die heutige Atmosphäre. Die Ausgabe ist eine weitere Funktion, etwa die Strömung einige Sekunden später, das resultierende Druckfeld oder das Wetter von morgen. Da der gelernte Operator auf einem kontinuierlichen Gebiet definiert ist, akzeptieren dieselben Gewichte Eingaben, die auf einem groben Raster, einem feinen Raster oder einem unregelmäßigen Netz abgetastet wurden. Nach dem Training mit Lösungen eines numerischen Solvers ersetzt ein neuronaler Operator wiederholte Simulationen einer ganzen Familie partieller Differentialgleichungen (PDEs) durch einen einzigen schnellen Vorwärtsdurchlauf.

Operatoren im Vergleich zu herkömmlichen Ersatzmodellen#

Ein als Ersatzmodell mit Simulationen auf einem 64 x 64 großen Raster trainiertes Faltungsnetzwerk (CNN) lernt Kernel, die an diesen Pixelabstand gebunden sind. Eine Schicht eines neuronalen Operators nähert stattdessen einen Integraloperator an: Sie aktualisiert jeden Punkt anhand eines über das gesamte Gebiet integrierten, gelernten Kernels sowie eines punktweisen linearen Terms. Das Raster bestimmt lediglich, wie fein dieses Integral berechnet wird. Die Vorhersagen konvergieren mit zunehmender Rasterfeinheit. Diese Eigenschaft heißt Diskretisierungsinvarianz. Dadurch lässt sich ein mit kostengünstigen groben Simulationen trainiertes Modell mit höherer Auflösung abfragen, was das Fourier-Neural-Operator-Paper als Zero-Shot-Super-Resolution bezeichnete.

Dasselbe Gewichte bei einer neuen Auflösung auszuführen, ist von Vision-Modellen bekannt. Ultralytics YOLO26 akzeptiert im Vorhersagemodus jede imgsz-Größe, aufgerundet auf ein Vielfaches seines maximalen Strides von 32 Pixeln, da Faltungskernel nicht von der Bildgröße abhängen. Jeder 3 x 3-Kernel umfasst jedoch eine feste Pixelanzahl. Wird imgsz verdoppelt, halbiert sich daher die Szenenbreite, die jeder Kernel abdeckt.

Zwei verwandte Methoden werden häufig mit neuronalen Operatoren verwechselt. Ein physikinformiertes neuronales Netz (PINN) wird darauf trainiert, eine einzelne PDE mit festen Koeffizienten und Anfangsbedingungen zu erfüllen, und muss bei deren Änderung neu trainiert werden. Eine Neural ODE lernt die Zeitableitung eines Zustandsvektors fester Länge, die dann von einem Solver integriert wird.

Fourier-Neural-Operatoren#

Das Lernen von Operatoren gewann mit DeepONet an Bedeutung, das Lu Lu, George Karniadakis und Kollegen 2019 veröffentlichten, sowie mit dem Rahmenwerk für neuronale Operatoren von Zongyi Li, Nikola Kovachki, Anima Anandkumar, Andrew Stuart und Kollegen am Caltech. Ihr Fourier Neural Operator (FNO), veröffentlicht auf der ICLR 2021, berechnet das Kernelintegral als Faltung im Frequenzraum: Eine schnelle Fourier-Transformation (FFT) wandelt jeden Kanal in Fourier-Moden um, gelernte komplexe Matrizen mischen die Kanäle in den niedrigsten Moden und verwerfen die übrigen, und eine inverse FFT führt zurück zum Raster. Jeder Ausgabepunkt hängt von der gesamten Eingabe ab – ein globales rezeptives Feld in einer einzigen Schicht.

Der spektrale Pfad umfasst nur wenige Zeilen PyTorch. Hier verarbeitet derselbe Gewichtssatz dieselben vier Eingabefunktionen, die einmal mit 64 und einmal mit 256 Punkten abgetastet wurden:

import torch

torch.manual_seed(0)
channels, modes = 4, 8
# Learned complex weights act on the 8 lowest Fourier modes, whatever the grid size
weights = torch.randn(channels, channels, modes, dtype=torch.cfloat) / channels

for points in (64, 256):
    x = torch.arange(points) / points  # the same periodic domain [0, 1), sampled coarsely or finely
    field = torch.stack([torch.sin(2 * torch.pi * k * x) + x * (1 - x) for k in range(1, channels + 1)])
    spectrum = torch.fft.rfft(field)  # one row of Fourier coefficients per channel
    mixed = torch.zeros(channels, points // 2 + 1, dtype=torch.cfloat)
    mixed[:, :modes] = torch.einsum("im,iom->om", spectrum[:, :modes], weights)
    output = torch.fft.irfft(mixed, n=points)  # back to the grid the input came from
    print(f"{points} points: output shape {tuple(output.shape)}, u(0.25) = {output[0, points // 4]:.4f}")

Die Ausgabe hat die Form (4, 64) mit u(0.25) = -1.0908; außerdem wird eine Ausgabe der Form (4, 256) mit u(0.25) = -1.0909 ausgegeben. Die 128 komplexen Gewichte ändern sich nie, und die Ausgabe am selben physikalischen Punkt stimmt auf drei Dezimalstellen überein, da die Schicht auf Fourier-Moden der zugrunde liegenden Funktion statt auf Rasterpunkten arbeitet. Für turbulente Navier-Stokes-Strömungen, die Burgers-Gleichung und die Darcy-Strömung berichtete das FNO-Paper von Vorhersagen, die bis zu drei Größenordnungen schneller waren als mit herkömmlichen PDE-Solvern.

Weitere Architekturen#

DeepONet, 2021 in Nature Machine Intelligence veröffentlicht, baut auf einem Satz zur universellen Approximation von Operatoren aus dem Jahr 1995 von Tianping Chen und Hong Chen auf: Ein Branch-Netzwerk codiert die Eingabefunktion anhand von Werten an festen Sensorpositionen, ein Trunk-Netzwerk codiert die Koordinate der gewünschten Ausgabe, und ihr Skalarprodukt ergibt den Ausgabewert an dieser Stelle. Graph-Neural-Operatoren übernehmen Message Passing aus Graph-Neuronalen-Netzen (GNNs), um unregelmäßige Netze komplexer Geometrien zu verarbeiten. Operator-Transformer behandeln abgetastete Punkte oder Gebietsabschnitte als Tokens. Poseidon, 2024 an der ETH Zürich entwickelt und mit Strömungsdynamik vortrainiert, dient als Basismodell für PDEs und wurde für 15 nachgelagerte Aufgaben feinabgestimmt, darunter Physikbereiche, die in den Vortrainingsdaten nicht vorkamen. Die Open-Source-Bibliothek neuraloperator implementiert FNO und viele dieser Varianten.

Anwendungen#

Die Trainingsdaten stammen aus herkömmlichen Solver-Verfahren. Daher ist jedes Trainingspaar ein synthetischer Datensatz, dessen Kosten nur einmal anfallen. Anschließend beantwortet der trainierte Operator zahlreiche Anfragen schnell: Designstudien zu Tragflächen- oder Reaktorgeometrien, Unsicherheitsquantifizierung mit Tausenden benötigten Durchläufen und digitale Zwillinge von Maschinen und Anlagen, die schneller aktualisiert werden müssen als eine vollständige Simulation. Physikinformierte neuronale Operatoren ergänzen den PDE-Residuumsterm zur Verlustfunktion, damit Vorhersagen auch dort mit den maßgeblichen Gleichungen übereinstimmen, wo nur wenige Trainingsdaten vorliegen.

Für Wettervorhersagen basiert FourCastNet von NVIDIA und akademischen Partnern aus dem Jahr 2022 auf einem adaptiven Fourier-Neural-Operator und erstellt globale Prognosen mit einer Auflösung von 0,25°. Eine Wochenprognose wird in weniger als 2 Sekunden erzeugt – mehrere Größenordnungen schneller als mit dem ECMWF Integrated Forecasting System, dessen kurzfristige Genauigkeit bei großräumigen Variablen FourCastNet erreicht.