Neural Operators

Gli operatori neurali sono reti neurali che apprendono mappature tra funzioni anziché tra vettori di dimensione fissa. L'input è una funzione, come un campo di velocità iniziale, una mappa di permeabilità di una formazione rocciosa o l'atmosfera odierna; l'output è un'altra funzione, come il flusso dopo alcuni secondi, il campo di pressione risultante o il meteo di domani. Poiché l'operatore appreso è definito su un dominio continuo, gli stessi pesi accettano input campionati su una griglia grossolana, una griglia fine o una mesh irregolare. Una volta addestrato sulle soluzioni di un risolutore numerico, un operatore neurale sostituisce le simulazioni ripetute di un'intera famiglia di equazioni differenziali alle derivate parziali (PDE) con un'unica passata in avanti rapida.

Operatori e modelli surrogati tradizionali#

Una rete neurale convoluzionale (CNN) addestrata come modello surrogato su simulazioni 64 x 64 apprende kernel legati a quella spaziatura dei pixel. Uno strato di operatore neurale approssima invece un operatore integrale: aggiorna ogni punto usando un kernel appreso integrato sull'intero dominio, più un termine lineare puntuale; la griglia determina soltanto la precisione con cui viene calcolato quell'integrale. Le previsioni convergono quando la griglia viene raffinata, una proprietà chiamata invarianza rispetto alla discretizzazione; così, un modello addestrato su simulazioni grossolane ed economiche può essere interrogato a risoluzioni più elevate, una capacità che l'articolo sul Fourier Neural Operator ha definito super-risoluzione zero-shot.

L'esecuzione degli stessi pesi a una nuova risoluzione è una caratteristica comune nei modelli di visione. Ultralytics YOLO26 accetta qualsiasi imgsz in modalità predict, arrotondata per eccesso a un multiplo dello stride massimo di 32 pixel, perché i kernel convoluzionali non dipendono dalle dimensioni dell'immagine. Tuttavia, ogni kernel 3 x 3 copre un numero fisso di pixel, quindi raddoppiando imgsz si dimezza la larghezza della scena coperta da ogni kernel.

Due metodi correlati vengono spesso confusi con gli operatori neurali. Una rete neurale informata dalla fisica (PINN) addestra una singola rete a soddisfare una specifica istanza di PDE con coefficienti e condizioni iniziali fissi e deve essere riaddestrata quando questi cambiano. Una Neural ODE apprende la derivata temporale di un vettore di stato di lunghezza fissa, che viene poi integrata da un risolutore.

Fourier Neural Operator#

L'apprendimento degli operatori si è affermato con DeepONet, pubblicato da Lu Lu, George Karniadakis e colleghi nel 2019, e con il framework degli operatori neurali di Zongyi Li, Nikola Kovachki, Anima Anandkumar, Andrew Stuart e colleghi del Caltech. Il loro Fourier Neural Operator (FNO), pubblicato a ICLR 2021, calcola l'integrale del kernel come convoluzione nello spazio delle frequenze: una trasformata di Fourier veloce (FFT) converte ogni canale in modi di Fourier, matrici complesse apprese combinano i canali sui modi più bassi e scartano gli altri, quindi una FFT inversa riporta il risultato sulla griglia. Ogni punto di output dipende dall'intero input: un campo ricettivo globale in un solo livello.

Il percorso spettrale si implementa in poche righe di PyTorch. Qui, lo stesso insieme di pesi elabora le medesime quattro funzioni di input campionate a 64 e a 256 punti:

import torch

torch.manual_seed(0)
channels, modes = 4, 8
# Learned complex weights act on the 8 lowest Fourier modes, whatever the grid size
weights = torch.randn(channels, channels, modes, dtype=torch.cfloat) / channels

for points in (64, 256):
    x = torch.arange(points) / points  # the same periodic domain [0, 1), sampled coarsely or finely
    field = torch.stack([torch.sin(2 * torch.pi * k * x) + x * (1 - x) for k in range(1, channels + 1)])
    spectrum = torch.fft.rfft(field)  # one row of Fourier coefficients per channel
    mixed = torch.zeros(channels, points // 2 + 1, dtype=torch.cfloat)
    mixed[:, :modes] = torch.einsum("im,iom->om", spectrum[:, :modes], weights)
    output = torch.fft.irfft(mixed, n=points)  # back to the grid the input came from
    print(f"{points} points: output shape {tuple(output.shape)}, u(0.25) = {output[0, points // 4]:.4f}")

Stampa un output di forma (4, 64) con u(0.25) = -1.0908 e uno di forma (4, 256) con u(0.25) = -1.0909. I 128 pesi complessi non cambiano mai e l'output nello stesso punto fisico coincide fino a tre cifre decimali, perché il livello opera sui modi di Fourier della funzione sottostante anziché sui punti della griglia. Per il flusso turbolento di Navier-Stokes, l'equazione di Burgers e il flusso di Darcy, l'articolo su FNO ha riportato previsioni fino a tre ordini di grandezza più rapide rispetto ai risolutori tradizionali di PDE.

Altre architetture#

DeepONet, pubblicato su Nature Machine Intelligence nel 2021, si basa su un teorema di approssimazione universale per gli operatori del 1995, formulato da Tianping Chen e Hong Chen: una rete branch codifica la funzione di input a partire dai valori in posizioni di sensori fisse, una rete trunk codifica la coordinata per la quale si vuole ottenere l'output e il loro prodotto scalare restituisce il valore di output in quel punto. Gli operatori neurali su grafi adottano il passaggio di messaggi delle reti neurali a grafo (GNN) per gestire mesh irregolari attorno a geometrie complesse. I Transformer per operatori trattano i punti campionati o le porzioni del dominio come token. Addestrato sulla fluidodinamica, Poseidon, sviluppato all'ETH di Zurigo nel 2024, funge da modello di base per le PDE ed è stato sottoposto a fine-tuning su 15 task a valle, compresa la fisica assente dai dati di preaddestramento. La libreria open source neuraloperator implementa FNO e molte di queste varianti.

Applicazioni#

I dati di addestramento provengono da risolutori convenzionali, quindi ogni coppia di addestramento è dato sintetico, il cui costo viene sostenuto una sola volta; l'operatore addestrato risponde poi rapidamente a numerose query: analisi di progettazione di profili alari o forme di reattori, studi di quantificazione dell'incertezza che richiedono migliaia di esecuzioni e gemelli digitali di macchine e impianti che devono aggiornarsi più velocemente di una simulazione completa. Gli operatori neurali informati dalla fisica aggiungono il residuo della PDE alla funzione di perdita, così le previsioni restano coerenti con le equazioni che governano il sistema quando i dati di addestramento sono scarsi.

Per le previsioni meteorologiche, FourCastNet, sviluppato da NVIDIA e collaboratori accademici nel 2022, si basa su un operatore neurale di Fourier adattivo e produce previsioni globali con risoluzione di 0,25°, generando una previsione di una settimana in meno di 2 secondi. È di ordini di grandezza più rapido dell'ECMWF Integrated Forecasting System e ne eguaglia la precisione a breve termine per le variabili su larga scala.