Neural Operators

Nöral operatörler, sabit boyutlu vektörler arasındaki eşlemeler yerine fonksiyonlar arasındaki eşlemeleri öğrenen sinir ağlarıdır. Girdi; başlangıç hız alanı, kaya oluşumunun geçirgenlik haritası veya bugünkü atmosfer gibi bir fonksiyondur. Çıktı ise birkaç saniye sonraki akış, ortaya çıkan basınç alanı veya yarının hava durumu gibi başka bir fonksiyondur. Öğrenilen operatör sürekli bir tanım kümesinde tanımlandığından, aynı ağırlıklar kaba ya da ince ızgarada örneklenmiş girdileri veya düzensiz bir ağı kabul eder. Sayısal çözücüden alınan çözümlerle eğitildikten sonra nöral operatör, bir kısmi diferansiyel denklem (PDE) ailesine ait tekrarlanan benzetimlerin yerini tek bir hızlı ileri geçişle alır.

Operatörler ve Geleneksel Vekil Modeller#

64 x 64 benzetimler üzerinde vekil model olarak eğitilen bir evrişimli sinir ağı (CNN), o piksel aralığına bağlı çekirdekler öğrenir. Nöral operatör katmanı ise bunun yerine bir integral operatörünü yaklaştırır: her noktayı, tüm tanım küresi üzerinde integre edilen öğrenilmiş bir çekirdek ile noktasal doğrusal bir terim kullanarak günceller; ızgara yalnızca bu integralin ne kadar hassas hesaplanacağını belirler. Izgara inceldikçe tahminler yakınsar; bu özellik ayrıklaştırma değişmezliği olarak adlandırılır. Böylece ucuz ve kaba benzetimlerle eğitilmiş bir model daha yüksek çözünürlükte sorgulanabilir; Fourier Neural Operator makalesi bu yöntemi sıfır atışlı süper çözünürlük olarak adlandırmıştır.

Yeni bir çözünürlükte aynı ağırlıkların çalışması, görme modellerinde de bilinen bir özelliktir. Ultralytics YOLO26, tahmin modunda her imgsz değerini, 32 piksellik maksimum adımının katına yukarı yuvarlayarak kabul eder; çünkü evrişim çekirdekleri görüntü boyutuna bağlı değildir. Ancak her 3 x 3 çekirdek sabit sayıda pikseli kapsar; bu nedenle imgsz iki katına çıkarıldığında her çekirdeğin kapsadığı sahne genişliği yarıya iner.

Nöral operatörlerle karıştırılan iki ilişkili yöntem vardır. Fizik bilgili sinir ağı (PINN), sabit katsayıları ve başlangıç koşulları olan tek bir PDE örneğini sağlayacak şekilde eğitilir ve bunlar değiştiğinde yeniden eğitim gerektirir. Bir Neural ODE, sabit uzunlukta bir durum vektörünün zamana göre türevini öğrenir ve bir çözücü bu türevi entegre eder.

Fourier Nöral Operatörleri#

Operatör öğrenimi, Lu Lu, George Karniadakis ve çalışma arkadaşlarının 2019'da yayımladığı DeepONet ve Caltech'ten Zongyi Li, Nikola Kovachki, Anima Anandkumar, Andrew Stuart ve çalışma arkadaşlarının nöral operatör çerçevesiyle ivme kazandı. ICLR 2021'de yayımlanan Fourier Nöral Operatörü (FNO), çekirdek integralini frekans uzayında bir evrişim olarak hesaplar: hızlı Fourier dönüşümü (FFT), her kanalı Fourier modlarına dönüştürür; öğrenilmiş karmaşık matrisler en düşük modlardaki kanalları karıştırıp geri kalanları atar; ters FFT ise ızgaraya döndürür. Tek bir katmanda her çıktı noktası tüm girdiye bağlıdır; bu, küresel bir alıcı alan demektir.

Spektral yol, birkaç satır PyTorch koduyla uygulanabilir. Burada aynı ağırlık kümesi, 64 ve 256 noktada örneklenmiş aynı dört girdi fonksiyonunu işler:

import torch

torch.manual_seed(0)
channels, modes = 4, 8
# Learned complex weights act on the 8 lowest Fourier modes, whatever the grid size
weights = torch.randn(channels, channels, modes, dtype=torch.cfloat) / channels

for points in (64, 256):
    x = torch.arange(points) / points  # the same periodic domain [0, 1), sampled coarsely or finely
    field = torch.stack([torch.sin(2 * torch.pi * k * x) + x * (1 - x) for k in range(1, channels + 1)])
    spectrum = torch.fft.rfft(field)  # one row of Fourier coefficients per channel
    mixed = torch.zeros(channels, points // 2 + 1, dtype=torch.cfloat)
    mixed[:, :modes] = torch.einsum("im,iom->om", spectrum[:, :modes], weights)
    output = torch.fft.irfft(mixed, n=points)  # back to the grid the input came from
    print(f"{points} points: output shape {tuple(output.shape)}, u(0.25) = {output[0, points // 4]:.4f}")

Kod, u(0.25) = -1.0908 olan (4, 64) biçiminde bir çıktı ve u(0.25) = -1.0909 olan (4, 256) biçiminde bir çıktı yazdırır. 128 karmaşık ağırlık hiç değişmez ve katman ızgara noktaları yerine temel fonksiyonun Fourier modlarında çalıştığı için aynı fiziksel noktadaki çıktı üç ondalık basamağa kadar aynıdır. FNO makalesi, türbülanslı Navier-Stokes akışı, Burgers denklemi ve Darcy akışı için geleneksel PDE çözücülerden üç büyüklük mertebesine kadar hızlı tahminler bildirmiştir.

Diğer Mimariler#

2021'de Nature Machine Intelligence'da yayımlanan DeepONet, Tianping Chen ve Hong Chen'in operatörler için 1995 tarihli evrensel yaklaşım teoreminden yararlanır: dal ağı, girdi fonksiyonunu sabit sensör konumlarındaki değerlerden kodlar; gövde ağı, çıktının istendiği koordinatı kodlar; bu ikisinin noktasal çarpımı da o konumdaki çıktı değerini verir. Grafik nöral operatörleri, karmaşık geometrilerin çevresindeki düzensiz ağları işlemek için grafik sinir ağlarından (GNN) mesaj geçişi yaklaşımını kullanır. Operatör dönüştürücüleri, tanım küresinin örneklenmiş noktalarını veya yamalarını belirteç olarak ele alır. 2024'te ETH Zurich'te geliştirilen Poseidon, akışkanlar dinamiği üzerinde önceden eğitilmiş bir temel model olarak PDE'lere hizmet eder ve ön eğitim verilerinde bulunmayan fizik alanları da dahil olmak üzere sonraki 15 görevde ince ayar yapılmıştır. Açık kaynaklı neuraloperator kütüphanesi, FNO'yu ve bu türevlerin çoğunu uygular.

Uygulamalar#

Eğitim verileri geleneksel çözücülerden gelir; bu nedenle her eğitim çifti maliyeti bir kez ödenen sentetik veridir. Eğitilen operatör daha sonra çok sayıda sorguyu hızla yanıtlar: kanat profili veya reaktör şekilleri üzerinde tasarım taramaları, binlerce çalıştırma gerektiren belirsizlik nicemleme çalışmaları ve tam bir benzetimden daha hızlı güncellenmesi gereken makine ve tesislerin dijital ikizleri. Fizik bilgili nöral operatörler, eğitim verisinin seyrek olduğu yerlerde tahminlerin yöneten denklemlerle tutarlı kalması için PDE artık terimini kayıp fonksiyonuna ekler.

Hava tahmininde NVIDIA ve akademik ortaklarının 2022'de geliştirdiği FourCastNet, uyarlamalı bir Fourier nöral operatörü üzerine kuruludur ve 0.25° çözünürlükte küresel tahminler üretir. Bir haftalık tahmini 2 saniyeden kısa sürede oluşturur; bu, kısa vadeli doğrulukta eşleştiği ECMWF Entegre Tahmin Sistemi'nden büyüklük mertebeleri daha hızlıdır.