Neural Operators

Neural operator là mạng nơ-ron học ánh xạ giữa các hàm thay vì giữa các vector có kích thước cố định. Đầu vào là một hàm, chẳng hạn trường vận tốc ban đầu, bản đồ độ thấm của một hệ tầng đá hoặc trạng thái khí quyển hôm nay; đầu ra là một hàm khác, chẳng hạn dòng chảy sau vài giây, trường áp suất hình thành hoặc thời tiết ngày mai. Vì toán tử đã học được xác định trên miền liên tục, cùng một bộ trọng số có thể nhận đầu vào được lấy mẫu trên lưới thô, lưới mịn hoặc lưới không đều. Sau khi được huấn luyện bằng các nghiệm từ bộ giải số, neural operator thay thế các mô phỏng lặp lại của cả một họ phương trình vi phân riêng phần (PDE) bằng một lượt forward pass nhanh.

Neural operator và surrogate thông thường#

Mạng nơ-ron tích chập (CNN) được huấn luyện làm surrogate trên các mô phỏng 64 x 64 sẽ học những kernel gắn với khoảng cách pixel đó. Thay vào đó, một lớp neural operator xấp xỉ toán tử tích phân, cập nhật mỗi điểm từ kernel đã học được tích phân trên toàn miền cộng với một số hạng tuyến tính tại từng điểm; lưới chỉ quyết định độ mịn khi tính tích phân. Dự đoán hội tụ khi tinh chỉnh lưới, một tính chất gọi là bất biến rời rạc hóa, nên có thể truy vấn model được huấn luyện trên các mô phỏng thô, ít tốn kém ở độ phân giải cao hơn; bài báo Fourier Neural Operator gọi đây là super-resolution zero-shot.

Việc cùng một bộ trọng số chạy ở độ phân giải mới cũng quen thuộc với các model thị giác. Ultralytics YOLO26 chấp nhận mọi imgsz trong chế độ predict, được làm tròn lên bội số của stride tối đa 32 pixel, vì kernel tích chập không phụ thuộc vào kích thước ảnh; tuy nhiên, mỗi kernel 3 x 3 trải rộng trên một số pixel cố định, nên khi tăng gấp đôi imgsz, chiều rộng của cảnh mà mỗi kernel bao phủ sẽ giảm một nửa.

Hai phương pháp liên quan thường bị nhầm với neural operator. Mạng nơ-ron có tích hợp vật lý (PINN) huấn luyện một mạng để thỏa mãn một trường hợp PDE duy nhất với các hệ số và điều kiện ban đầu cố định, đồng thời cần huấn luyện lại khi chúng thay đổi. Neural ODE học đạo hàm theo thời gian của một vector trạng thái có độ dài cố định, sau đó bộ giải tích phân vector này.

Fourier Neural Operator#

Operator learning phát triển mạnh nhờ DeepONet, được Lu Lu, George Karniadakis và cộng sự đăng tải năm 2019, cùng framework neural operator của Zongyi Li, Nikola Kovachki, Anima Anandkumar, Andrew Stuart và cộng sự tại Caltech. Fourier Neural Operator (FNO) của họ, được công bố tại ICLR 2021, tính tích phân kernel dưới dạng tích chập trong miền tần số: biến đổi Fourier nhanh (FFT) chuyển từng channel thành các mode Fourier, các ma trận phức đã học trộn channel ở những mode thấp nhất và loại bỏ phần còn lại, rồi FFT nghịch chuyển kết quả về lưới. Mỗi điểm đầu ra phụ thuộc vào toàn bộ đầu vào, tạo nên trường tiếp nhận toàn cục chỉ trong một lớp.

Nhánh phổ chỉ cần vài dòng PyTorch. Ở đây, cùng một bộ trọng số xử lý bốn hàm đầu vào được lấy mẫu tại 64 và 256 điểm:

import torch

torch.manual_seed(0)
channels, modes = 4, 8
# Learned complex weights act on the 8 lowest Fourier modes, whatever the grid size
weights = torch.randn(channels, channels, modes, dtype=torch.cfloat) / channels

for points in (64, 256):
    x = torch.arange(points) / points  # the same periodic domain [0, 1), sampled coarsely or finely
    field = torch.stack([torch.sin(2 * torch.pi * k * x) + x * (1 - x) for k in range(1, channels + 1)])
    spectrum = torch.fft.rfft(field)  # one row of Fourier coefficients per channel
    mixed = torch.zeros(channels, points // 2 + 1, dtype=torch.cfloat)
    mixed[:, :modes] = torch.einsum("im,iom->om", spectrum[:, :modes], weights)
    output = torch.fft.irfft(mixed, n=points)  # back to the grid the input came from
    print(f"{points} points: output shape {tuple(output.shape)}, u(0.25) = {output[0, points // 4]:.4f}")

Kết quả in ra một đầu ra có shape (4, 64) với u(0.25) = -1.0908 và một đầu ra có shape (4, 256) với u(0.25) = -1.0909. 128 trọng số phức không thay đổi, còn đầu ra tại cùng một điểm vật lý khớp đến ba chữ số thập phân vì lớp hoạt động trên các mode Fourier của hàm nền chứ không phải trên các điểm lưới. Trên dòng chảy Navier-Stokes hỗn loạn, phương trình Burgers và dòng chảy Darcy, bài báo FNO cho biết dự đoán nhanh hơn bộ giải PDE truyền thống tới ba bậc độ lớn.

Các kiến trúc khác#

DeepONet, được công bố trên Nature Machine Intelligence năm 2021, dựa trên định lý xấp xỉ phổ quát năm 1995 dành cho toán tử của Tianping Chen và Hong Chen: mạng nhánh mã hóa hàm đầu vào từ các giá trị tại những vị trí cảm biến cố định, mạng thân mã hóa tọa độ cần tính đầu ra, rồi tích vô hướng của chúng cho giá trị đầu ra tại đó. Graph neural operator mượn cơ chế truyền thông điệp từ mạng nơ-ron đồ thị (GNN) để xử lý lưới không đều quanh hình học phức tạp. Operator transformer xem các điểm được lấy mẫu hoặc các patch của miền là token. Được tiền huấn luyện trên động lực học chất lưu, Poseidon của ETH Zurich năm 2024 đóng vai trò foundation model cho PDE và được fine-tune trên 15 tác vụ phía sau, bao gồm cả vật lý không có trong dữ liệu tiền huấn luyện. Thư viện mã nguồn mở neuraloperator triển khai FNO cùng nhiều biến thể này.

Ứng dụng#

Dữ liệu huấn luyện đến từ các bộ giải thông thường, vì vậy mỗi cặp huấn luyện là dữ liệu tổng hợp chỉ tốn chi phí một lần; sau đó, operator đã huấn luyện có thể trả lời nhanh nhiều truy vấn: khảo sát thiết kế các hình dạng cánh máy bay hoặc lò phản ứng, nghiên cứu định lượng độ bất định cần hàng nghìn lượt chạy và digital twin của máy móc, nhà máy cần cập nhật nhanh hơn một mô phỏng đầy đủ. Neural operator có tích hợp vật lý bổ sung phần dư PDE vào hàm loss để dự đoán vẫn nhất quán với các phương trình chi phối ở những nơi dữ liệu huấn luyện thưa thớt.

Trong dự báo thời tiết, FourCastNet của NVIDIA và các cộng tác viên học thuật năm 2022 được xây dựng trên adaptive Fourier neural operator, tạo dự báo toàn cầu ở độ phân giải 0.25° và tạo dự báo kéo dài một tuần trong chưa đầy 2 giây; tốc độ này nhanh hơn nhiều bậc độ lớn so với Hệ thống Dự báo Tích hợp ECMWF, trong khi độ chính xác ngắn hạn đối với các biến quy mô lớn tương đương.