Neural Operators

المشغّلات العصبية هي شبكات عصبية تتعلم تحويلات بين الدوال بدلًا من المتجهات ذات الأحجام الثابتة. يكون المدخل دالةً، مثل حقل سرعة ابتدائي أو خريطة نفاذية تكوين صخري أو الغلاف الجوي اليوم، ويكون المخرج دالةً أخرى، مثل التدفق بعد بضع ثوانٍ أو حقل الضغط الناتج أو طقس الغد. ولأن المشغّل المتعلّم معرّف على مجال متصل، تقبل الأوزان نفسها المدخلات المعيّنة على شبكة خشنة أو دقيقة أو شبكة غير منتظمة. وبعد التدريب على حلول صادرة عن محلّل عددي، يحل المشغّل العصبي محل عمليات المحاكاة المتكررة لعائلة كاملة من المعادلات التفاضلية الجزئية (PDE) بتمريرة أمامية واحدة سريعة.

المشغّلات مقابل النماذج البديلة التقليدية#

تتعلّم شبكة عصبية التفافية (CNN)، التي دُرّبت كنموذج بديل على عمليات محاكاة بدقة 64 x 64، مرشحات مرتبطة بتباعد البكسلات هذا. أما طبقة المشغّل العصبي فتقارب مشغّلًا تكامليًا، إذ تحدّث كل نقطة استنادًا إلى تكامل نواة متعلّمة على المجال بأكمله، إضافةً إلى حد خطي نقطي، ولا تحدد الشبكة سوى مدى دقة تقييم ذلك التكامل. تتقارب التنبؤات كلما زادت دقة الشبكة، وهي خاصية تُسمّى ثبات التقطيع؛ لذا يمكن الاستعلام عن نموذج دُرّب على محاكاة خشنة منخفضة التكلفة بدقة أعلى، وهو ما أسمته ورقة Fourier Neural Operator تحسين الدقة الفائق دون تدريب مسبق.

إن تشغيل الأوزان نفسها بدقة جديدة أمر مألوف في نماذج الرؤية. يقبل Ultralytics YOLO26 أي imgsz في وضع التنبؤ، بعد تقريبه إلى مضاعف للخطوة القصوى البالغة 32 بكسل، لأن مرشحات الالتفاف لا تعتمد على حجم الصورة. لكن كل مرشح 3 x 3 يغطي عددًا ثابتًا من البكسلات، لذا فإن مضاعفة imgsz تخفض إلى النصف عرض المشهد الذي يغطيه كل مرشح.

غالبًا ما يُخلط بين طريقتين مرتبطتين والمشغّلات العصبية. تدرب الشبكة العصبية المستنيرة بالفيزياء (PINN) شبكة واحدة على استيفاء حالة واحدة من معادلة تفاضلية جزئية بمعاملات وشروط ابتدائية ثابتة، وتحتاج إلى إعادة التدريب عند تغييرها. أما Neural ODE فيتعلّم المشتقة الزمنية لمتجه حالة ثابت الطول، ويتولى محلّل تكاملها.

مشغّلات فورييه العصبية#

انطلق تعلّم المشغّلات مع DeepONet، الذي نشره Lu Lu وGeorge Karniadakis وزملاؤهما عام 2019، ومع إطار المشغّلات العصبية الذي وضعه Zongyi Li وNikola Kovachki وAnima Anandkumar وAndrew Stuart وزملاؤهم في Caltech. تحسب مشغّلات فورييه العصبية (FNO)، المنشورة في ICLR 2021، التكامل الالتفافي باعتباره التفافًا في فضاء الترددات: يحوّل تحويل فورييه السريع (FFT) كل قناة إلى أنماط فورييه، وتمزج مصفوفات مركبة متعلّمة القنوات في الأنماط الأدنى وتُسقط بقية الأنماط، ثم يعيد تحويل فورييه العكسي النتائج إلى الشبكة. وتعتمد كل نقطة في المخرج على المدخل كله، أي على مجال استقبال شامل في طبقة واحدة.

لا يتطلب المسار الطيفي سوى بضعة أسطر من PyTorch. هنا، تعالج مجموعة واحدة من الأوزان دوال الإدخال الأربع نفسها بعد أخذ عينات عند 64 نقطة وعند 256 نقطة:

import torch

torch.manual_seed(0)
channels, modes = 4, 8
# Learned complex weights act on the 8 lowest Fourier modes, whatever the grid size
weights = torch.randn(channels, channels, modes, dtype=torch.cfloat) / channels

for points in (64, 256):
    x = torch.arange(points) / points  # the same periodic domain [0, 1), sampled coarsely or finely
    field = torch.stack([torch.sin(2 * torch.pi * k * x) + x * (1 - x) for k in range(1, channels + 1)])
    spectrum = torch.fft.rfft(field)  # one row of Fourier coefficients per channel
    mixed = torch.zeros(channels, points // 2 + 1, dtype=torch.cfloat)
    mixed[:, :modes] = torch.einsum("im,iom->om", spectrum[:, :modes], weights)
    output = torch.fft.irfft(mixed, n=points)  # back to the grid the input came from
    print(f"{points} points: output shape {tuple(output.shape)}, u(0.25) = {output[0, points // 4]:.4f}")

يطبع المثال مخرجًا بالشكل (4, 64) وقيمة u(0.25) = -1.0908، وآخر بالشكل (4, 256) وقيمة u(0.25) = -1.0909. ولا تتغير الأوزان المركبة البالغ عددها 128، وتتطابق المخرجات عند النقطة الفيزيائية نفسها حتى ثلاث منازل عشرية، لأن الطبقة تعمل على أنماط فورييه للدالة الأساسية لا على نقاط الشبكة. وقد أفادت ورقة FNO بأن التنبؤات بشأن تدفق Navier-Stokes المضطرب ومعادلة Burgers وتدفق Darcy أسرع بما يصل إلى ثلاثة أضعاف رتبية من محلّلات المعادلات التفاضلية الجزئية التقليدية.

معماريات أخرى#

يستند DeepONet، المنشور في Nature Machine Intelligence عام 2021، إلى مبرهنة التقريب الشامل للمشغّلات التي وضعها Tianping Chen وHong Chen عام 1995: ترمّز شبكة الفرع دالة الإدخال اعتمادًا على القيم عند مواقع مستشعرات ثابتة، وترمّز شبكة الجذع الإحداثي المراد حساب المخرج عنده، ويعطي الجداء النقطي بين الشبكتين قيمة المخرج عند ذلك الإحداثي. وتستعير المشغّلات العصبية البيانية آلية تمرير الرسائل من الشبكات العصبية البيانية (GNNs) للتعامل مع الشبكات غير المنتظمة حول الأشكال الهندسية المعقدة. وتتعامل محوّلات المشغّلات مع النقاط المأخوذة منها عينات أو رقع المجال بوصفها رموزًا. بعد تدريبه مسبقًا على ديناميكيات الموائع، يعمل Poseidon، الذي طورته ETH Zurich عام 2024، بوصفه نموذجًا تأسيسيًا للمعادلات التفاضلية الجزئية (PDEs)، ثم ضُبط ضبطًا دقيقًا على 15 مهمة لاحقة، بما فيها موضوعات فيزيائية لم ترد في بيانات تدريبه المسبق. وتنفّذ مكتبة neuraloperator المفتوحة المصدر FNO والعديد من هذه التنويعات.

التطبيقات#

تأتي بيانات التدريب من محلّلات تقليدية، لذا فإن كل زوج تدريبي عبارة عن بيانات اصطناعية تُدفع كلفة توليدها مرة واحدة، ثم يجيب المشغّل المدرّب بسرعة عن استعلامات كثيرة: مسوح التصميم لأشكال المقاطع الهوائية أو المفاعلات، ودراسات تكميم عدم اليقين التي تتطلب آلاف عمليات التشغيل، والتوائم الرقمية للآلات والمصانع التي يجب تحديثها بوتيرة أسرع من تنفيذ محاكاة كاملة. وتضيف المشغّلات العصبية المستنيرة بالفيزياء متبقي المعادلة التفاضلية الجزئية (PDE) إلى دالة الخسارة، لكي تظل التنبؤات متسقة مع المعادلات الحاكمة في المواضع التي تكون فيها بيانات التدريب شحيحة.

في التنبؤ بالطقس، يستند FourCastNet، الذي طورته NVIDIA ومتعاونون أكاديميون عام 2022، إلى مشغّل فورييه عصبي تكيّفي، وينتج تنبؤات عالمية بدقة 0.25°، مولّدًا تنبؤًا لأسبوع كامل في أقل من ثانيتين؛ أي أسرع بعدة مراتب من نظام التنبؤ المتكامل التابع لـ ECMWF، الذي يضاهيه في دقة التنبؤات قصيرة المدى للمتغيرات واسعة النطاق.