Implicit Neural Representations (INRs)

تخزّن التمثيلات العصبية الضمنية (INRs) الإشارة على هيئة دالة مستمرة تتعلمها شبكة عصبية، وتكون هذه الشبكة عادةً شبكة إدراك متعددة الطبقات (MLP) صغيرة تحوّل الإحداثيات إلى قيم. تصبح الصورة دالةً تربط موضع البكسل (x, y) بلون، والشكل ثلاثي الأبعاد دالةً تربط نقطةً (x, y, z) بالمسافة الموقّعة عن السطح، والمشهد دالةً تربط نقطةً واتجاه الرؤية باللون والكثافة. أوزان الشبكة هي التمثيل: فلا توجد شبكة من البكسلات أو الفوكسلات، لذا يمكن الاستعلام عن الإشارة عند أي إحداثية، ولا يزداد حجم الذاكرة اللازمة لتمثيل الإشارة مع زيادة دقة المخرجات، كما تتاح مشتقاتها مجانًا عبر التفاضل التلقائي. وتُعرف التمثيلات العصبية الضمنية (INRs) أيضًا باسم الشبكات القائمة على الإحداثيات أو الحقول العصبية، وهي تشكّل أساس حقول الإشعاع العصبية وكثيرٍ من إعادة البناء ثلاثي الأبعاد الحديثة.

كيف تعمل تمثيلات العصبونات الضمنية#

يُواءم نموذج INR مع إشارة واحدة في كل مرة. يأخذ التدريب عينات من الإحداثيات، ويقارن مخرجات الشبكة بالقيم الحقيقية عند تلك الإحداثيات، ويحدّث الأوزان باستخدام الانحدار المتدرج، لذا يكون الملاءمة فرطًا في التكيّف عن قصد: فالهدف هو حفظ هذه الإشارة. تواجه شبكة MLP عادية ذات تنشيطات ReLU صعوبةً، لأن الشبكات تتعلم الترددات المنخفضة أسرع بكثير من الترددات العالية، وهو أثر سمّاه نسيم رحمن وزملاؤه انحياز الطيف عام 2019. وعند تزويد الشبكة بإحداثيات خام، تنتج نسخة ضبابية من الإشارة. جعل حلّان INRs عمليةً في عام 2020: تحويل الإحداثيات باستخدام الجيب وجيب التمام عند ترددات كثيرة، أي ميزات فورييه التي وضعها ماثيو تانسيك وزملاؤه والترميز الموضعي في NeRF، واستبدال ReLU بدالة تنشيط جيبية كما في SIREN الذي وضعه فنسنت زيتسمان وزملاؤه.

يوائم مثال PyTorch هذا شبكة MLP نفسها مع صورة مرتين، مرة باستخدام الإحداثيات الخام ومرة باستخدام ميزات فورييه:

import torch
from skimage import data, transform
from torch import nn

torch.manual_seed(0)

# The signal: a 128 x 128 grayscale photo, and the (x, y) coordinate of every pixel in [-1, 1]
image = torch.tensor(transform.resize(data.camera(), (128, 128)), dtype=torch.float32).reshape(-1, 1)
grid = torch.linspace(-1, 1, 128)
coords = torch.stack(torch.meshgrid(grid, grid, indexing="ij"), dim=-1).reshape(-1, 2)

# Fourier features: sines and cosines of the coordinates at 128 random frequencies
proj = torch.pi * coords @ (10 * torch.randn(2, 128))
inputs = {"Raw coordinates": coords, "Fourier features": torch.cat([proj.sin(), proj.cos()], dim=-1)}

for name, x in inputs.items():
    # The INR: a small MLP from coordinate to gray value, fit to this one image
    mlp = nn.Sequential(nn.Linear(x.shape[1], 256), nn.ReLU(), nn.Linear(256, 256), nn.ReLU(), nn.Linear(256, 1))
    optimizer = torch.optim.Adam(mlp.parameters(), lr=1e-3)
    for _ in range(1000):
        loss = (mlp(x) - image).pow(2).mean()
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
    print(f"{name}: PSNR {-10 * torch.log10(loss).item():.1f} dB")

بعد 1,000 خطوة، تحقق شبكة الإحداثيات الخام نسبة إشارة إلى ضجيج قصوى تبلغ 22.0 dB، أي صورة ضبابية، بينما تحقق شبكة ميزات فورييه 46.0 dB، أي نسخة شبه مطابقة تمامًا. يُضبط مقياس التردد، وقيمته هنا 10، لكل إشارة: فإذا كان منخفضًا جدًا ظلت الملاءمة ضبابية، وإذا كان مرتفعًا جدًا حفظت الشبكة العينات مع قيم مشوشة فيما بينها. يرمّز نموذج التجزئة الشامل من Meta، الذي يعمل ضمن حزمة Ultralytics، إحداثيات مطالبات النقاط والصناديق بميزات فورييه الغاوسية العشوائية نفسها قبل وصولها إلى مفكّك الأقنعة.

الأشكال والمشاهد والسرعة#

ظهرت INRs للأشكال ثلاثية الأبعاد في عام 2019، حين توقّع DeepSDF المسافة الموقّعة وتوقعت Occupancy Networks احتمال كون أي نقطة ثلاثية الأبعاد داخل الشكل أو خارجه، ما أتاح استخراج شبكة مجسمة بأي دقة. ثم ظهر NeRF في عام 2020، رابطًا الموقع واتجاه المشاهدة باللون والكثافة من أجل توليف مناظر جديدة. أما شبكات MLP الخالصة فبطيئة التدريب والاستعلام، لذلك تخزّن التصاميم الهجينة الميزات المتعلّمة في شبكة وتفك ترميزها باستخدام شبكة MLP صغيرة. يستخدم Instant-NGP، الذي وضعه توماس مولر وزملاؤه في NVIDIA، جدول تجزئة متعدد الدقة للميزات، ويُوائم NeRF في ثوانٍ بدلًا من ساعات.

تختلف INRs عن التمثيلات الصريحة مثل شبكات البكسلات والفوكسلات والشبكات المجسمة والسحب النقطية، التي تخزّن القيم مباشرةً ويزداد حجمها مع الدقة، مكعّبًا في حالة الفوكسلات. يُعد التصيير بالتنقيط الغاوسي بديلًا صريحًا حديثًا لـNeRF، وهو أسرع في التصيير لأنه ينقّط ملايين الغاوسيات ثلاثية الأبعاد. ولأن INR أساسيًا يُواءم مع إشارة واحدة، يتطلب التعميم على إشارات كثيرة آليات إضافية: شبكات فائقة تنتج أوزان INR انطلاقًا من رمز كامن، أو تعلّمًا فوقيًا لتهيئة تلائم إشارة جديدة في خطوات قليلة.

تطبيقات عملية#

• التصوير الطبي: تعيد INRs بناء أحجام التصوير المقطعي المحوسب والرنين المغناطيسي من قياسات متناثرة أو ناقصة العينات، إذ تملأ الدالة المستمرة الفجوات بين العينات المأخوذة بحجم سلس ومتوافق مع البيانات.
• الدقة الفائقة: تتنبأ دوال الصور الضمنية المحلية مثل LIIF بلون عند أي إحداثي مستمر انطلاقًا من الميزات المجاورة، لذا يرفع نموذج واحد دقة الصور بعوامل تكبير اعتباطية.
• إنشاء المحتوى ثلاثي الأبعاد: غالبًا ما تحسّن مولدات تحويل النص إلى ثلاثي الأبعاد وتحويل الصورة إلى ثلاثي الأبعاد الحقول العصبية أو تتنبأ بها، ثم تحوّلها إلى شبكات مجسمة للألعاب والمؤثرات البصرية.
• الضغط: يخزّن COIN، الذي وضعه إيميليان دوبون وزملاؤه في عام 2021، صورةً على هيئة أوزان مكمّمة لشبكة MLP صغيرة، ويتفوق على JPEG عند معدلات البت المنخفضة.