Gaussian Splatting

التنقيط الغاوسي، ويُسمى أيضًا التنقيط الغاوسي ثلاثي الأبعاد (3DGS)، تقنية لإعادة بناء مشهد ثلاثي الأبعاد واقعي فوتوغرافيًا من صور عادية وعرض مناظير جديدة له في الوقت الفعلي. وتمثل المشهد بملايين الغاوسيات ثلاثية الأبعاد، وهي مجسمات إهليلجية ناعمة لكل منها موضع وشكل وعتامة ولون يعتمد على زاوية الرؤية، وترسم صورة بإسقاطها («تنقيطها») على الشاشة ومزجها. وقد قُدمت التقنية في SIGGRAPH 2023 ضمن التنقيط الغاوسي ثلاثي الأبعاد لعرض حقول الإشعاع في الزمن الحقيقي، وحققت جودة صور تضاهي أفضل حقول الإشعاع العصبي (NeRF) مع العرض بمعدل 30 إطارًا في الثانية أو أكثر بدقة 1080p، وهو إنجاز لم تحققه أي طريقة سابقة على مشاهد كبيرة غير محدودة. وهي طريقة لـتوليف مناظير جديدة وإعادة البناء ثلاثي الأبعاد.

آلية عمل التنقيط الغاوسي#

يخزن كل غاوسي 59 قيمة قابلة للتعلم: موضعًا ثلاثي الأبعاد، ومقياسًا ثلاثي الأبعاد، ورباعي دوران من 4 أرقام تحدد مجتمعةً مصفوفة التغاير (شكله واتجاهه)، وعتامة، و48 معاملًا من التوافقيات الكروية، بواقع 16 لكل قناة لونية، تتيح للونه التغير حسب اتجاه الرؤية لالتقاط الانعكاسات واللمعان. يبدأ التدريب من سحابة النقاط المتناثرة التي ينتجها البناء من الحركة (SfM) أثناء معايرة الكاميرات، مع وضع غاوسي واحد عند كل نقطة. وفي كل تكرار، يُعرض منظور تدريبي واحد، ويُقارن بالصورة الحقيقية باستخدام مزيج موزون من خسائر L1 وD-SSIM، ثم يُحدّث كل غاوسي عبر الانحدار المتدرج باستخدام المُصيّر القابل للاشتقاق. وكل 100 تكرار، تستنسخ آلية التحكم التكيفي في الكثافة الغاوسيات الصغيرة في المناطق ناقصة إعادة البناء، وتقسم الغاوسيات الكبيرة التي تغطي تفاصيل أكثر مما ينبغي، وتحذف الغاوسيات شبه الشفافة، لتنمو المشاهد في الورقة إلى ما بين مليون و5 ملايين غاوسي.

لرسم إطار، يُسقط المُصيّر كل غاوسي ثلاثي الأبعاد على هيئة قطع ناقص ثنائي الأبعاد في مستوى الصورة، ويقسم الشاشة إلى مربعات بحجم 16×16 بكسل، ويرتب الغاوسيات المتداخلة مع كل مربع حسب العمق باستخدام عملية فرز واحدة بأسلوب radix على GPU، ثم يمزج ألفا من الأمام إلى الخلف لكل بكسل. وبما أن المشهد قائمة صريحة من العناصر الأولية، يعمل العرض مثل أداة التنقيط في محرك ألعاب ولا يقيّم أي شبكة عصبية لكل بكسل.

التنقيط الغاوسي مقارنةً بـ NeRF والشبكات المجسمة#

يخزن NeRF المشهد ضمنيًا في أوزان شبكة عصبية، ويعرضه من خلال الاستعلام من الشبكة عند نقاط كثيرة على امتداد كل شعاع للكاميرا. أما التنقيط الغاوسي فيخزن المشهد صراحةً، لذا يقتصر العرض على الفرز والمزج. في الورقة الأصلية، بلغ متوسط زمن تدريب Mip-NeRF360 على الأجهزة نفسها 48 ساعة، واستغرق عرض الإطار نحو 10 ثوانٍ؛ بينما حققت الغاوسيات التنقيطية المدربة بالكامل جودة مماثلة أو أعلى قليلًا بعد تدريب استغرق 35–45 دقيقة، مع العرض في الوقت الفعلي. ويكلف التمثيل الصريح ذاكرةً: فالمشهد المكوّن من 3 ملايين غاوسي، مع 59 قيمة لكل غاوسي، يشغل نحو 700 MB من أعداد الفاصلة العائمة ذات 32 بت، وقد تجاوزت ذاكرة GPU القصوى أثناء تدريب المشاهد الكبيرة 20 GB في التنفيذ الأصلي. كما تفتقر الغاوسيات التنقيطية إلى سطح محدد، لذا لا تزال التطبيقات التي تحتاج إلى هندسة التصادم أو تعديلات بأسلوب CAD تحوّلها إلى شبكات مجسمة باستخدام طرق لاحقة، وتتطلب المشاهد المتحركة امتدادات مثل التنقيط الغاوسي رباعي الأبعاد.

جمع البيانات للتنقيط الغاوسي#

تتألف عملية الالتقاط من مجموعة صور متداخلة أو إطارات فيديو تُلتقط أثناء التحرك حول مشهد ثابت. يظهر أي شيء يتحرك أثناء الالتقاط، مثل أحد المارة أو سيارة، في بعض الإطارات دون غيرها، وتحاول عملية التحسين تمثيله باستخدام شوائب شبه شفافة تُعرف بالعناصر الطافية. لذلك تقبل مسارات التدريب أقنعة تستبعد الأجسام المتحركة، ويستخدم تنسيق بيانات Nerfstudio أقنعة بالأبيض والأسود، حيث يشير الأسود إلى وحدات البكسل المطلوب تجاهلها. وتنشئ نماذج تجزئة الكائنات الفردية في YOLO26 هذه الأقنعة تلقائيًا عبر تجزئة كل شخص في كل إطار.

import cv2
from ultralytics import YOLO

# ⁨حمّل نموذجًا لتقسيم المثيلات من YOLO26⁩
model = YOLO("yolo26n-seg.pt")

# ⁨جزّئ الأشخاص فقط (فئة COCO رقم 0)، فهم مصدر شائع للعناصر الطافية في عملية الالتقاط⁩
results = model("https://ultralytics.com/images/bus.jpg", classes=[0], retina_masks=True)
result = results[0]

# ⁨يشير الأبيض إلى المشهد الثابت المستخدم في التدريب، والأسود إلى الأشخاص المطلوب تجاهلهم⁩
people = result.masks.data.sum(dim=0) > 0
keep_mask = (~people).cpu().numpy().astype("uint8") * 255
cv2.imwrite("bus_mask.png", keep_mask)

يحتفظ bus_mask.png بالدقة الكاملة للصورة لأن retina_masks=True يعيد الأقنعة بحجم الصورة الأصلي، ويظهر كل شخص في الإطار باللون الأسود.

التطبيقات#

• العقارات والجولات الافتراضية: يتحول تصوير منزل أو متحف أو موقع تراثي بهاتف أو طائرة مسيّرة إلى مشهد يمكن للزوار استكشافه بحرية في متصفح أو عبر خوذة واقع افتراضي، مع الحفاظ على الانعكاسات على الأرضيات والنوافذ.
• المؤثرات البصرية والإنتاج الافتراضي: تلتقط فرق الأفلام والألعاب المواقع الحقيقية على هيئة غاوسيات تنقيطية، وتستخدمها كخلفيات واقعية فوتوغرافيًا ومراجع للمواقع.
• التوائم الرقمية ورسم الخرائط: تبث المنصات الجغرافية المكانية عمليات إعادة بناء تنقيطية واسعة النطاق للمدن ومواقع البناء والبنية التحتية، إلى جانب البلاطات ثلاثية الأبعاد التقليدية.
• محاكاة القيادة والروبوتات: تتيح عمليات إعادة بناء رحلات القيادة الحقيقية لفرق المركبات ذاتية القيادة إعادة عرض المشاهد المسجلة من مواضع كاميرا جديدة لاختبار نماذج الإدراك.

توفر المكتبات مفتوحة المصدر مثل gsplat أدوات تنقيط CUDA لتدريب الغاوسيات التنقيطية، كما صدّقت مجموعة Khronos على KHR_gaussian_splatting، وهو امتداد لـ glTF 2.0 لتخزين الغاوسيات التنقيطية، طُوّر بمساهمة من Cesium وEsri وNiantic Spatial وNVIDIA وHuawei وAutodesk.