4D Gaussian Splatting

يُعد التنقيط الغاوسي رباعي الأبعاد تقنية متطورة للتصيير في الرؤية الحاسوبية والتعلم العميق، توسّع مبادئ التمثيل الصريح للمشاهد ثلاثية الأبعاد بإضافة بُعد زمني. وفي حين تلتقط النمذجة التقليدية ثلاثية الأبعاد البيئات الثابتة، يتيح التنقيط الغاوسي رباعي الأبعاد تصييرًا آنيًا وواقعيًا ضوئيًا للمشاهد الديناميكية المتحركة. ومن خلال نمذجة كيفية تشوّه الأجسام والبيئات وتغيّر مواقعها بمرور الوقت، تجسر هذه التقنية الفجوة بين الصور الثابتة وتوليد الفيديو الواقعي، وتوفر دقة بصرية غير مسبوقة بمعدلات إطارات مرتفعة.

تمييزه عن تقنيات التصيير ذات الصلة#

لفهم هذا المفهوم، من المفيد مقارنته بأساليب توليف المناظر الجديدة وثيقة الصلة. يمثّل التنقيط الغاوسي ثلاثي الأبعاد القياسي المشهد باستخدام ملايين التوزيعات الثابتة ذات الشكل الإهليلجي. أما الإصدار رباعي الأبعاد، فيضيف سمات تعتمد على الزمن، ما يتيح لهذه الإهليجات الحركة والدوران وتغيير الحجم عبر إطارات متعددة.

وعلاوة على ذلك، وعلى خلاف حقول الإشعاع العصبية (NeRF)، التي تعتمد على الشبكات العصبية العميقة لحساب الضوء واللون ضمنيًا لكل بكسل، يحسب التبقيع الغاوسي رباعي الأبعاد مواقع النقاط في المكان والزمان صراحةً. ويقلل هذا التصيير النقطي الصريح بدرجة كبيرة من العبء الحاسوبي المرتبط عادةً بـتصيير الرسوم الحاسوبية، ما يتيح تصيير المشاهد الديناميكية بسرعة أكبر بكثير.

آلية عمل التنقيط الغاوسي رباعي الأبعاد#

تعتمد البنية على دوال رياضية مستمرة لتتبّع حالة كل توزيع غاوسي في أي طابع زمني محدد. وأثناء عملية التحسين، تحدّث خوارزميات التعلّم الآلي الإحداثيات المكانية (X, Y, Z) وقيم الألوان إلى جانب حقل التشوه الزمني. وعادةً ما يبني الباحثون هذه النماذج باستخدام أطر مثل PyTorch أو TensorFlow، التي تتولى الانتشار العكسي اللازم لتدريب المعلمات الزمنية.

يقلل النظام الفرق بين المخرجات المصيّرة وتسلسل الفيديو المرجعي الحقيقي. وقد أظهرت إنجازات حديثة منشورة في أرشيفات أكاديمية مثل arXiv والمكتبة الرقمية لـ ACM أن فصل الخلفية الثابتة عن عناصر المقدمة الديناميكية يحسّن استقرار التدريب بدرجة كبيرة.

تطبيقات الذكاء الاصطناعي والتعلم الآلي في العالم الحقيقي#

• الواقع الافتراضي الغامر (VR): يُستخدم التنقيط الغاوسي رباعي الأبعاد على نطاق واسع لالتقاط الأداء البشري الديناميكي في الواقع الافتراضي والواقع المعزز. وبدلًا من الاعتماد على بدلات التقاط الحركة المعقدة، يستطيع المبدعون تصوير ممثل من زوايا متعددة وإنشاء فيديو للأداء قابل للتنقل بالكامل ومن نقطة مشاهدة حرة.
• المركبات الذاتية القيادة والروبوتات: تحتاج السيارات ذاتية القيادة إلى فهم متين لبيئتها. ومن خلال إعادة بناء مشاهد الشوارع الديناميكية، بما فيها المشاة المتحركون وحركة المرور، يستطيع المهندسون إنشاء محاكاة واقعية للغاية لاختبار نماذج الملاحة الذاتية بأمان قبل نشرها في العالم الحقيقي.

إعداد البيانات لإعادة البناء رباعي الأبعاد#

تتمثل خطوة أساسية في إنشاء مشاهد رباعية الأبعاد عالية الجودة في عزل الأجسام المتحركة عن الخلفية الثابتة. وغالبًا ما يستخدم المطورون تتبّع الأجسام وتجزئة العناصر لإنشاء أقنعة ديناميكية قبل بدء عملية التنقيط.

يمكنك تتبّع الأجسام المتحركة في فيديو وإنشاء أقنعة لكل إطار باستخدام نموذج تقسيم من Ultralytics YOLO26. يوضح الكود التالي خطوة المعالجة المسبقة هذه:

from ultralytics import YOLO

# ⁨حمّل نموذجًا لتقسيم المثيلات من YOLO26⁩
model = YOLO("yolo26n-seg.pt")

# ⁨تتبّع الأجسام المتحركة في فيديو لمشهد ديناميكي، وأنشئ قناعًا لكل جسم في كل إطار⁩
results = model.track(source="dynamic_scene.mp4", show=True, save=True)

يمكن للفرق تحميل مقاطع الفيديو المسجلة والتعليقات التوضيحية إلى منصة Ultralytics لإدارة مجموعات البيانات وتدريب نماذج مخصصة. ويسهم تطبيق نصائح تدريب النماذج بعد ذلك في تحسين دقة فصل الأقنعة الناتجة للعناصر الديناميكية عن الخلفية الثابتة قبل إنشاء المشهد رباعي الأبعاد.