Neural Radiance Fields (NeRF)
استكشف كيف تقوم حقول الإشعاع العصبي (NeRF) بتوليف مشاهد ثلاثية الأبعاد من صور ثنائية الأبعاد. تعلم كيفية تحسين تدريب NeRF باستخدام Ultralytics YOLO26 لتقسيم دقيق.
تمثل حقول الإشعاع العصبي (NeRF) تقدماً رائداً في الرؤية الحاسوبية (CV) والذكاء الاصطناعي التوليدي، وهي مصممة لتركيب مشاهد ثلاثية الأبعاد واقعية من مجموعة محدودة من الصور ثنائية الأبعاد. على عكس طرق النمذجة ثلاثية الأبعاد التقليدية التي تعتمد على هياكل هندسية صريحة مثل المضلعات أو الشبكات أو سحب النقاط، تستخدم تقنية NeRF شبكة عصبية (NN) لتعلم تمثيل "ضمني" للمشهد. ومن خلال تعيين الإحداثيات المكانية واتجاهات الرؤية إلى قيم اللون والكثافة، يمكن لـ NeRF عرض وجهات نظر جديدة بدقة فائقة، والتقاط التأثيرات البصرية المعقدة بدقة مثل الانعكاسات والشفافية والإضاءة المتغيرة التي غالباً ما يصعب إعادة إنتاجها باستخدام المساحة التصويرية القياسية.
Link to this sectionكيف تعمل حقول الإشعاع العصبي#
في جوهرها، تصمم تقنية NeRF المشهد كدالة حجمية مستمرة. عادةً ما يتم تحديد هذه الدالة بواسطة شبكة تعلم عميق (DL) متصلة بالكامل. تبدأ العملية بـ تتبع الأشعة (ray marching)، حيث يتم إطلاق الأشعة من كاميرا افتراضية عبر كل بكسل من مستوي الصورة المطلوب إلى الفضاء ثلاثي الأبعاد.
بالنسبة للنقاط التي يتم أخذ عينات منها على طول كل شعاع، تأخذ الشبكة مدخلاً خماسي الأبعاد (5D)—يشتمل على الموقع المكاني ثلاثي الأبعاد ($x, y, z$) واتجاه الرؤية ثنائي الأبعاد ($\theta, \phi$)—وتخرج اللون المنبعث وكثافة الحجم (العتامة) في تلك النقطة. باستخدام تقنيات متجذرة في العرض الحجمي، يتم تجميع هذه القيم التي تم أخذ عينات منها لحساب اللون النهائي للبكسل. يتم تدريب الشبكة من خلال تقليل الفرق بين البكسلات المعروضة والبكسلات الفعلية من بيانات التدريب الأصلية، مما يعمل بفعالية على تحسين أوزان النموذج لحفظ الخصائص البصرية للمشهد.
Link to this sectionتطبيقات العالم الحقيقي#
انتقلت تكنولوجيا NeRF بسرعة من البحث الأكاديمي إلى الأدوات العملية، مما أثر على مختلف الصناعات من خلال سد الفجوة بين التصوير الفوتوغرافي الثابت والبيئات التفاعلية ثلاثية الأبعاد.
- التجارة الإلكترونية الغامرة: يستفيد تجار التجزئة من NeRFs لإنشاء عروض توضيحية تفاعلية للمنتجات. من خلال معالجة بضع صور لمنتج ما، يمكن لحلول الذكاء الاصطناعي في التجزئة إنشاء تمثيل ثلاثي الأبعاد يمكن للعملاء مشاهدته من أي زاوية، مما يوفر تجربة أكثر ثراءً من الصور الثابتة.
- الإنتاج الافتراضي والمؤثرات البصرية (VFX): تستخدم صناعة الأفلام تقنية NeRFs لالتقاط المواقع الواقعية وعرضها كخلفيات واقعية للـ الإنتاج الافتراضي. وهذا يسمح لصناع الأفلام بوضع الممثلين في بيئات رقمية تتفاعل بشكل واقعي مع حركات الكاميرا، مما يقلل الحاجة إلى التصوير المكلف في الموقع.
- محاكاة الروبوتات: يتطلب تدريب المركبات ذاتية القيادة والطائرات بدون طيار كميات هائلة من البيانات. يمكن لـ NeRFs إعادة بناء بيئات واقعية معقدة من بيانات المستشعرات، مما يخلق ساحات محاكاة عالية الدقة حيث يمكن اختبار خوارزميات الروبوتات بأمان وبشكل مكثف.
Link to this sectionالتمييز عن المفاهيم ذات الصلة#
من المفيد التمييز بين NeRF وتقنيات الرؤية والأبعاد الثلاثية الأخرى لفهم فائدتها المحددة.
- NeRF مقابل المساحة التصويرية: تقوم المساحة التصويرية بإعادة بناء هندسة السطح (الشبكات) بشكل صريح عن طريق مطابقة الميزات عبر الصور. وفي حين أنها فعالة للأسطح البسيطة، إلا أنها غالباً ما تواجه صعوبة مع التأثيرات "غير اللامبرتية" مثل الأسطح اللامعة، أو الهياكل الرقيقة (مثل الشعر)، أو الشفافية. تتفوق NeRFs في هذه المجالات لأنها تقوم بنمذجة الحجم وانتقال الضوء بشكل مباشر.
- NeRF مقابل اكتشاف الأجسام ثلاثي الأبعاد: بينما تولد NeRF بيانات بصرية، يركز اكتشاف الأجسام ثلاثي الأبعاد على فهم محتوى المشهد. تحدد نماذج الاكتشاف الأجسام وتحدد موقعها باستخدام صناديق التحديد، بينما تهتم NeRFs بعرض مظهر المشهد.
- NeRF مقابل تقدير العمق: يتنبأ تقدير العمق بمسافة البكسلات عن الكاميرا، مما ينتج عنه خريطة عمق. تتعلم NeRFs الهندسة ضمنياً لعرض الصور، لكن مخرجاتها الأساسية هي العرض المركب بدلاً من خريطة عمق صريحة.
Link to this sectionدمج NeRF في خطوط أنابيب الرؤية#
غالباً ما يتطلب تدريب NeRF عالي الجودة بيانات نظيفة. يمكن أن يتسبب ضجيج الخلفية أو الأجسام المتحركة في حدوث "تأثيرات شبحية" (ghosting) في العرض النهائي. للتخفيف من ذلك، يستخدم المطورون غالباً نماذج تجزئة المثيلات لإخفاء موضوع الاهتمام تلقائياً قبل تدريب NeRF.
تسمح منصة Ultralytics وواجهة برمجة تطبيقات Python بدمج سلس للتجزئة في سير عمل المعالجة المسبقة هذا. يوضح المثال التالي كيفية استخدام YOLO26 لإنشاء أقنعة لمجموعة من الصور، وإعدادها لإعادة البناء ثلاثي الأبعاد.
from ultralytics import YOLO
# Load the YOLO26 segmentation model
model = YOLO("yolo26n-seg.pt")
# Run inference to detect and segment objects
# Saving results creates masks useful for NeRF preprocessing
results = model("scene_image.jpg", save=True)
# Access the binary masks for the detected objects
masks = results[0].masks.data
print(f"Generated {len(masks)} masks for NeRF training.")من خلال الجمع بين دقة التجزئة والقوة التوليدية لـ NeRFs، يمكن للمهندسين إنشاء خطوط أنابيب قوية لإنشاء بيانات اصطناعية، مما يتيح إنشاء عينات تدريب غير محدودة لمهام أخرى لاحقة.
