3D Reconstruction

إعادة البناء ثلاثي الأبعاد هي عملية إنشاء تمثيل رقمي ثلاثي الأبعاد لعنصر أو بيئة من قياسات مرئية أو قياسات للعمق. في رؤية الكمبيوتر، يقوم بتحويل الملاحظات مثل الصور الفوتوغرافية، أو إطارات الفيديو، أو الصور المجسمة، أو مسحات LiDAR إلى هندسة تصف مكان وجود الأسطح في الفضاء ثلاثي الأبعاد. قد تكون النتيجة مجموعة متفرقة من المعالم، أو سحابة نقاط كثيفة، أو شبكة مضلعة، أو نموذجاً مكسواً بالملمس يمكن قياسه وعرضه وتحليله.

كيف تعمل إعادة البناء ثلاثي الأبعاد#

تجمع خط أنابيب إعادة البناء النموذجي بين الهندسة، ومعالجة الصور، والتعلم الآلي:

1. التقاط: تلاحظ الكاميرات أو مستشعرات العمق الموضوع من وجهة نظر واحدة أو أكثر. يجب أن تتداخل الصور المتعددة بحيث تظهر نفس الأسطح في عدة إطارات.
2. ال معايرة: يقدر النظام العوامل الداخلية للكاميرا، مثل الطول البؤري والمركز البصري، ويصحح تشوه العدسة. يشرح البرنامج التعليمي الرسمي لمعايرة كاميرا OpenCV هذه المعلمات.
3. التوافق: تتم مطابقة البكسلات المميزة أو الميزات المتعلمة عبر الصور. يشير التوافق إلى أن بكسلتين تصوران نفس النقطة الفيزيائية.
4. تقدير وضع الكاميرا: يتم استعادة الموضع النسبي والاتجاه لكل كاميرا.
5. استعادة العمق: مع هندسة الكاميرا المعروفة، يمكن تثليث الملاحظات المتطابقة في إحداثيات ثلاثية الأبعاد. تستخدم الأدوات المستندة إلى الصور عادة سير عمل هيكل الحركة وستريو متعدد وجهات النظر، بينما تحصل أنظمة RGB-D على العمق مباشرة أو تقدره.
6. التسجيل والدمج: يتم تحويل سحب النقاط الجزئية إلى نظام إحداثيات مشترك. يوضح تسجيل سحابة النقاط Open3D كيف يمكن محاذاة عمليات المسح المتداخلة.
7. إنشاء السطح: يمكن ربط النقاط أو تركيبها في شبكة مثلثات باستخدام عملية إعادة بناء السطح، يليه تعيين الملمس والتنظيف. (docs.opencv.org)

التمثيلات والمفاهيم ذات الصلة#

تخزن سحابة النقاط نقاطاً ثلاثية الأبعاد فردية، غالباً مع قيم اللون أو الثقة. تربط الشبكة الرؤوس بحواف وجوه مثلثية، مما ينتج عنه أسطح مستمرة. يقسم شبكة الفوكسل الفضاء إلى خلايا ثلاثية الأبعاد صغيرة، بينما يشفر التمثيل الضمني الهندسة داخل دالة متعلمة.

تتداخل إعادة البناء ثلاثي الأبعاد مع العديد من المفاهيم ذات الصلة ولكن لها هدف مختلف:

• يتوقع تقدير العمق المسافة من الكاميرا لبكسلات الصورة. غالباً ما تكون خريطة العمق مدخلات لإعادة البناء، لكن خريطة واحدة لا توفر تلقائياً نموذجاً كاملاً للأوسطح المخفية.
• يستنتج الرؤية المجسمة العمق من كاميرتين بفصل معروف. يمكن لإعادة البناء استخدام عمق ستريو ولكن يمكنها أيضاً استخدام العديد من الكاميرات، أو الفيديو، أو المستشعرات النشطة.
• يقدر Visual SLAM حركة الكاميرا أثناء بناء خريطة، عادة للملاحة في الوقت الفعلي. تعطي إعادة البناء الأولوية بشكل عام لجودة واكتمال الهندسة الناتجة.
• تمثل مجالات الإشعاع العصبي وتشتت غاوسي المشاهد للعرض الواقعي الضوئي ووجهات النظر الجديدة. مخرجاتها ليست بالضرورة شبكة صريحة وجاهزة للقياس.
• تحدد اكتشاف الكائنات ثلاثية الأبعاد وتصنف الكائنات داخل الفضاء ثلاثي الأبعاد بدلاً من إعادة إنشاء جميع الأسطح المرئية.

تطبيقات العالم الحقيقي#

• الفحص الروبوتي والتصنيع: يمكن للروبوت إعادة بناء مكون من صور RGB-D، ومقارنة هندسته بالتصميم المتوقع، وتحديد الانكماشات، أو المواد المفقودة، أو التجميع غير الصحيح. يمكن للنموذج الناتج أيضاً تحديث توأم رقمي للتصنيع، مما يدعم القياس، والمحاكاة، وتخطيط الصيانة، ومراقبة الجودة.

• الواقع المعزز ورسم الخائط الداخلي: يمكن لجهاز محمول إعادة بناء الجدران، والأرضيات، والأثاث، والأسطح الأخرى بحيث يتفاعل المحتوى الافتراضي بشكل صحيح مع الغرفة الفيزيائية. على سبيل المثال، يقوم إعادة بناء مشهد ARKit بإنشاء شبكات مضلعة تدعم الإخفاء الواقعي، والتصادمات، ووضع الكائنات. يمكن بعد ذلك تسليم النماذج بتنسيقات مثل تنسيق أصل glTF ثلاثي الأبعاد القياسي. (nist.gov)

تقدير العمق باستخدام Ultralytics YOLO#

يمكن لـ تقدير عمق Ultralytics YOLO26 توفير خريطة عمق متري كثيفة من صورة RGB واحدة. هذا مكون مفيد لرسم خائط RGB-D، وهندسة العقبات، وتوليد سحابة النقاط عندما يكون مستشعر العمق المخصص غير متوفر.

from ultralytics import YOLO

# Load a pretrained monocular depth model.
model = YOLO("yolo26n-depth.pt")

# Estimate per-pixel depth from one RGB image.
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Save the depth visualization.
result.save(filename="depth_result.jpg")

تنتج هذه العملية عمقاً متوافقاً مع الصورة؛ فهي لا تعيد بناء مشهد ثلاثي الأبعاد كامل بشكل مستقل. يحتاج الخط الأنابيب الكامل أيضاً إلى معلمات كاميرا معايرة، ولعدة إطارات، أوضاع كاميرا موثوقة. يوضح سير عمل صورة Open3D RGB-D كيف يمكن للألوان المتوافقة، والعمق، وعوامل الكاميرا الداخلية توليد سحابة نقاط. يمكن للفرق التي تطور مكونات الرؤية المخصصة استخدام منصة Ultralytics لتجميع مجموعات البيانات، وتدريب النماذج، ونشرها، ومراقبة استدلال الإنتاج.

التحديات العملية والتوجيه#

تعتمد جودة إعادة البناء بقوة على ظروف الالتقاط. استخدم وجهات نظر ذات تداخل عالٍ، وتحرك حول الموضوع بدلاً من تدوير الكاميرا وحدها، وحافظ على إضاءة متسقة بشكل معقول. يمكن للجدران الخالية من الملمس، أو الكائنات الشفافة أو العاكسة، أو ضبابية الحركة، أو الانسداد، أو الإضاءة المتغيرة أن تعطل مطابقة الميزات أو تنتج ثقوباً وأسطحاً مكررة.

تشوه أخطاء المعايرة المقياس والشكل، بينما تتسبب أوضاع الكاميرا غير الدقيقة في انحراف عمليات المسح عن بعضها البعض. المدخلات أحادية العين لها أيضاً مقياس متأصل وغموض في الأسطح المخفية: لا يمكن للصورة الواحدة الكشف عن ظهر الكائن بدون افتراضات متعلمة. تحقق من صحة إعادة البناء باستخدام الأبعاد المعروفة، وخطأ إعادة الإسقاط، وتداخل المسح، والتفاوتات الخاصة بالتطبيق بدلاً من الحكم على المظهر وحدها.