3D Reconstruction

3D rekonstrüksiyon, bir nesnenin veya ortamın görsel ya da derinlik ölçümlerinden dijital bir üç boyutlu temsilini oluşturma sürecidir. Bilgisayarlı görü alanında fotoğraflar, video kareleri, stereo görüntüler veya LiDAR taramaları gibi gözlemleri, yüzeylerin 3D uzayda nerede bulunduğunu açıklayan geometriye dönüştürür. Sonuç; seyrek bir dönüm noktası kümesi, yoğun bir nokta bulutu, çokgen bir kafes (mesh) veya ölçülebilir, işlenebilir (rendered) ve analiz edilebilir dokulu bir model olabilir.

3D Rekonstrüksiyon Nasıl Çalışır?#

Tipik bir rekonstrüksiyon işlem hattı (pipeline); geometri, görüntü işleme ve makine öğrenimini birleştirir:

1. Yakalama: Kameralar veya derinlik sensörleri konuyu bir veya daha fazla bakış açısıyla gözlemler. Aynı yüzeylerin birkaç karede görünmesi için birden fazla görüntü üst üste binmelidir.
2. Kalibrasyon: Sistem; odak uzaklığı ve optik merkez gibi kamera içsel parametrelerini (intrinsics) tahmin eder ve mercek bozulmasını düzeltir. Resmî OpenCV kamera kalibrasyonu eğitimi bu parametreleri açıklamaktadır.
3. Eşleme (Correspondence): Ayırt edici piksel veya öğrenilmiş özellikler görüntüler arasında eşleştirilir. Bir eşleme, iki pikselin aynı fiziksel noktayı tasvir ettiğini gösterir.
4. Kamera pozu tahmini: Her kameranın göreli konumu ve yönelimi elde edilir.
5. Derinlik kurtarma: Bilinen kamera geometrisiyle eşleştirilmiş gözlemler 3D koordinatlar halinde üçgenleştirilebilir. Görüntü tabanlı araçlar genellikle hareketten yapı ve çoklu görünüm stereo iş akışını kullanırken, RGB-D sistemleri derinliği doğrudan elde eder veya tahmin eder.
6. Kayıt ve birleştirme: Kısmi nokta bulutları ortak bir koordinat sistemine dönüştürülür. Open3D nokta bulutu kaydı, çakışan taramaların nasıl hizalanabileceğini gösterir.
7. Yüzey oluşturma: Noktalar bir yüzey rekonstrüksiyon süreci kullanılarak birleştirilebilir veya üçgen bir kafese (mesh) dönüştürülebilir, ardından doku eşleme (texture mapping) ve temizleme işlemleri yapılır. (docs.opencv.org)

Temsiller ve İlgili Kavramlar#

Bir nokta bulutu (point cloud), genellikle renk veya güven değerleriyle birlikte bireysel 3D noktaları depolar. Bir kafes (mesh) köşe noktalarını kenarlar ve üçgen yüzlerle birbirine bağlayarak sürekli yüzeyler üretir. Bir voksel ızgarası (voxel grid) uzayı küçük 3D hücrelere bölerken, örtük bir temsil (implicit representation) geometriyi öğrenilmiş bir işlev içinde kodlar.

3D rekonstrüksiyon, ilgili birkaç kavramla örtüşür ancak farklı bir hedefe sahiptir:

• Derinlik tahmini, görüntü pikselleri için kameradan olan mesafeyi tahmin eder. Bir derinlik haritası genellikle rekonstrüksiyona bir girdidir, ancak tek bir harita otomatik olarak gizli yüzeylerin eksiksiz bir modelini sağlamaz.
• Stereo görü, aralarındaki mesafe bilinen iki kameradan derinliği çıkarır. Rekonstrüksiyon stereo derinliği kullanabilir ancak birçok kamera, video veya aktif sensör de kullanabilir.
• Görsel SLAM, genellikle gerçek zamanlı navigasyon için bir harita oluştururken kamera hareketini tahmin eder. Rekonstrüksiyon ise genellikle ortaya çıkan geometrinin kalitesine ve eksiksizliğine öncelik verir.
• Sinirsel radyans alanları (NeRF) ve Gaussian splatting, fotogerçekçi işleme (rendering) ve yeni bakış açıları için sahneleri temsil eder. Çıktıları her zaman açık, ölçüme hazır bir kafes (mesh) olmak zorunda değildir.
• 3D nesne tespiti, tüm görünür yüzeyleri yeniden oluşturmak yerine nesneleri 3D uzayda konumlandırır ve sınıflandırır.

Gerçek Dünya Uygulamaları#

• Robotik denetim ve imalat: Bir robot, RGB-D görüntülerinden bir bileşeni yeniden oluşturabilir, geometrisini beklenen tasarımla karşılaştırabilir ve ezikleri, eksik malzemeyi veya yanlış montajı belirleyebilir. Elde edilen model ayrıca ölçümü, simülasyonu, bakım planlamasını ve kalite kontrolünü destekleyen bir üretim dijital ikizini güncelleyebilir.

• Artırılmış gerçeklik ve iç mekan haritalama: Bir mobil cihaz; sanal içeriğin fiziksel od خانeseyle doğru bir şekilde etkileşime girmesi için duvarları, zeminleri, mobilyaları ve diğer yüzeyleri yeniden oluşturabilir. Örneğin, ARKit sahnede rekonstrüksiyon, gerçekçi örtüşmeyi (occlusion), çarpışmaları ve nesne yerleştirmeyi destekleyen çokgen kafesler oluşturur. Modeller daha sonra standartlaştırılmış glTF 3D varlık formatı gibi formatlarda sunulabilir. (nist.gov)

Ultralytics YOLO ile Derinlik Tahmini#

Ultralytics YOLO26 derinlik tahmini, tek bir RGB görüntüsünden yoğun bir metrik derinlik haritası sağlayabilir. Bu, özel bir derinlik sensörünün bulunmadığı durumlarda RGB-D haritalama, engel geometrisi ve nokta bulutu oluşturma için yararlı bir bileşendir.

from ultralytics import YOLO

# Load a pretrained monocular depth model.
model = YOLO("yolo26n-depth.pt")

# Estimate per-pixel depth from one RGB image.
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Save the depth visualization.
result.save(filename="depth_result.jpg")

Bu iş akışı, görüntüyle hizalanmış derinlik üretir; bağımsız olarak eksiksiz bir 3D sahneyi yeniden oluşturmaz. Tam bir işlem hattı ayrıca kalibre edilmiş kamera parametrelerine ve çoklu kareler için güvenilir kamera pozlarına ihtiyaç duyar. Open3D RGB-D görüntü iş akışı, hizalanmış renk, derinlik ve kamera içsel parametrelerinin nasıl bir nokta bulutu oluşturabileceğini gösterir. Özel görü bileşenleri geliştiren ekipler, veri setlerini etiketlemek, modelleri eğitmek, bunları dağıtmak ve üretim çıkarımını izlemek için Ultralytics Platform kullanabilir.

Pratik Zorluklar ve Rehberlik#

Rekonstrüksiyon kalitesi büyük ölçüde yakalama koşullarına bağlıdır. Yüksek örtüşmeli görünümler kullan, kamerayı yalnızca döndürmek yerine konunun etrafında hareket et ve aydınlatmayı makul ölçüde tutarlı tut. Dokusuz duvarlar, şeffaf veya yansıtıcı nesneler, hareket bulanıklığı, örtüşme ve değişen aydınlatma, özellik eşleştirmesini bozabilir veya delikler ve mükerrer yüzeyler üretebilir.

Kalibrasyon hataları ölçeği ve şekli bozar; yanlış kamera pozları ise taramaların birbirinden uzaklaşmasına (drift) neden olur. Tek kameralı (monocular) girdiler ayrıca doğası gereği ölçek ve gizli yüzey belirsizliğine sahiptir: tek bir görüntü, öğrenilmiş varsayımlar olmadan bir nesnenin arkasını ortaya çıkaramaz. Rekonstrüksiyonları yalnızca görünüme göre değerlendirmek yerine bilinen boyutları, yeniden projeksiyon hatasını, tarama örtüşmesini ve uygulamaya özel toleransları kullanarak doğrula.