3D Reconstruction
3D yeniden yapılandırma; fotoğraf, video, derinlik kameraları veya LiDAR verilerinden nesnelerin ve sahnelerin şeklini nokta bulutları, ağlar ya da ışınım alanları olarak yeniden oluşturur.
3B yeniden yapılandırma, fotoğraf, video, derinlik kamerası kareleri veya LiDAR taramaları gibi ölçümlerden bir nesnenin ya da sahnenin üç boyutlu şeklini elde etme sürecidir. Çıktı, uzaydaki yüzeylerin konumunu; örneklenmiş yüzey noktalarından oluşan bir nokta bulutu, çokgen ağ, voksel ızgarası veya ışınım alanı gibi öğrenilmiş bir fonksiyon biçiminde, çoğu zaman renk ya da doku bilgisiyle birlikte tanımlar. Fotogrametri olarak da adlandırılan görüntü tabanlı yeniden yapılandırma, bilgisayarlı görü alanında fotoğrafçılığın tersidir: kamera 3B dünyayı 2B piksellere dönüştürür; yeniden yapılandırma ise aynı yüzeylerin birkaç farklı görüntüsünü kullanarak bu izdüşümü tersine çevirir.
Görüntü Tabanlı Yeniden Yapılandırma Nasıl Çalışır#
Klasik işlem hattı, her görüntüde SIFT anahtar noktaları gibi ayırt edici özellikleri saptayıp bunları örtüşen fotoğraflar arasında eşleştirerek başlar; yalnızca epipolar geometriyle tutarlı eşleşmeler korunur. Hareketten yapı yöntemi, demet dengelemesiyle hepsini birlikte iyileştirerek her kameranın konum ve yöneliminin yanı sıra seyrek bir 3B nokta kümesini de hesaplar; demet dengelemesi, her görüntüdeki her noktanın yeniden izdüşüm hatasını en aza indirir. Çoklu görünüm stereo yöntemi, bilinen kameraları kullanarak her görüntü için yoğun bir derinlik haritası hesaplar; bu haritalar tek bir nokta bulutunda birleştirilir. Poisson ağ oluşturma gibi yüzey yeniden yapılandırma yöntemleri de noktaları fotoğraflardan dokulanabilen, kapalı bir ağa dönüştürür. Johannes Schönberger ve çalışma arkadaşlarının COLMAP projesi, bu işlem hattının yaygın kullanılan açık kaynaklı uygulamasıdır. Derinlik kameraları ve LiDAR, eşleştirme aşamasını atlayıp örtüşen taramaları doğrudan hizalar; genellikle yinelemeli en yakın nokta algoritmasını kullanır.
Her 3B nokta üçgenlemeden elde edilir: kalibre edilmiş iki kamera verildiğinde bu nokta, izdüşümleri her kameranın gördüğü pikselle en iyi eşleşen konumdur. Bu örnekte, aralarında 0,3 m mesafe olan iki kameranın gördüğü bir duvardaki noktalar üçgenleniyor; her gözlemde yarım piksel gürültü bulunuyor:
import cv2
import numpy as np
rng = np.random.default_rng(0)
K = np.array([[800.0, 0, 320], [0, 800.0, 240], [0, 0, 1]]) # camera intrinsics in pixels
# Two calibrated views 0.3 m apart, as projection matrices P = K [R | t]
P1 = K @ np.hstack([np.eye(3), np.zeros((3, 1))])
P2 = K @ np.hstack([np.eye(3), [[-0.3], [0.0], [0.0]]])
for z in [2.0, 10.0]:
# 200 points on a wall z meters away, observed in both images with half-pixel noise
points = np.column_stack([rng.uniform(-1, 1, 200), rng.uniform(-0.5, 0.5, 200), np.full(200, z)])
X = np.vstack([points.T, np.ones(200)])
x1, x2 = P1 @ X, P2 @ X
x1, x2 = x1[:2] / x1[2] + rng.normal(0, 0.5, (2, 200)), x2[:2] / x2[2] + rng.normal(0, 0.5, (2, 200))
# Triangulate: find the 3D point whose projections best match both observations
Xh = cv2.triangulatePoints(P1, P2, x1, x2)
error = np.linalg.norm((Xh[:3] / Xh[3]).T - points, axis=1)
print(f"Wall at {z:.0f} m: median 3D error {100 * np.median(error):.1f} cm")Çıktı, 2 m uzaklıktaki duvar için 0,8 cm, 10 m uzaklıktaki duvar içinse 18,4 cm medyan hata gösteriyor. Mesafenin beş katına çıkması hatayı yaklaşık 23 kat artırıyor. Bu, iki görünüm geometrisinin öngördüğü karesel artışa yakın; bu nedenle fotogrametri, uzaktaki yüzeyleri birbirinden geniş aralıklarla ayrılmış çok sayıda bakış açısından görüntüler.
Yeniden yapılandırma statik bir sahne varsayar; bu nedenle çekim sırasında hareket eden insanlar ve araçlar hayalet geometri ve eşleşmeyen özellikler oluşturur. COLMAP, her görüntüde siyah olan maskelenmiş bölgelerde özellik çıkarımını atlar. Ultralytics YOLO26 örnek bölümleme modeli tarafından oluşturulan insan ve araba maskeleri de bu hareketli nesneleri statik yeniden yapılandırmanın dışında tutar.
Gösterimler ve Öğrenilmiş Yeniden Yapılandırma#
Nokta bulutlarının oluşturulması kolaydır, ancak bağlantı bilgileri yoktur. Ağlar; ölçüm, oyun motorları ve dijital ikizler için sürekli yüzeyler sunar; voksel ızgaraları ise uzayı hücrelere böler. Richard Newcombe ve çalışma arkadaşlarının 2011'de tanıttığı KinectFusion, canlı derinlik kamerası karelerini kesilmiş işaretli uzaklık hacminde gerçek zamanlı olarak birleştirdi; Open3D gibi kütüphaneler bu hacimsel birleştirme yöntemini hâlâ uygular. Örtük sinirsel gösterimler, bir yüzeyi koordinatları doluluk veya işaretli uzaklığa eşleyen bir ağ olarak saklar. Sinirsel ışınım alanları ve Gauss dağılımlı sıçratma, yeni görünüm sentezi için görünümü her yönden modeller; ancak geometrileri bir ağa kıyasla doğrudan ölçmeye daha az elverişlidir. İleri beslemeli ağlar artık optimizasyonu tamamen atlayabiliyor: Oxford'un Visual Geometry Group'u ve Meta AI tarafından geliştirilen VGGT, tek geçişte bir görüntüden yüzlerce görüntüye kadar kamera pozlarını, derinlik haritalarını ve 3B noktaları tahmin ediyor ve CVPR 2025 En İyi Makale ödülünü kazandı.
İlgili görevler, sundukları çıktılara göre farklılaşır. Derinlik tahmini, tek bir görünüm için piksel başına uzaklığı, yani kısmi bir yüzeyi tahmin eder. Stereo görü, eşzamanlı iki kameradan yeniden yapılandırma yapar. Görsel SLAM, gezinme amacıyla hareketli bir kamerayı izler ve gerçek zamanlı harita oluşturur; hız için eksiksizlikten ödün verir. 3B nesne algılama, nesnelerin yüzeylerini çıkarmak yerine etraflarına kutular yerleştirir.
Gerçek Dünya Uygulamaları#
- Artırılmış gerçeklik: Apple'ın ARKit'i, LiDAR donanımlı iPhone ve iPad'lerde bir odanın canlı ağ modelini oluşturur; böylece sanal nesneler zemine oturur ve mobilyaların arkasında kalır.
- Üretim denetimi: Bitmiş parçaların taramaları, sapmaları ölçmek için CAD modelleriyle karşılaştırılır. Aynı taramalar, bir üretim hattının dijital ikizini güncel tutar.
- Robotik: Robotlar, yerleşik derinlik kameralarıyla kavramaları gereken nesneleri ve hareket ettikleri alanları yeniden yapılandırır.
- Kültürel miras ve haritalama: Fotogrametri, binaları, kazı alanlarını ve tüm şehirleri dijitalleştirir. 2009'daki Building Rome in a Day projesi, Roma'nın simgesel yapılarını 496 işlemci çekirdeğinden oluşan bir kümede 21 saatte 150.000 Flickr fotoğrafından yeniden yapılandırdı.










