3D Reconstruction

3B yeniden yapılandırma, görsel veya derinlik ölçümlerinden bir nesnenin ya da ortamın dijital üç boyutlu temsilini oluşturma işlemidir. Bilgisayarlı görü alanında bu işlem; fotoğraflar, video kareleri, stereo görüntüler veya LiDAR taramaları gibi gözlemleri, yüzeylerin 3B uzayda nerede bulunduğunu tanımlayan geometriye dönüştürür. Sonuç; ölçülebilen, işlenebilen ve analiz edilebilen seyrek bir işaret noktası kümesi, yoğun bir nokta bulutu, bir çokgen ağ veya dokulu bir model olabilir.

3B Yeniden Yapılandırma Nasıl Çalışır#

Tipik bir yeniden yapılandırma hattı; geometriyi, görüntü işlemeyi ve makine öğrenmesini bir araya getirir:

1. Yakalama: Kameralar veya derinlik sensörleri, nesneyi bir ya da daha fazla bakış açısından gözlemler. Aynı yüzeylerin birden çok karede görünmesi için görüntüler örtüşmelidir.
2. Kalibrasyon: Sistem, odak uzaklığı ve optik merkez gibi kamera iç parametrelerini tahmin eder ve mercek bozulmasını düzeltir. Resmî OpenCV kamera kalibrasyonu öğreticisi bu parametreleri açıklar.
3. Eşleştirme: Ayırt edici pikseller veya öğrenilmiş özellikler görüntüler arasında eşleştirilir. Eşleşme, iki pikselin aynı fiziksel noktayı gösterdiği anlamına gelir.
4. Kamera pozu tahmini: Her kameranın göreli konumu ve yönü belirlenir.
5. Derinlik çıkarımı: Kamera geometrisi bilindiğinde eşleşen gözlemler üçgenleme yoluyla 3B koordinatlara dönüştürülebilir. Görüntü tabanlı araçlar genellikle hareketten yapı ve çoklu görünüm stereo iş akışını kullanırken RGB-D sistemleri derinliği doğrudan elde eder veya tahmin eder.
6. Hizalama ve birleştirme: Kısmi nokta bulutları ortak bir koordinat sistemine dönüştürülür. Open3D nokta bulutu hizalama, örtüşen taramaların nasıl hizalanabileceğini gösterir.
7. Yüzey oluşturma: Noktalar, yüzey yeniden yapılandırma süreci kullanılarak bir üçgen ağa bağlanabilir veya uydurulabilir; ardından doku eşleme ve temizleme yapılır. (docs.opencv.org)

Temsiller ve İlgili Kavramlar#

Nokta bulutu, tek tek 3B noktaları, genellikle renk veya güven değerleriyle birlikte saklar. Ağ, köşeleri kenarlar ve üçgen yüzlerle birleştirerek sürekli yüzeyler oluşturur. Voksel ızgarası, uzayı küçük 3B hücrelere böler; örtük temsil ise geometriyi öğrenilmiş bir işlev içinde kodlar.

3B yeniden yapılandırma, birbiriyle ilişkili çeşitli kavramlarla örtüşse de farklı bir amaca sahiptir:

• Derinlik tahmini, görüntü piksellerinin kameraya olan uzaklığını tahmin eder. Derinlik haritası genellikle yeniden yapılandırmanın girdisidir; ancak tek bir harita, gizli yüzeylerin eksiksiz bir modelini kendiliğinden sağlamaz.
• Stereo görü, aralarındaki mesafe bilinen iki kameradan derinlik çıkarır. Yeniden yapılandırmada stereo derinlik kullanılabilir; ancak çok sayıda kamera, video veya etkin sensörler de kullanılabilir.
• Görsel SLAM, genellikle gerçek zamanlı gezinme amacıyla harita oluştururken kamera hareketini tahmin eder. Yeniden yapılandırma ise genellikle ortaya çıkan geometrinin kalitesine ve eksiksizliğine öncelik verir.
• Sinirsel ışınım alanları ve Gauss sıçratma, fotogerçekçi işleme ve yeni bakış açıları için sahneleri temsil eder. Bunların çıktısı mutlaka açıkça tanımlanmış, ölçüme hazır bir ağ değildir.
• 3B nesne algılama, görünür tüm yüzeyleri yeniden oluşturmak yerine 3B uzaydaki nesnelerin yerini belirler ve sınıflandırır.

Gerçek Dünya Uygulamaları#

• Robotik denetim ve üretim: Bir robot, RGB-D görüntülerinden bir bileşeni yeniden oluşturabilir, geometrisini beklenen tasarımla karşılaştırabilir ve ezikleri, eksik malzemeyi veya hatalı montajı belirleyebilir. Ortaya çıkan model, ölçüm, simülasyon, bakım planlama ve kalite kontrolü desteklemek üzere üretim dijital ikizini de güncelleyebilir.

• Artırılmış gerçeklik ve iç mekân haritalama: Bir mobil cihaz; sanal içeriğin fiziksel oda ile doğru biçimde etkileşime girmesi için duvarları, zeminleri, mobilyaları ve diğer yüzeyleri yeniden oluşturabilir. Örneğin ARKit sahne yeniden yapılandırma, gerçekçi örtüşmeyi, çarpışmaları ve nesne yerleşimini destekleyen çokgen ağlar oluşturur. Modeller daha sonra standartlaştırılmış glTF 3B varlık biçimi gibi biçimlerde sunulabilir. (nist.gov)

Ultralytics YOLO ile Derinlik Tahmini#

Ultralytics YOLO26 derinlik tahmini, tek bir RGB görüntüsünden yoğun, metrik derinlik haritası sağlayabilir. Özel bir derinlik sensörü bulunmadığında bu, RGB-D haritalama, engel geometrisi ve nokta bulutu oluşturma için yararlı bir bileşendir.

from ultralytics import YOLO

# Önceden eğitilmiş tek görüntülü derinlik modelini yükle.
model = YOLO("yolo26n-depth.pt")

# Tek bir RGB görüntüsünden piksel başına derinliği tahmin et.
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Derinlik görselleştirmesini kaydet.
result.save(filename="depth_result.jpg")

Bu iş akışı, görüntüyle hizalanmış derinlik üretir; eksiksiz bir 3B sahneyi bağımsız olarak yeniden oluşturmaz. Tam bir hat için kalibre edilmiş kamera parametreleri ve birden çok kare kullanılıyorsa güvenilir kamera pozları da gerekir. Open3D RGB-D görüntü iş akışı, hizalanmış renk, derinlik ve kamera iç parametrelerinin nasıl nokta bulutu oluşturabileceğini gösterir. Özel görüntü bileşenleri geliştiren ekipler, veri kümelerine açıklama eklemek, modelleri eğitmek ve dağıtmak, ayrıca üretim çıkarımını izlemek için Ultralytics Platform kullanabilir.

Pratik Zorluklar ve Öneriler#

Yeniden yapılandırma kalitesi büyük ölçüde yakalama koşullarına bağlıdır. Görünümleri yüksek oranda örtüştür, yalnızca kamerayı döndürmek yerine nesnenin çevresinde hareket et ve aydınlatmayı makul ölçüde tutarlı kıl. Dokusu olmayan duvarlar, saydam veya yansıtıcı nesneler, hareket bulanıklığı, örtülme ve değişen aydınlatma; özellik eşleştirmeyi bozabilir ya da boşluklara ve yinelenen yüzeylere yol açabilir.

Kalibrasyon hataları ölçeği ve şekli bozar; hatalı kamera pozları taramaların birbirinden kaymasına neden olur. Tek kameralı girdilerde ayrıca doğal ölçek ve gizli yüzey belirsizliği vardır: öğrenilmiş varsayımlar olmadan tek bir görüntü nesnenin arka tarafını gösteremez. Yeniden yapılandırmaları yalnızca görünümlerine göre değerlendirmek yerine bilinen boyutlar, yeniden izdüşüm hatası, tarama örtüşmesi ve uygulamaya özgü toleranslarla doğrula.