Depth Estimation

Derinlik kestirimi, bir görüntüdeki her piksel için kamerayla o pikselin gösterdiği yüzey arasındaki mesafeyi tahmin etmeye yönelik bilgisayarlı görü görevidir. Çıktı, düz bir fotoğrafta eksik olan üçüncü boyutu ekleyen, görüntüyle aynı boyutta bir mesafe ızgarası olan derinlik haritasıdır. Bu harita, robotlara, araçlara ve artırılmış gerçeklik cihazlarına sıradan kameralardan bir sahnenin 3B düzenini sunar.

Derinliği Elde Etme Yöntemleri#

• Stereo görüş: Aralarında bilinen bir taban çizgisi bulunan kalibre edilmiş iki kamera, her noktayı yatayda biraz farklı konumlarda görür. Paralaks adı verilen bu kayma, derinliği odak uzaklığı × taban çizgisi ÷ paralaks formülüyle verir; bu nedenle paralaksı küçük olan uzaktaki nesneler daha düşük hassasiyetle ölçülür ve beyaz duvarlar gibi dokusuz yüzeyleri iki görüntü arasında eşleştirmek zordur.
• LiDAR ve diğer etkin sensörler: LiDAR, lazer darbelerinin geri dönüş süresini ölçerek uzun mesafelerde hassas ama seyrek noktalar sağlar; uçuş süresi ve yapılandırılmış ışık kameraları ise çoğunlukla iç mekânlarda kısa mesafede yoğun derinlik bilgisi verir. Bu sensörler, öğrenilmiş modellerin eğitildiği gerçek değerleri de üretir.
• Tek kameralı derinlik kestirimi: Bir sinir ağı, perspektif, tanıdık nesnelerin bilinen boyutları, doku gradyanları ve örtülme gibi ipuçlarını kullanarak tek bir görüntüden derinliği tahmin eder. Yakından görülen oyuncak bir araba ile uzakta duran gerçek bir araba aynı görüntüyü oluşturabileceğinden bu problem iyi tanımlı değildir; dolayısıyla model, tipik sahneler hakkında öğrendiklerine dayanır.
• Görsel SLAM ve diğer çoklu görünüm yöntemleri: Hareketten yapı çıkarımı ve görsel SLAM, farklı konumlardan alınmış karelerdeki noktaları üçgenleme yoluyla derinliği hesaplar.

Derin Öğrenmeyle Tek Kameralı Derinlik Kestirimi#

Öğrenilmiş derinlik modelleri iki türe ayrılır. Göreli derinlik modelleri, yüzeylerin sırasını ve şeklini bilinmeyen bir ölçeğe ve kaymaya göre tahmin eder; bu, arka plan bulanıklığı gibi efektler ve hangi nesnenin daha yakın olduğunu sıralamak için yeterlidir. MiDaS, 3B filmler de dâhil olmak üzere çeşitli veri kümelerinin karışımıyla ölçek ve kaymadan bağımsız bir kayıp kullanarak eğitim yapıp bu yaklaşımın çok farklı sahnelerde çalışmasını sağladı; Depth Anything V2 ise 25 milyondan 1,3 milyara kadar parametre içeren modelleri sentetik etiketlerle ve sözde etiketlenmiş gerçek görüntülerden oluşan büyük kümelerle eğitiyor. Robotların ve ölçüm araçlarının ihtiyaç duyduğu metrik derinlik modelleri, mesafeleri metre cinsinden tahmin eder: Apple'ın Depth Pro modeli, standart bir GPU üzerinde kamera iç parametreleri olmadan 0,3 saniyede 2,25 megapiksellik bir metrik derinlik haritası üretir.

Ultralytics YOLO26 derinlik modelleri, çıktısı yaklaşık 0,02 ile 150 metre arasında değişen log-derinlik başlığıyla tek bir görüntüden metrik derinliği tahmin eder; böylece aynı model, birkaç metre derinliğindeki odalarda ve 80 metreye kadar uzanan sürüş sahnelerinde kullanılabilir. Modeli yüklemek, tahmin yapmak ve sonucu kaydetmek için birkaç satır yeterlidir:

from ultralytics import YOLO

# Load a YOLO26 monocular depth model
model = YOLO("yolo26n-depth.pt")

# Predict a depth map for one image
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Per-pixel depth in meters, at the original image's resolution
depth = result.depth.data
print(f"Nearest {depth.min():.1f} m, farthest {depth.max():.1f} m")

# Save a colorized depth map blended over the photo
result.save(filename="depth_result.jpg")

Yazdırılan aralık, modelin sokak sahnesinde gördüğü en yakın ve en uzak yüzeyleri gösterir; kaydedilen görüntüde ise her piksel tahmin edilen mesafeye göre renklendirilir.

Doğruluğu Ölçme#

Derinlik modelleri, sensörlerin sağladığı gerçek değerlere göre piksel bazında puanlanır. Ortalama mutlak göreli hata (AbsRel), hatayı gerçek derinliğin kesri olarak ortalar; kök ortalama kare hatası (RMSE) metre cinsinden verir; δ₁ ise tahmini gerçeğin 1,25 katı içinde olan piksellerin oranını gösterir. Standart kıyaslama veri kümeleri, Kinect sensörüyle çekilmiş iç mekân sahnelerinden oluşan NYU Depth V2 ve LiDAR gerçek değerlerine sahip, genellikle 80 metreye kadar puanlanan sürüş sahnelerini içeren KITTI'dır. Göreli derinlik tahminleri puanlama öncesinde ölçek ve kayma bakımından gerçek değerlere hizalanır; dolayısıyla bu puanlar yalnızca şekli ölçer. Tüm pikseller üzerinden hesaplanan ortalamalar, tahmin edilen derinliğin nesne sınırlarının ötesine yayıldığı derinlik taşmasını da gizleyebilir; Depth Pro'nun özel sınır doğruluğu ölçütleri geliştirmesinin nedeni budur.

Derinlik Kestirimi ve İlgili Görevler#

• 3B nesne tespiti: Her nesne için konum, boyut ve yön bilgilerini içeren bir 3B kutu tahmin eder; derinliği genellikle girdi olarak kullanır.
• Anlamsal segmentasyon: Her piksele bir sınıf etiketi atar; derinlik haritasıyla birleştirildiğinde robota hem her yüzeyin ne olduğunu hem de ne kadar uzakta bulunduğunu söyler.
• 3B yeniden yapılandırma: Genellikle farklı bakış açılarından elde edilen derinliği birleştirerek bir sahnenin tam ağ modelini veya nokta bulutunu oluşturur.

Gerçek Dünya Uygulamaları#

• Sürücü destek sistemleri ve otonom sürüş: Kameraya dayalı derinlik, LiDAR'ın yanında veya yerine algılanan araçlara ve yayalara mesafe tahminleri ekler.
• Robotik: Kavrama ve gezinme, her yüzeye olan mesafenin bilinmesini gerektirir; tek bir RGB kameradan alınan derinlik, küçük robotlarda ek sensör ihtiyacını ortadan kaldırır.
• Artırılmış gerçeklik: Derinlik haritaları, sanal nesnelerin gerçek nesnelerin arkasında doğru şekilde gizlenmesini ve gerçek yüzeylere yerleştirilmesini sağlar.
• Fotoğrafçılık: Telefonların portre modları, çift kameradan, çift pikselli sensörlerden veya tek kameralı bir modelden alınan derinliği kullanarak arka planı bulanıklaştırır; bulanıklık düzeyi her pikselin tahmin edilen mesafesine göre belirlenir.