Depth Bleeding

Derinlik taşması, tahmin edilen mesafenin iki yüzey arasındaki sınır boyunca yanlış bir şekilde yayıldığı bir derinlik haritası artefaktıdır. Örneğin yakındaki bir kişiye ait pikseller uzak bir duvarın derinlik değerini alabilir veya kişinin derinlik değeri arka plana taşabilir. Bu durum, her pikselin kameradan kendisine karşılık gelen görünür yüzeye olan mesafeyi tanımlaması gereken derinlik tahmini için önemlidir.

Artefakt en çok, bir nesnenin belirgin ölçüde farklı bir mesafedeki başka bir nesneyi örttüğü konumlar olan derinlik süreksizliklerinde fark edilir. Keskin bir geçişi korumak yerine derinlik haritası yanlış konumlandırılmış bir kenar, karışık değerlerden oluşan bir bant veya gerçekte olduğundan daha geniş ya da dar görünen bir ön plan şekli üretir.

Derinlik Taşması Nasıl Oluşur#

Derinlik taşması, sinir ağları, stereo görüş, yapılandırılmış ışık kameraları, uçuş süresi sensörleri ve LiDAR tabanlı sistemler tarafından üretilen derinlik haritalarını etkileyebilir. Yaygın nedenler şunlardır:

• Düşük çözünürlüklü derinlik tahmininin ardından sıradan enterpolasyon uygulanması
• İnce yapıları ve keskin kenarları ortadan kaldıran uzamsal yumuşatma
• Eğitim kayıplarının dar sınırlardan ziyade geniş, tekdüze bölgelere ağırlık vermesi
• Örtülmelerin veya dokusuz yüzeylerin çevresinde belirsiz stereo eşleştirme
• RGB görüntüleri ile gerçek derinlik etiketleri arasındaki hizalama bozukluğu
• Ön plan ve arka plan geri dönüşlerini birleştiren sensör ölçümleri

Stereo sistemlerde eşleştirme pencereleri, bir nesne sınırının her iki tarafındaki pikselleri kapsayabilir. OpenCV disparity post-filtering guide, hataların genellikle derinlik süreksizlikleri ve kısmen örtülü bölgeler yakınında yoğunlaştığını açıklar.

Üst örnekleme de benzer bir soruna yol açabilir. Düşük çözünürlüklü bir derinlik pikseli birden fazla yüzeyi temsil edebilirken basit çift doğrusal enterpolasyon, bu değeri komşu piksellerin değerleriyle harmanlar. Kenar duyarlı veya kılavuzlu filtreleme bu etkiyi azaltabilir, ancak renk kenarları her zaman gerçek derinlik kenarları değildir. Apple'ın ARKit point-cloud workflow çalışması, daha düşük çözünürlüklü bir sahne derinliği haritasının kılavuzlu şekilde büyütülmesini gösterir.

İlgili Terimler ve Temel Farklar#

Derinlik taşması, diğer bazı derinlik kalitesi sorunlarıyla örtüşür, ancak her biri farklı bir hata örüntüsünü tanımlar:

• Sınır bulanıklığı: Keskin bir geçiş kademeli hâle gelir. Derinlik taşması özellikle yanlış bir değerin başka bir yüzeye geçmesi anlamına gelir; bulanık bir sınır, bir nesnenin görünen şeklini fark edilir ölçüde değiştirebilir veya değiştirmeyebilir.
• Uçan pikseller: Genellikle bir sensör ölçümünün iki yüzeyi karıştırması nedeniyle silüetlerin çevresinde izole ve kararsız 3B noktalar görünür. Taşma ise genellikle daha sürekli bir bölge veya bant oluşturur.
• Derinlik karışıklığı: Ayrı nesnelerin derinlik değerleri örtüşür veya ayırt edilmeleri zorlaşır; taşma ise bir yüzeyin değerinin başka bir yüzeye yayılmasını vurgular.
• Doku kopyalama: Renk kılavuzlu derinlik iyileştirme, görüntüdeki her kenarı derinlik kenarı olarak ele aldığında RGB dokusu geometrik ayrıntı olarak yanlış şekilde yeniden üretilir.
• Veri sızıntısı: Eğitimin, gerçek dünyadaki çıkarım sırasında kullanılamayan bilgileri yanlış biçimde kullandığı, bununla ilgisiz bir makine öğrenimi sorunudur.

Derinlik taşması disparity haritalarını da etkileyebilir. Apple'ın depth and disparity documentation belgesi, göreli mesafeyi çıkarsamak için stereo eşleştirmenin ve paralaksın nasıl kullanıldığını açıklar.

Gerçek Dünya Etkisi#

• Robotik toplama: Bir depo robotu, bir kutunun kenarını bulmak ve kavrama noktası seçmek için derinlikten yararlanabilir. Arka plandaki rafın derinliği kutuya taştığında yeniden oluşturulan şekil içeri çökmüş veya fazla dar görünebilir ve bu da kavrama konumunun hatalı seçilmesine yol açabilir. Küçük geometrik hataların fiziksel eylemleri etkileyebildiği robotikte bilgisayarlı görü için bu özellikle önemlidir.

• Otonom sürüş: Bir yayanın, bisikletlinin veya aracın çevresindeki taşma, engel mesafesini ve oluşturulan nokta bulutunun şeklini bozabilir. Ardından gerçekleştirilen 3B nesne algılama, hatalı bir kapsam veya konum tahmin edebilir. KITTI vision benchmark, bu tür sistemleri değerlendirmek için kamera ve derinlikle ilişkili sensör verileri içeren gerçek sürüş sahneleri sağlar.

Derinlik taşması artırılmış gerçeklikte de önemlidir. Yanlış sınırlar, sanal bir nesnenin gerçekte arkasında gizlenmesi gerekirken gerçek mobilyaların önünde görünmesine neden olabilir. Bu nedenle sensör güveni yararlıdır: Apple'ın ARKit depth confidence map aracı, özellikle yansıtıcı veya ışığı emen zorlu yüzeylerin çevresindeki derinlik ölçümlerine güven bilgisi atar.

Derinlik Tahminlerini İnceleme#

Ultralytics YOLO depth estimation task, giriş görüntüsüyle hizalanmış yoğun bir derinlik haritası üretir. Kısa bir tahmin iş akışı, ön plan ile arka plan arasındaki sınırları görsel olarak incelemeyi kolaylaştırır:

from ultralytics import YOLO

# Load a pretrained Ultralytics YOLO26 depth model
model = YOLO("yolo26n-depth.pt")

# Predict, select the first result, and save its visualization
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

result.save(filename="depth_result.jpg")

Bu YOLO26 iş akışı, haleler, şişkin silüetler, eksik boşluklar ve yumuşamış kenarlar açısından incelenebilecek görsel bir sonuç kaydeder. Daha kapsamlı testler için Ultralytics depth dataset guide, eşleştirilmiş RGB ve piksel başına derinlik biçimini açıklar; iBims-1 depth evaluation ise özellikle keskin geçişlere ve düzlemsel yüzeylere odaklanır. Resmî iBims-1 benchmark özellikle yararlıdır, çünkü tüm görüntü üzerindeki ortalama hata, dar ancak operasyonel açıdan önemli sınır kusurlarını gizleyebilir.

Tespit ve Azaltma#

Etkili azaltma, dikkatle hizalanmış yüksek çözünürlüklü derinlik etiketleriyle başlar. Yararlı uygulamalar arasında kenar duyarlı kayıplar, çok ölçekli özellikler, segmentasyon kılavuzlu iyileştirme, güven filtreleme ve ince nesneler ile güçlü ön plan-arka plan geçişleri üzerinde doğrulama bulunur. Sensör güveni mevcut olduğunda düşük güvenli sınır pikselleri, körlemesine yumuşatılmak yerine reddedilebilir veya ayrı olarak ele alınabilir. Ancak filtreleme dikkatle değerlendirilmelidir, çünkü Apple'ın filtered depth-data guidance belgesi, yumuşatma ve delik doldurmanın özgün ölçümleri değiştirdiğini belirtir.

Ekipler yalnızca ortalama piksel metriklerine güvenmek yerine RGB kenarlarını derinlik süreksizlikleriyle karşılaştırmalı, yeniden oluşturulan nokta bulutlarını incelemeli ve sınırların yoğun olduğu üretim sahnelerini izlemelidir. Ultralytics validation workflow, sistematik model değerlendirmesini desteklerken Ultralytics Platform, veri kümelerini yönetmek, modelleri eğitmek, iş akışlarını dağıtmak ve bilgisayarlı görü sistemlerini izlemek için araçlar sağlar.