Depth Bleeding

Derinlik sızması, derinlik haritalarında ön plandaki bir nesneyle arka planı arasındaki sınırda derinlik değerlerinin taşmasıyla oluşan bir kusurdur. Bu nedenle kenardaki pikseller, diğer yüzeyin derinliğini veya iki yüzeyin karışımını alır. Bu kusur, bir yüzeyin bitip çok daha uzaktaki bir yüzeyin başladığı örtüşme sınırları olan derinlik süreksizliklerinde görülür ve stereo görü, uçuş süresi ve LiDAR sensörleri ile öğrenilmiş derinlik tahmini dâhil tüm derinlik kaynaklarını etkiler. Kenarlar, piksel sayılarının düşündürdüğünden çok daha önemlidir. 3B nokta bulutuna geriye izdüşürülen sızmış pikseller, nesneyle arkasındaki duvar arasında boşlukta asılı kalan ve uçan pikseller adı verilen noktaları oluşturur. Artırılmış gerçeklikte sanal nesnelerin gerçek kenarların içinden geçmesine veya önünde yüzmesine, yeni bakış sentezinde kenarların lastik levhalar gibi gerilmesine neden olur. Robotik ve otonom araçlarda nesneleri olduklarından geniş göstererek robotun kavrayışını yanlış konumlandırır ve 3B nesne algılama kutularını gerer.

Derinlik Sızmasının Kaynakları#

Stereo eşleştirmede her pikselin eşleşmesi, komşu piksellerden oluşan bir pencere karşılaştırılarak belirlenir; kenar yakınında bu pencere her iki yüzeyi de kapsar. Penceredeki ön plan pikselleri eşleştirme maliyetini baskılayabilir ve böylece ön planın derinliği bitişiğindeki arka plan piksellerine yayılır. Stereo literatüründe bu etkiye ön planın genişlemesi denir. Yalnızca tek kamerada görünen piksellerin doğru eşleşmesi yoktur ve bunlar komşu piksellerin derinliğini alır.

Tek kameralı derinlik tahmini için kullanılan sinir ağları, iki şekilde sızmaya neden olur. Kodlayıcıları görüntüyü kaba özellik haritalarına küçültür; bu nedenle birçok kod çözücü derinliği giriş çözünürlüğünün bir bölümünde tahmin edip yukarı örnekler ve bu da her kenarda iki yüzeyi harmanlar. Ayrıca bir sınır pikseli her iki yüzeye de ait olabileceğinden, kare hata kayıp fonksiyonu iki derinliğin ortalamasını tahmin ederek en aza indirilir; ancak bu değer yüzeylerin hiçbirinde bulunmaz. Ultralytics YOLO26 derinlik modelleri, log-derinliği giriş çözünürlüğünün dörtte birinde tahmin eder; tahminleyici de haritayı bilineer olarak özgün görüntü boyutuna yükseltir. Böylece çıktıda iki yüzey arasındaki sıçrama, birkaç piksel genişliğinde bir rampaya dönüşür.

Sensörlerde sızma fiziksel olarak gerçekleşir. Bir kenarın iki tarafına yayılan bir uçuş süresi pikseli veya LiDAR ışını her iki yüzeyden de ışık alır ve arada bir derinlik bildirir; derinlik kamerası nokta bulutlarındaki uçan piksellerin klasik kaynağı budur. RGB-D kameralar ayrıca hizalama sorunları yaratır; derinlik renkten biraz farklı bir konumdan ölçülür ve biri diğerine yeniden izdüşürüldüğünde kenarlar kayar.

Bu örnek, birçok derinlik ağının tam çözünürlüğe ulaşmak için kullandığı yöntemle, dört metrelik bir duvarın 1,5 metre önünde duran kişinin çeyrek çözünürlüklü derinlik haritasını yukarı örnekler ve derinliği iki yüzeyden hiçbirine ait olmayan pikselleri sayar:

import torch
import torch.nn.functional as F

# A depth map predicted at 1/4 resolution: a person 1.5 m away in front of a wall 4 m away
low = torch.full((1, 1, 120, 160), 4.0)
low[..., 30:, 60:100] = 1.5

for mode in ["bilinear", "nearest"]:
    # Upsample 4x to the 480 x 640 image
    depth = F.interpolate(low, size=(480, 640), mode=mode)[0, 0]

    # Bleeding pixels hold depths that belong to neither surface
    bleeding = (depth > 1.6) & (depth < 3.9)
    print(f"{mode}: {bleeding.sum().item()} bleeding pixels, row 300 across the edge: {depth[300, 394:404].tolist()}")

Bilineer yukarı örnekleme 3.518 sızma pikseli oluşturur; silüetin her kenarı boyunca 1,81, 2,44, 3,06 ve 3,69 m'lik rampalar oluşur ve bunların her biri nokta bulutunda havada asılı kalır. En yakın komşu ile yukarı örnekleme, yeni değerler üretmediği için hiç sızma oluşturmaz. Ancak gerçek görüntülerde kenar kaba bir pikselin içinde kalır; bu nedenle en yakın komşu çıktısı kenarları iki piksele kadar kaydırır ve çapraz kenarları basamaklı hâle getirir.

Derinlik Sızmasını Azaltma ve Ölçme#

Yönlendirilmiş derinlik süper çözünürlüğünün bir türü olan kenar duyarlı yukarı örnekleme, kılavuz olarak tam çözünürlüklü renkli görüntüyü kullanır. Johannes Kopf ve çalışma arkadaşlarının 2007'de tanıttığı ortak çift yönlü yukarı örnekleme ile yönlendirilmiş filtre, her komşuyu renk benzerliğine göre ağırlıklandırır; böylece derinlik görüntü kenarlarında durur. Bunun tersi olan doku kopyalama hatası, örneğin bir kutunun üzerindeki yazı gibi derinliği değişmeyen renk kenarlarının derinlik haritasına işlenmesiyle oluşur. Ağlar, daha yüksek çözünürlüklü çıktılar, sınıra duyarlı eğitim kayıpları ve görüntü segmentasyonunun yönlendirdiği iyileştirmelerle sızmayı azaltır. Apple'ın Depth Pro modeli özellikle keskin sınırlar için tasarlanıp değerlendirildi. Stereo için sol-sağ tutarlılık denetimi, eşleşmeleri iki yönde uyuşmayan pikselleri işaretler. Herhangi bir kaynakta uçan pikseller, komşular arasında derinliğin keskin biçimde sıçradığı veya yüzeyin görüş ışınına neredeyse paralel olduğu noktalar atılarak kaldırılabilir.

Kenar pikselleri bir görüntünün küçük bir bölümünü oluşturduğundan ve mutlak göreli hata gibi ortalama hata ölçütleri pek değişmediğinden, standart ölçütler sızmayı neredeyse hiç yakalayamaz. Tobias Koch ve çalışma arkadaşlarının 2018'de Münih Teknik Üniversitesi'nde yayımladığı iBims-1 karşılaştırma ölçütü, derinlik kenarlarını doğrudan derinlik sınırı hatalarıyla puanlar: doğruluk, tahmin edilen kenarların elle anotasyon yapılan kenarlardan ne kadar uzakta olduğunu; tamlık ise tahminin gerçek kenarların kaçını kaçırdığını ölçer.