3D Object Detection

3B nesne algılama, bir sahnedeki nesneleri bulup her birinin çevresine 3B sınırlayıcı kutu, yani küboid, yerleştirerek gerçek dünya birimlerinde konumlarını, boyutlarını ve yönelimlerini verir. Standart 2B nesne algılama, sınırlayıcı kutuyu görüntü pikselleri cinsinden verir. 3B algılayıcı ise bir otomobilin metre cinsinden ne kadar uzakta olduğunu, uzunluğunu ve genişliğini, ayrıca hangi yöne baktığını bildirir; bu bilgiler otonom otomobillerin, teslimat robotlarının ve depo robot kollarının hareket planlaması ve çarpışmalardan kaçınması için gereklidir.

3B Kutu Nasıl Tanımlanır?#

Çoğu 3B algılayıcı, bir sınıf ve güven puanına ek olarak nesne başına yedi sayı üretir: kutunun merkez koordinatları (x, y, z), uzunluğu, genişliği ve yüksekliği ile dikey eksen çevresindeki yön açısı, yani yaw açısı. Otomobiller, insanlar ve çoğu iç mekân nesnesi dik durduğundan yuvarlanma ve yunuslama açıları sıfır kabul edilir; nuScenes gibi sürüş kıyaslamaları ayrıca her nesnenin hızını da ister. Yedi sayıyı sekiz köşe noktasına dönüştürmek, görüntü üzerinde kutu çizmenin veya kutunun başka bir kutuyla örtüşmesini hesaplamanın ilk adımıdır.

import numpy as np

# Tek bir 3B kutu: merkez (m), boyut (m) ve dikey z ekseni çevresindeki yön açısı (rad)
center = np.array([12.0, -3.0, 0.9])
length, width, height = 4.5, 1.9, 1.6
yaw = np.pi / 6

# Döndürme öncesinde kutunun merkezine göre sekiz köşesi
signs = np.array([[sx, sy, sz] for sx in (1, -1) for sy in (1, -1) for sz in (1, -1)])
corners = signs * [length / 2, width / 2, height / 2]

# Yön açısına göre döndür, ardından kutuyu merkezine taşı
c, s = np.cos(yaw), np.sin(yaw)
rotation = np.array([[c, -s, 0], [s, c, 0], [0, 0, 1]])
corners = corners @ rotation.T + center
print(corners.round(2))

Yazdırılan sekiz satır, x ekseni boyunca 12 metre merkezlenmiş ve 30 derece döndürülmüş otomobil boyutlarında bir kutunun köşeleridir; dört köşe çatıyı z = 1,7 m yüksekliğinde, dört köşe ise zemini z = 0,1 m yüksekliğinde gösterir.

Sensörler ve Yöntemler#

3B algılama derinlik gerektirir ve sistemler bunu üç tür girdiden elde eder. Lidar tarayıcıları lazer darbeleriyle mesafeyi doğrudan ölçer ve sahnenin nokta bulutunu üretir. Lidar algılayıcıları alanı 3B voksellere böler, PointPillars gibi noktaları dikey sütunlarda gruplandırıp hızlı 2B evrişimlerle kuş bakışı görüntü olarak işler veya ham noktaları doğrudan işler.

Kamera tabanlı yöntemler görüntülerden derinlik çıkarımı yapar. Tek bir kamerada derinlik belirsizdir; çünkü yakındaki küçük bir nesneyle uzaktaki büyük bir nesne aynı görünebilir. Bu nedenle tek kameralı algılayıcılar derinliği nesne boyutundan ve sahne bağlamından öğrenir. BEVFormer gibi çok kameralı sistemler, çevredeki çeşitli görüntülerden özellikleri ortak bir kuş bakışı ızgarasına yansıtır. Kamera hatları, algılanan her nesnenin ne kadar uzakta olduğunu tahmin etmek için YOLO26 tarafından üretilen 2B kutuları, tek bir RGB görüntüsünden piksel başına metre cinsinden derinlik haritası tahmin eden bir YOLO26 derinlik modeliyle de eşleştirebilir.

Sensör birleştirme, lidarın hassas geometrisini kamera görüntülerinin renk ve dokusuyla birleştirir. BEVFusion, her iki sensörün özelliklerini ortak bir kuş bakışı uzayında harmanlar.

3B Algılama ve İlgili Görevler#

• Derinlik tahmini: Sahneyi nesnelere veya sınıflara ayırmadan her piksel için bir mesafe tahmin eder.
• Yönlendirilmiş sınırlayıcı kutular: Görüntü düzlemindeki döndürülmüş 2B kutulardır; genellikle kuş bakışı görünüşte 3B kutunun taban izine benzeyen hava görüntülerinde kullanılır.
• 3B yeniden oluşturma: Tek tek nesneleri etiketlemeden ağ veya nokta bulutu gibi bir sahnenin tüm geometrisini elde eder.

Uygulamalar ve Zorluklar#

Otonom araçlar, çevrelerindeki otomobilleri, yayaları ve bisikletlileri konumlandırmak ve izleyebilecekleri yolları tahmin etmek için 3B algılamadan yararlanır; depo ve lojistik robotları ise kutuları kavramadan önce konumlarını ve yönelimlerini bulmak için bu teknolojiyi kullanır. Zor durumlar arasında az sayıda lidar noktası alan uzak ve küçük nesneler, kısmen örtülmüş nesneler, uzaklık arttıkça büyüyen tek kameralı derinlik hataları ve her eğitim küboidinin bir etiketleyici tarafından 3B olarak yerleştirilmesini gerektiren etiketleme maliyeti bulunur.

3B Algılayıcıların Değerlendirilmesi#

Değerlendirme, kesişim birleşim (IoU) ve ortalama ortalama kesinliği (mAP) üç boyuta genişletir. KITTI'nin 3B kıyaslaması, otomobiller için 0,7, yayalar ve bisikletliler için 0,5 değerinde 3B kutu IoU'su gerektirir; 2019'dan bu yana kesinliği 11 yerine 40 geri çağırma konumunda ortalar. nuScenes kıyaslaması, tahminleri etiketlerle yer düzlemindeki merkezleri arasındaki mesafeye göre eşleştirir ve 0,5, 1, 2 ve 4 metre eşiklerinde AP'yi ortalar. nuScenes algılama puanı (NDS), bu mAP'yi 5 ağırlıkla; öteleme, ölçek, yönelim, hız ve öznitelik hatalarından türetilen, her biri 1 ağırlığa sahip beş puanla birleştirir.