Semantic Mapping

Semantik haritalama, bir ortamın uzamsal temsilini oluşturma ve yol, duvar, kapı aralığı, kişi, raf veya bitki örtüsü gibi anlamlı sınıf etiketlerini ortamdaki konumlarla ilişkilendirme sürecidir. Yapay zekâ ve robotikte semantik harita hem “Bir şey nerede?” hem de “Bu nedir?” sorularını yanıtlar. Bir sahneyi yalnızca dolu ve boş alan olarak temsil etmek yerine, gezinmeyi, planlamayı, etkileşimi ve sahne anlayışını destekleyen bağlamsal bilgiler sağlar.

Semantik Haritalama Nasıl Çalışır?#

Bir semantik haritalama sistemi genellikle algılama, geometri, konumlandırma ve zamansal birleştirmeyi bir araya getirir. İlk olarak bir semantik segmentasyon modeli her görüntü pikselini sınıflandırır. Örneğin “yol” olarak etiketlenen tüm pikseller bir yol bölgesi oluştururken “araba” olarak etiketlenen pikseller araç bölgelerini belirler. NVIDIA'nın robotikte görüntü segmentasyonuna giriş, piksel düzeyindeki bu etiketlerin robot algılamasını nasıl desteklediğini gösterir.

Piksel etiketleri tek başına iki boyutlu bir kamera görüntüsüne bağlı kalır. Sistem, pikselleri fiziksel konumlarla ilişkilendirmek için genellikle LiDAR, stereo kameralar veya derinlik tahmini yoluyla elde edilen geometriye ihtiyaç duyar. Open3D RGB-D görüntü iş akışı, hizalanmış renk ve derinlik görüntülerinin nasıl 3B nokta bulutu oluşturabileceğini gösterir.

Doğru projeksiyon aynı zamanda kamera iç ve dış parametrelerine de bağlıdır. OpenCV kamera kalibrasyonu belgeleri, görüntü piksellerini 3B noktalarla ilişkilendirmek için kullanılan parametreleri açıklarken ROS CameraInfo mesajı tanımı, bu kalibrasyon bilgilerini robotik sistemlerde standartlaştırır.

Son olarak sensör birleştirme, gözlemleri zaman içinde birleştirir. Robot pozları ve koordinat dönüşümleri, etiketlenmiş her gözlemi ortak bir harita referansına yerleştirir. ROS tf2 koordinat dönüşümleri, bu ilişkileri sürdürmek için kullanılan yaygın bir mekanizma sağlar.

İlgili Kavramlar ve Temel Farklar#

Semantik haritalama, çeşitli bilgisayarlı görü ve robotik kavramlarıyla kesişir, ancak bu kavramlar farklı problemleri çözer:

• Görsel SLAM, geometrik bir harita oluştururken bir kameranın veya robotun konumunu tahmin eder. Semantik haritalama, bu geometriye sınıf anlamı ekler. Bu nedenle bir sistem, poz tahmini için SLAM'i ve etiketleme için semantik algılamayı kullanabilir.
• Doluluk haritalaması, hücrelerin boş, dolu veya bilinmeyen olup olmadığını tanımlar. Nav2 haritalama ve konumlandırma kılavuzu, doluluk ızgaralarının yol planlamayı nasıl desteklediğini açıklar. Semantik bir harita ayrıca duvarı kişiden veya sürülebilir yolu kaldırımdan ayırt edebilir.
• Örnek segmentasyonu, iki farklı araba gibi tek tek nesneleri birbirinden ayırır. Semantik segmentasyon ise her iki arabayı tek bir piksel sınıfı altında gruplandırır. Semantik haritalar, nesne kimliğinin korunmasının gerekip gerekmediğine bağlı olarak bu temsillerden herhangi birini kullanabilir.
• Semantik arama, bilgileri kavramsal benzerliğe göre düzenlerken robotikte semantik haritalama anlamları fiziksel konumlarla ilişkilendirir.

Gerçek Dünya Uygulamaları#

Otonom gezinme: Bir teslimat robotu zeminleri geçilebilir, duvarları ve bordürleri engel, insanları ise dinamik tehlike olarak etiketleyebilir. Bu etiketler gezinme maliyetlerine dönüştürülebilir; böylece planlayıcı görünen her bölgeye aynı şekilde davranmak yerine güvenli yüzeyleri tercih eder. Nav2 semantik segmentasyonla gezinme eğitimi, sınıf maskelerinin ve hizalanmış nokta bulutlarının bir robotun maliyet haritasını nasıl güncelleyebileceğini gösterir.

Kentsel sürüş: Otonom bir araç; yol, kaldırım, bina, bitki örtüsü, yaya ve araç tahminlerini kalıcı bir dünya haritasına yansıtabilir. Bu, sistemin şerit sınırlarını anlamasına, sürülemeyen alanları tanımasına ve savunmasız yol kullanıcılarının nerede ortaya çıkabileceğini değerlendirmesine yardımcı olur. Resmî Cityscapes kentsel sahne veri kümesi, bu tür bir sahne anlayışı geliştirmek için yoğun şekilde etiketlenmiş sokak görüntüleri sağlar.

Ultralytics YOLO ile Semantik Algılama#

Aşağıdaki Ultralytics semantik segmentasyon iş akışı, YOLO26 kullanarak yoğun bir sınıf haritası oluşturur. Bu çıktı daha sonra bir haritalama işlem hattı tarafından 2B ızgaraya veya 3B dünya koordinat sistemine yansıtılabilir.

from ultralytics import YOLO

# Load a pretrained semantic segmentation model
model = YOLO("yolo26n-sem.pt")

# Predict a per-pixel class map
results = model("https://ultralytics.com/images/bus.jpg")

# Select the first result and inspect its map dimensions
result = results[0]
class_map = result.semantic_mask.data
print(class_map.shape)

result.save(filename="semantic_scene.jpg")

semantic_mask, her görüntü pikseli için bir sınıf kimliği içerir. Bu, semantik algılama katmanını sağlar; kalıcı bir uzamsal harita oluşturmak için derinlik, kalibrasyon, konumlandırma ve zamansal birleştirme yine gereklidir. Özel piksel düzeyindeki veri kümeleri Ultralytics Platform açıklama araçları ile etiketlenebilir ve yönetilebilir.

Uygulamalı Tasarım Hususları#

Güvenilir semantik haritalar tutarlı sınıf tanımları, doğru sensör kalibrasyonu, senkronize zaman damgaları ve temsili eğitim verileri gerektirir. Poz sürüklenmesi doğru etiketleri yanlış konumlara yerleştirebilirken segmentasyon hataları engelleri geçilebilir alan olarak işaretleyebilir. Dinamik nesneler için ayrıca süre dolumu veya izleme kuralları gerekir; böylece park edilmiş bir araç ya da yaya haritaya kalıcı olarak gömülü kalmaz.

Ekipler hem algılama doğruluğunu hem de uzamsal tutarlılığı doğrulamalı, zorlu sınırları ve küçük yapıları test etmeli, mümkün olduğunda tahmin güvenini korumalı ve çelişen gözlemlerin nasıl güncelleneceğini tanımlamalıdır. Güvenlik açısından kritik gezinmede semantik bilgiler, geometrik engel algılamasını ve çarpışma kontrollerini otomatik olarak ikame etmek yerine bunları tamamlamalıdır.