Semantic Mapping

Anlamsal haritalama, bir çevrenin uzamsal temsilini oluşturma ve bu çevre içindeki konumlara yol, duvar, kapı, insan, raf veya bitki örtüsü gibi anlamlı sınıf etiketleri atama sürecidir. Yapay zeka ve robotikte anlamsal bir harita hem "Bir şey nerede?" hem de "O nedir?" sorularını yanıtlar. Bir sahnede yalnızca dolu ve boş alanları temsil etmek yerine, navigasyonu, planlamayı, etkileşimi ve sahne anlamlandırmayı destekleyen bağlamsal bilgi sağlar.

Anlamsal Haritalama Nasıl Çalışır?#

Anlamsal haritalama sistemi genellikle algıyı, geometridir, yerelleştirmeyi ve zamansal füzyonu birleştirir. İlk olarak, bir semantic segmentation model her görüntü pikselini sınıflandırır. Örneğin "yol" olarak etiketlenen tüm pikseller bir yol bölgesi oluştururken, "araba" olarak etiketlenen pikseller araç bölgelerini belirler. NVIDIA introduction to image segmentation in robotics, bu piksel bazlı etiketlerin robot algısını nasıl desteklediğini göstermektedir.

Piksel etiketleri tek başına iki boyutlu bir kamera görüntüsüne bağlı kalır. Sistemin pikselleri fiziksel konumlarla ilişkilendirmek için genellikle LiDAR, stereo kameralar veya depth estimation verilerinden elde edilen geometriye ihtiyacı vardır. Open3D RGB-D image workflow, hizalanmış renk ve derinlik görüntüleri ile 3D nokta bulutunun nasıl üretilebileceğini göstermektedir.

Doğru projeksiyon aynı zamanda kamera iç ve dış parametrelerine de bağlıdır. OpenCV camera calibration documentation, görüntü piksellerini 3D noktalarla ilişkilendirmek için kullanılan parametreleri açıklarken, ROS CameraInfo message definition bu kalibrasyon bilgisini robotik sistemlerde standart hale getirir.

Son olarak, sensor fusion zaman içindeki gözlemleri birleştirir. Robot pozları ve koordinat dönüşümleri, etiketlenmiş her gözlemi paylaşılan bir harita çerçevesine yerleştirir. ROS tf2 coordinate transforms, bu ilişkileri sürdürmek için yaygın bir mekanizma sağlar.

İlgili Kavramlar ve Temel Farklar#

Anlamsal haritalama, birkaç bilgisayarlı görü ve robotik kavramıyla örtüşür ancak bunlar farklı sorunları çözer:

• Visual SLAM, geometrik bir harita oluştururken bir kameranın veya robotun konumunu tahmin eder. Anlamsal haritalama ise bu geometriye sınıf anlamı ekler. Dolayısıyla bir sistem poz tahmini için SLAM'i ve etiketleme için anlamsal algıyı kullanabilir.
• Doluluk haritalaması (Occupancy mapping), hücrelerin boş, dolu veya bilinmeyen durumda olup olmadığını tanımlar. Nav2 mapping and localization guide, doluluk ızgaralarının yol planlamasını nasıl desteklediğini açıklar. Anlamsal bir harita ayrıca bir duvarı bir insandan veya sürülebilir bir yoldan bir kaldırımdan ayırt edebilir.
• Instance segmentation, iki farklı araba gibi bireysel nesneleri birbirinden ayırır. Anlamsal segmentasyon ise her iki arabayı da tek bir piksel sınıfı altında gruplandırır. Anlamsal haritalar, nesne kimliğinin korunup korunmamas gerektiğine bağlı olarak her iki temsili de kullanabilir.
• Anlamsal arama (Semantic search) bilgileri kavramsal benzerliğe göre düzenlerken, robotikteki anlamsal haritalama anlamları fiziksel konumlarla ilişkilendirir.

Gerçek Dünya Uygulamaları#

Otonom navigasyon: Bir teslimat robotu zeminleri geçilebilir olarak, duvarları ve bordürleri engel olarak ve insanları dinamik tehlikeler olarak etiketleyebilir. Bu etiketler, planlayıcının görünen her bölgeye aynı şekilde davranmak yerine güvenli yüzeyleri tercih etmesi için navigasyon maliyetlerine dönüştürülebilir. Nav2 semantic segmentation navigation tutorial, sınıf maskelerinin ve hizalanmış nokta bulutlarının bir robotun maliyet haritasını nasıl güncelleyebileceğini gösterir.

Kentsel sürüş: Otonom bir araç, yol, kaldırım, bina, bitki örtüsü, yaya ve araç tahminlerini kalıcı bir dünya haritasına yansıtabilir. Bu, sistemin şerit sınırlarını anlamasına, sürüşe uygun olmayan alanları tanımasına ve savunmasız yol kullanıcılarının nerede ortaya çıkabileceği konusunda mantık yürütmesine yardımcı olur. Resmi Cityscapes urban-scene dataset, bu tür bir sahne anlama yeteneğini geliştirmek için yoğun bir şekilde etiketlenmiş sokak görüntüleri sağlar.

Ultralytics YOLO ile Anlamsal Algı#

Aşağıdaki Ultralytics semantic segmentation workflow, YOLO26 kullanarak yoğun bir sınıf haritası üretir. Bu çıktı daha sonra bir haritalama boru hattı tarafından 2D bir ızgaraya veya 3D dünya koordinat sistemine yansıtılabilir.

from ultralytics import YOLO

# Load a pretrained semantic segmentation model
model = YOLO("yolo26n-sem.pt")

# Predict a per-pixel class map
results = model("https://ultralytics.com/images/bus.jpg")

# Select the first result and inspect its map dimensions
result = results[0]
class_map = result.semantic_mask.data
print(class_map.shape)

result.save(filename="semantic_scene.jpg")

semantic_mask her görüntü pikseli başına bir sınıf kimliği içerir. Kalıcı bir uzamsal harita oluşturmak için derinlik, kalibrasyon, yerelleştirme ve zamansal füzyon hala gerekli olsa da, bu maske anlamsal algı katmanını sağlar. Özel piksel düzeyindeki veri kümeleri Ultralytics Platform annotation tools ile etiketlenebilir ve yönetilebilir.

Pratik Tasarım Hususları#

Güvenilir anlamsal haritalar tutarlı sınıf tanımları, doğru sensör kalibrasyonu, senkronize edilmiş zaman damgaları ve temsil edici eğitim verileri gerektirir. Poz kayması doğru etiketleri yanlış konumlara yerleştirebilirken, segmentasyon hataları engelleri geçilebilir alan olarak işaretleyebilir. Dinamik nesneler ayrıca sona erme veya izleme kuralları gerektirir, böylece park etmiş bir araç veya yaya haritada kalıcı olarak gömülü kalmaz.

Ekipler hem algı doğruluğunu hem de uzamsal tutarlılığı doğrulamalı, zorlu sınırları ve küçük yapıları test etmeli, mümkün olan yerlerde tahmin güvenini korumalı ve çelişkili gözlemlerin nasıl güncelleneceğini tanımlamalıdır. Güvenlik açısından kritik olan navigasyon için anlamsal bilgiler, geometrik engel algılama ve çarpışma kontrollerinin yerini otomatik olarak almamalı, bunları tamamlamalıdır.