Semantic Mapping

Anlamsal haritalama, her konuma geometrisinin yanı sıra yol, kaldırım, duvar, kapı, sandalye veya kişi gibi sınıf etiketiyle bir anlamın atandığı bir ortamın mekânsal haritasını oluşturma sürecidir. Geometrik harita robota yüzeylerin nerede olduğunu söyler; anlamsal harita ise bunların ne olduğunu da bildirir. Böylece robot "mutfak masasına git" isteğini izleyebilir, çimlere basmayabilir veya yaya geçidi yakınlarında yayalar olmasını bekleyebilir. Anlamsal haritalar, anlamsal bölümleme veya nesne algılamayı derinlik algılama ve konum belirlemeyle birleştirir; robotik, otonom araçlar ve mekânsal bilişim için algının temel bileşenidir.

Anlamsal Haritalama Nasıl Çalışır#

Her yeni kamera karesi üç adımdan geçer. Bir bölümleme modeli her piksele bir sınıf etiketi atar. LiDAR, stereo veya RGB-D kameradan alınan derinlik ya da tek kameralı derinlik tahmini, etiketli pikselleri 3B noktalara dönüştürür; görsel SLAM veya odometriyle tahmin edilen robotun duruşu bu noktaları ortak haritanın hücrelerine yerleştirir. Son olarak, zaman içindeki sensör füzyonu yeni etiketleri her hücrenin şimdiye dek biriktirdiği bilgilerle birleştirir; hareketli nesneler ayrı ele alınır, böylece yanından geçen kişi kalıcı bir duvara dönüşmez.

Cityscapes üzerinde önceden eğitilmiş Ultralytics YOLO26 anlamsal bölümleme modelleri, yol, kaldırım, bina, bitki örtüsü, kişi ve araba dâhil 19 kentsel sınıftan biriyle her pikseli etiketler; sokak düzeyindeki anlamsal haritanın birleştirdiği kare başına girdi budur.

Gürültülü kare başına tahminleri güvenilir bir haritaya dönüştüren şey füzyondur. Imperial College London'dan John McCormac ve çalışma arkadaşlarının 2017'de geliştirdiği SemanticFusion, her yüzey öğesi için sınıflar üzerinde bir olasılık dağılımı tuttu ve her yeni ağ tahminini özyinelemeli bir Bayes güncellemesiyle bu dağılıma çarptı. Bu simülasyon, bir bölümleme modelinin %70 doğrulukla gözlemlediği 1.000 hücreli bir haritaya aynı güncellemeyi uygular:

import numpy as np

rng = np.random.default_rng(0)
num_cells, num_classes = 1000, 4  # map cells; classes such as road, sidewalk, building, vegetation
truth = rng.integers(0, num_classes, num_cells)

# Sensor model: segmentation labels a cell correctly 70% of the time, otherwise picks another class
likelihood = np.full((num_classes, num_classes), 0.1)
np.fill_diagonal(likelihood, 0.7)
log_belief = np.zeros((num_cells, num_classes))  # uniform prior in every cell

for frame in range(1, 11):
    # A new frame observes every cell from a new viewpoint, with independent errors
    wrong = rng.random(num_cells) > 0.7
    labels = np.where(wrong, (truth + rng.integers(1, num_classes, num_cells)) % num_classes, truth)

    # Recursive Bayesian update: add the log-likelihood of this observation to each cell's belief
    log_belief += np.log(likelihood[labels])
    if frame in (1, 3, 10):
        print(f"Frame {frame:>2}: {(log_belief.argmax(axis=1) == truth).mean():.1%} of cells correct")

Harita bir kareden sonra %69,6, üç kareden sonra %80,6 ve on kareden sonra %98,2 doğruluk sağlar. Bu kazanım, gözlemler arasındaki hataların değişmesine bağlıdır; bu nedenle füzyon en çok robot her yeri farklı bakış açılarından gördüğünde fayda sağlar. Modelin her açıdan tekrarladığı bir hata ise haritada kalır. SemanticFusion aynı örüntüyü bildirmiş, bakış açısı çeşitliliği daha yüksek bir veri kümesinde tek karelik etiketlere kıyasla daha büyük bir iyileşme göstermiştir.

Harita Gösterimleri ve İlişkili Kavramlar#

Anlamsal haritalar, her doluluk haritası hücresinin bir sınıf da sakladığı 2B ızgaralardan etiketli 3B nokta bulutlarına, voksel ve ağlara kadar çeşitlilik gösterir. MIT'nin Kimera sistemi gerçek zamanlı metrik-anlamsal 3B ağlar oluşturur; 3B sahne grafikleri de aynı bilgileri ilişkilerle birbirine bağlanan nesneler, odalar ve binalar hâlinde düzenler. Açık sözcük dağarcıklı haritalar sabit sınıflar yerine CLIP gömmelerini saklar; böylece robot, haritada "yangın söndürücü" gibi herhangi bir metin sorgusunu arayabilir.

Anlamsal haritalama, ilişkili birkaç görev üzerine kurulur. Görsel SLAM, kamera pozlarını ve geometrik haritayı sağlar. Doluluk haritalama yalnızca alanın boş, dolu veya bilinmez olduğunu kaydeder. Örnek bölümleme ve panoptik bölümleme, nesneleri tek tek ayırır; nesne düzeyindeki haritalar sandalyeleri saymak veya park edilmiş arabaları izlemek için buna ihtiyaç duyar. Anlamsal arama ise yalnızca aynı sözcüğü paylaşan, ilgisiz bir erişim tekniğidir.

Gerçek Dünya Uygulamaları#

• Otonom sürüş: Yüksek çözünürlüklü haritalar şeritleri, yaya geçitlerini, trafik ışıklarını ve kaldırımları santimetre düzeyinde doğrulukla kaydeder; çevrimiçi anlamsal haritalama ise aynı öğelerin kuş bakışı haritasını aracın kendi sensörlerinden oluşturur.
• Mobil robotlar: ROS 2 navigasyon yığını Nav2, her sınıfa geçiş maliyeti atayan bir anlamsal bölümleme maliyet haritası katmanı sunar; böylece robot tercih edilen yüzeylerden geçen yollar planlayabilir.
• Tarım: Tarla robotları ve dronlar, hedefli ilaçlama ve verim tahmini için ekinlerin ve yabani otların haritasını sıra sıra çıkarır.
• Artırılmış gerçeklik: Apple'ın ARKit'i, yeniden oluşturduğu oda ağının her yüzünü duvar, zemin, tavan, masa, koltuk, pencere, kapı veya hiçbiri olarak sınıflandırır.