Visual SLAM (Simultaneous Localization and Mapping)
Görsel SLAM, görüntülerden kameranın pozunu izlerken bilinmeyen bir alanın haritasını oluşturur. İzleme, döngü kapatma, ölçek ve derin SLAM ele alınır.
Görsel SLAM (eşzamanlı konum belirleme ve haritalama), temel sensör olarak görüntüleri kullanarak bilinmeyen bir ortamın haritasını oluştururken kameranın ortamdaki konumunu ve yönelimini izleme problemidir. İki bölüm birbirine bağlıdır: kameranın konumunu bulmak için bir harita, haritayı oluşturmak içinse kameranın nerede olduğunu bilmek gerekir. Görsel SLAM sistemleri tek (monoküler) kamera, bir stereo çifti veya derinliği de ölçen RGB-D kamera kullanır; çoğu ayrıca eylemsizlik ölçüm birimini (IMU) birleştirir. Bu yaklaşım görsel-eylemsel SLAM ya da kalıcı bir harita olmadığında görsel-eylemsel odometri olarak adlandırılır. Telefonlar ve başlıklar, artırılmış gerçeklik içeriğini sabitlemek için bu teknolojiyi kullanır; Apple'ın ARKit yazılımı da bunu kamera özelliklerini hareket sensörü verileriyle birleştirerek yapar. Robotlar ve dronlar ise GPS'in kullanılamadığı yerlerde gezinmek için SLAM'den yararlanır.
Görsel SLAM Nasıl Çalışır#
Tipik bir sistem izleme, haritalama ve döngü kapatmayı paralel süreçler olarak çalıştırır. 2007'de geliştirilmiş bir artırılmış gerçeklik sistemi olan PTAM, izlemeyi haritalamadan bu şekilde ayırdı; ORB-SLAM3 ve daha sonraki özellik tabanlı sistemlerin çoğu da aynı tasarımı izler:
- İzleme: Ön uç, her karede ORB köşeleri gibi özellikleri algılar, bunları haritayla veya önceki kareyle eşleştirir ve kameranın altı serbestlik dereceli pozunu tahmin eder. Bu kareden kareye tahmin tek başına görsel odometridir. DSO gibi doğrudan yöntemler özellikleri atlayıp bunun yerine piksel yoğunluklarını hizalar.
- Yerel haritalama: Seçilen anahtar kareler, eşleştirilmiş özellikleri üçgenleyerek yeni 3B noktalar ekler; demet ayarlama ise yeniden izdüşüm hatasını en aza indirmek için yakındaki kamera pozlarını ve noktaları birlikte iyileştirir.
- Döngü kapatma: Küçük hatalar zamanla birikerek sapmaya dönüşür. Sistem daha önce gördüğü bir yeri, genellikle anahtar karelerin kompakt görünüm tanımlayıcılarını karşılaştırarak tanıdığında, iki ziyaret arasına bir kısıt ekler ve haritanın yeniden hizalanması için tüm yörüngeyi optimize eder.
İki Görünümden Hareket ve Ölçek Sorunu#
İzleme adımının temeli, epipolar geometriden yararlanan iki görünüm geometrisidir: iki kare arasında eşleştirilen özelliklerden temel matris, kameranın dönüşünü ve öteleme yönünü kodlar. Bu OpenCV örneği, sentetik 3B işaret noktalarını gürültü ekleyerek iki kareye yansıtır ve aradaki hareketi geri çıkarır:
import cv2
import numpy as np
rng = np.random.default_rng(0)
K = np.array([[500.0, 0, 320], [0, 500.0, 240], [0, 0, 1]]) # camera intrinsics for a 640x480 image
points = rng.uniform([-1.8, -1.4, 3], [1.8, 1.4, 6], (200, 3)) # static 3D landmarks 3-6 m ahead
# Between frames the camera turns 5 degrees and moves 0.3 m to the right
R_true = cv2.Rodrigues(np.array([0.0, np.radians(5), 0.0]))[0]
t_true = np.array([-0.3, 0.0, 0.0])
def project(X, R, t):
"""Project 3D points to pixels and add 0.5 px of feature-detection noise."""
x = (K @ (X @ R.T + t).T).T
return x[:, :2] / x[:, 2:] + rng.normal(0, 0.5, (len(X), 2))
pts1, pts2 = project(points, np.eye(3), np.zeros(3)), project(points, R_true, t_true)
# Two-view motion estimate: essential matrix from matched features, then the relative pose
E, inliers = cv2.findEssentialMat(pts1, pts2, K, method=cv2.RANSAC, threshold=1.0)
_, R, t, _ = cv2.recoverPose(E, pts1, pts2, K, mask=inliers)
print(f"Rotation: {np.degrees(np.linalg.norm(cv2.Rodrigues(R)[0])):.2f} deg (true 5.00)")
print(f"Translation: {t.ravel().round(2).tolist()}, length {np.linalg.norm(t):.2f} (true length 0.30 m)")Gerçek 5,00 dereceye karşılık 5,72 derecelik bir dönüş ve gerçek [-1, 0, 0] değerine karşılık [-1.0, -0.09, 0.02] yönünde bir öteleme bulur; ancak ötelemenin uzunluğu her zaman 1'dir. Tek bir kamera, yakındaki nesnelerin yanından 0,3 m ilerlemeyi nesnelerin on kat daha uzakta olduğu bir ortamda 3 m ilerlemekten ayırt edemez; bu nedenle monoküler SLAM başlangıçta ölçeği keyfî olarak sabitler ve ölçek zamanla kayar. Stereo baz çizgisi, derinlik sensörü veya IMU metrik ölçeği sağlar.
Dinamik Sahneler ve Anlamsal SLAM#
Çoğu SLAM işlem hattı dünyanın durağan olduğunu varsayar; bu nedenle yürüyen insanların ve geçen arabaların üzerindeki özellikler poz tahminini saptırır. Anlamsal SLAM sistemleri, hareketli nesneleri bulmak için segmentasyon kullanır ve üzerlerindeki özellikleri yok sayar; DynaSLAM, bu amaçla 2018'de ORB-SLAM2'ye Mask R-CNN maskeleri ekledi. Bir Ultralytics YOLO26 segmentasyon modeli aynı işi gerçek zamanlı kare hızlarında yapar ve özellik çıkarımını statik sahneyle sınırlayan bir maske üretir:
import cv2
import numpy as np
from ultralytics import YOLO
model = YOLO("yolo26n-seg.pt")
results = model("https://ultralytics.com/images/bus.jpg", classes=[0, 1, 2, 3, 5, 7]) # people and vehicles
result = results[0]
# Static-scene mask: 255 where SLAM may extract features, 0 on objects that can move
static = np.full(result.orig_shape, 255, np.uint8)
for polygon in result.masks.xy:
cv2.fillPoly(static, [polygon.astype(np.int32)], 0)
orb = cv2.ORB_create()
gray = cv2.cvtColor(result.orig_img, cv2.COLOR_BGR2GRAY)
keypoints = orb.detect(gray, None)
on_moving = sum(static[int(k.pt[1]), int(k.pt[0])] == 0 for k in keypoints)
print(f"{on_moving} of {len(keypoints)} ORB features fall on people or vehicles")
# The SLAM front-end extracts features only where the mask allows
static_keypoints = orb.detect(gray, static)
cv2.imwrite("static_features.jpg", cv2.drawKeypoints(result.orig_img, static_keypoints, None))Yazdırılan sayı, başka türlü hareketli nesnelerden gelecek özelliklerin oranıdır; static_features.jpg ise izleme için geriye kalan özellikleri gösterir. Etiketli maskeler, anlamsal haritalamanın nesne sınıflarını haritanın kendisine eklemesini de sağlar.
Görsel SLAM ve İlgili Teknikler#
- LiDAR SLAM: Uzaklıkları lazer darbeleriyle doğrudan ölçer; bu nedenle metrik ölçeğe sahiptir ve karanlıkta çalışır, ancak sensör maliyeti ve güç tüketimi daha yüksektir. Görsel SLAM ucuz kameralar kullanır ve görünümü yakalar; bu, daha önce ziyaret edilen yerleri tanımaya yardımcı olur, ancak düşük ışıkta, hareket bulanıklığında ve boş duvarlar gibi dokusuz sahnelerde zorlanır.
- Görsel odometri: Hareketi tahmin eden ancak küresel harita tutmayan ve döngü kapatma yoluyla sapmayı düzeltemeyen, yalnızca izleme ön ucudur.
- Hareketten yapı (SfM): Sırasız bir fotoğraf koleksiyonundan çevrimdışı olarak sahne oluşturur; SLAM ise kareleri geldikleri sırayla işler.
- Nesne takibi: Belirli nesneleri video kareleri boyunca izler. SLAM, kameranın kendisini durağan dünyaya göre izler.
Klasik ve Öğrenilmiş Yaklaşımlar#
Monoküler, stereo, RGB-D ve görsel-eylemsel kurulumları destekleyen ORB-SLAM3 gibi özellik tabanlı sistemler, dokulu sahnelerde hızlı ve doğru oldukları için yaygın biçimde kullanılmaya devam ediyor. Öğrenilmiş sistemler, elle tasarlanmış bileşenleri sinir ağlarıyla değiştirir: DROID-SLAM (2021), yoğun optik akış güncellemelerini türevlenebilir bir demet ayarlama katmanından geçirerek yinelemeli biçimde uygular. Yakın tarihli başka sistemler haritayı Gaussian benekleri veya sinirsel ışınım alanları olarak saklar ve yeni bakış açılarından işlenebilen fotoğraf gerçekliğinde haritalar üretir. CVPR 2025'te öne çıkan MASt3R-SLAM, sabit parametrik bir kamera modeli varsaymadan 15 FPS'de yoğun monoküler SLAM çalıştırmak için öğrenilmiş iki görünüm 3B yeniden yapılandırma modeli MASt3R'ı temel alır.










