Visual SLAM (Simultaneous Localization and Mapping)
Visual SLAMは、画像からカメラの姿勢を追跡しながら、未知の空間のマップを構築します。トラッキング、ループ閉じ込み、スケール、ディープSLAMについて解説します。
ビジュアルSLAM(同時自己位置推定・地図作成)は、主なセンサーとして画像を使い、未知の環境の地図を作りながら、その環境内におけるカメラ自身の位置と向きを追跡する課題です。2つの処理は相互に依存します。カメラの位置特定には地図が必要であり、地図の作成にはカメラがどこにあったかを知る必要があります。ビジュアルSLAMシステムでは、単眼カメラ、ステレオカメラ、または距離も測定するRGB-Dカメラを使います。多くのシステムは慣性計測ユニット (IMU) も融合します。これはビジュアル慣性SLAMと呼ばれ、永続的な地図を作らない場合はビジュアル慣性オドメトリと呼ばれます。スマートフォンやヘッドセットは拡張現実コンテンツの位置合わせに使い、AppleのARKitはカメラ特徴とモーションセンサーデータを融合します。また、ロボットやドローンは、GPSが使えない場所でのナビゲーションに利用します。
ビジュアルSLAMの仕組み#
一般的なシステムでは、トラッキング、マッピング、ループクロージャを並列プロセスとして実行します。2007年の拡張現実システムPTAMは、この方法でトラッキングとマッピングを分離しました。ORB-SLAM3をはじめとする後続の特徴ベースシステムの多くも、同じ設計を採用しています。
- トラッキング: 各フレームでフロントエンドがORBコーナーなどの特徴を検出し、それらを地図または前のフレームと対応付け、カメラの6自由度姿勢を推定します。このフレーム間推定だけを行うものがビジュアルオドメトリです。DSOなどのダイレクト法は特徴を使わず、代わりにピクセル輝度を位置合わせします。
- ローカルマッピング: 選択されたキーフレームは、対応する特徴を三角測量して新しい3D点を追加します。バンドル調整では、再投影誤差を最小化するため、近傍のカメラ姿勢と点をまとめて最適化します。
- ループクロージャ: 小さな誤差が積み重なってドリフトになります。通常はキーフレームのコンパクトな外観記述子を比較して、システムが以前に見た場所を認識すると、2回の訪問間に制約を追加し、地図が再び整合するよう軌跡全体を最適化します。
2つの視点からの動きとスケールの問題#
トラッキングの中核となるのは、エピポーラ幾何に基づく2視点幾何です。2つのフレーム間で対応付けた特徴から、基本行列を使ってカメラの回転と並進方向を表します。このOpenCVの例では、合成3Dランドマークをノイズ付きで2つのフレームに投影し、その間の動きを復元します。
import cv2
import numpy as np
rng = np.random.default_rng(0)
K = np.array([[500.0, 0, 320], [0, 500.0, 240], [0, 0, 1]]) # camera intrinsics for a 640x480 image
points = rng.uniform([-1.8, -1.4, 3], [1.8, 1.4, 6], (200, 3)) # static 3D landmarks 3-6 m ahead
# Between frames the camera turns 5 degrees and moves 0.3 m to the right
R_true = cv2.Rodrigues(np.array([0.0, np.radians(5), 0.0]))[0]
t_true = np.array([-0.3, 0.0, 0.0])
def project(X, R, t):
"""Project 3D points to pixels and add 0.5 px of feature-detection noise."""
x = (K @ (X @ R.T + t).T).T
return x[:, :2] / x[:, 2:] + rng.normal(0, 0.5, (len(X), 2))
pts1, pts2 = project(points, np.eye(3), np.zeros(3)), project(points, R_true, t_true)
# Two-view motion estimate: essential matrix from matched features, then the relative pose
E, inliers = cv2.findEssentialMat(pts1, pts2, K, method=cv2.RANSAC, threshold=1.0)
_, R, t, _ = cv2.recoverPose(E, pts1, pts2, K, mask=inliers)
print(f"Rotation: {np.degrees(np.linalg.norm(cv2.Rodrigues(R)[0])):.2f} deg (true 5.00)")
print(f"Translation: {t.ravel().round(2).tolist()}, length {np.linalg.norm(t):.2f} (true length 0.30 m)")実際の5.00度に対して5.72度の回転と、実際の[-1, 0, 0]に対して[-1.0, -0.09, 0.02]の並進方向を復元しますが、並進の長さは常に1です。単一のカメラでは、近くの物体のそばを0.3 m移動した場合と、10倍遠い物体のそばを3 m移動した場合を区別できません。そのため単眼SLAMでは、起動時にスケールを任意に固定し、そのスケールは時間とともにドリフトします。ステレオベースライン、深度センサー、またはIMUがメートル単位のスケールを与えます。
動的シーンとセマンティックSLAM#
多くのSLAMパイプラインは世界が静止していると仮定するため、歩行者や通過する車の特徴が姿勢推定を狂わせます。セマンティックSLAMシステムはセグメンテーションで移動可能な物体を見つけ、それらの特徴を無視します。DynaSLAMは2018年、Mask R-CNNのマスクをORB-SLAM2に追加しました。Ultralytics YOLO26のセグメンテーションモデルも、同じ処理をリアルタイムのフレームレートで実行し、特徴抽出を静的なシーンに限定するマスクを生成します。
import cv2
import numpy as np
from ultralytics import YOLO
model = YOLO("yolo26n-seg.pt")
results = model("https://ultralytics.com/images/bus.jpg", classes=[0, 1, 2, 3, 5, 7]) # people and vehicles
result = results[0]
# Static-scene mask: 255 where SLAM may extract features, 0 on objects that can move
static = np.full(result.orig_shape, 255, np.uint8)
for polygon in result.masks.xy:
cv2.fillPoly(static, [polygon.astype(np.int32)], 0)
orb = cv2.ORB_create()
gray = cv2.cvtColor(result.orig_img, cv2.COLOR_BGR2GRAY)
keypoints = orb.detect(gray, None)
on_moving = sum(static[int(k.pt[1]), int(k.pt[0])] == 0 for k in keypoints)
print(f"{on_moving} of {len(keypoints)} ORB features fall on people or vehicles")
# The SLAM front-end extracts features only where the mask allows
static_keypoints = orb.detect(gray, static)
cv2.imwrite("static_features.jpg", cv2.drawKeypoints(result.orig_img, static_keypoints, None))出力される数値は、何もしなければ移動物体から得られる特徴の割合を示し、static_features.jpgはトラッキングに残された特徴を示します。ラベル付きマスクを使えば、セマンティックマッピングで物体クラスを地図自体に付加することもできます。
ビジュアルSLAMと関連技術の比較#
- LiDAR SLAM: レーザーパルスで距離を直接測定するため、メートル単位のスケールを得られ、暗所でも動作しますが、センサーのコストと消費電力は高くなります。ビジュアルSLAMは安価なカメラを使って外観を捉えるため、再訪した場所の認識に役立ちますが、低照度、モーションブラー、白い壁のようなテクスチャのないシーンでは苦戦します。
- ビジュアルオドメトリ: トラッキングのフロントエンドのみを指し、動きを推定しますが、グローバルマップを保持せず、ループクロージャによるドリフトの補正もできません。
- Structure from motion (SfM): 順序が決まっていない写真コレクションからオフラインでシーンを再構築します。一方、SLAMは到着したフレームを順番に処理します。
- 物体追跡: 動画フレーム間で特定の物体を追跡します。SLAMでは、静的な世界に対するカメラ自体の位置を追跡します。
古典的手法と学習ベース手法#
単眼、ステレオ、RGB-D、ビジュアル慣性の各構成に対応するORB-SLAM3などの特徴ベースシステムは、テクスチャのあるシーンで高速かつ高精度なため、今も広く使われています。学習ベースのシステムは、手作業で設計された部分をニューラルネットワークに置き換えます。DROID-SLAM(2021年)は、微分可能なバンドル調整レイヤーを通して高密度のオプティカルフロー更新を反復します。近年のシステムには、地図をガウススプラットやニューラルラディアンスフィールドとして保存し、フォトリアリスティックな地図を生成して新しい視点からレンダリングできるものもあります。CVPR 2025の注目論文であるMASt3R-SLAMは、学習済みの2視点3D再構築モデルMASt3Rを基盤とし、固定されたパラメトリックカメラモデルを仮定せずに、15 FPSで高密度な単眼SLAMを実行します。










