YOLOのライセンス
Ultralytics用語集に戻る

Visual SLAM (Simultaneous Localization and Mapping)

Visual SLAMは、画像からカメラの姿勢を追跡しながら、未知の空間のマップを構築します。トラッキング、ループ閉じ込み、スケール、ディープSLAMについて解説します。

ビジュアルSLAM(同時自己位置推定・地図作成)は、主なセンサーとして画像を使い、未知の環境の地図を作りながら、その環境内におけるカメラ自身の位置と向きを追跡する課題です。2つの処理は相互に依存します。カメラの位置特定には地図が必要であり、地図の作成にはカメラがどこにあったかを知る必要があります。ビジュアルSLAMシステムでは、単眼カメラ、ステレオカメラ、または距離も測定するRGB-Dカメラを使います。多くのシステムは慣性計測ユニット (IMU) も融合します。これはビジュアル慣性SLAMと呼ばれ、永続的な地図を作らない場合はビジュアル慣性オドメトリと呼ばれます。スマートフォンやヘッドセットは拡張現実コンテンツの位置合わせに使い、AppleのARKitはカメラ特徴とモーションセンサーデータを融合します。また、ロボットやドローンは、GPSが使えない場所でのナビゲーションに利用します。

ビジュアルSLAMの仕組み#

一般的なシステムでは、トラッキング、マッピング、ループクロージャを並列プロセスとして実行します。2007年の拡張現実システムPTAMは、この方法でトラッキングとマッピングを分離しました。ORB-SLAM3をはじめとする後続の特徴ベースシステムの多くも、同じ設計を採用しています。

  • トラッキング: 各フレームでフロントエンドがORBコーナーなどの特徴を検出し、それらを地図または前のフレームと対応付け、カメラの6自由度姿勢を推定します。このフレーム間推定だけを行うものがビジュアルオドメトリです。DSOなどのダイレクト法は特徴を使わず、代わりにピクセル輝度を位置合わせします。
  • ローカルマッピング: 選択されたキーフレームは、対応する特徴を三角測量して新しい3D点を追加します。バンドル調整では、再投影誤差を最小化するため、近傍のカメラ姿勢と点をまとめて最適化します。
  • ループクロージャ: 小さな誤差が積み重なってドリフトになります。通常はキーフレームのコンパクトな外観記述子を比較して、システムが以前に見た場所を認識すると、2回の訪問間に制約を追加し、地図が再び整合するよう軌跡全体を最適化します。

2つの視点からの動きとスケールの問題#

トラッキングの中核となるのは、エピポーラ幾何に基づく2視点幾何です。2つのフレーム間で対応付けた特徴から、基本行列を使ってカメラの回転と並進方向を表します。このOpenCVの例では、合成3Dランドマークをノイズ付きで2つのフレームに投影し、その間の動きを復元します。

import cv2
import numpy as np

rng = np.random.default_rng(0)
K = np.array([[500.0, 0, 320], [0, 500.0, 240], [0, 0, 1]])  # camera intrinsics for a 640x480 image
points = rng.uniform([-1.8, -1.4, 3], [1.8, 1.4, 6], (200, 3))  # static 3D landmarks 3-6 m ahead

# Between frames the camera turns 5 degrees and moves 0.3 m to the right
R_true = cv2.Rodrigues(np.array([0.0, np.radians(5), 0.0]))[0]
t_true = np.array([-0.3, 0.0, 0.0])


def project(X, R, t):
    """Project 3D points to pixels and add 0.5 px of feature-detection noise."""
    x = (K @ (X @ R.T + t).T).T
    return x[:, :2] / x[:, 2:] + rng.normal(0, 0.5, (len(X), 2))


pts1, pts2 = project(points, np.eye(3), np.zeros(3)), project(points, R_true, t_true)

# Two-view motion estimate: essential matrix from matched features, then the relative pose
E, inliers = cv2.findEssentialMat(pts1, pts2, K, method=cv2.RANSAC, threshold=1.0)
_, R, t, _ = cv2.recoverPose(E, pts1, pts2, K, mask=inliers)
print(f"Rotation: {np.degrees(np.linalg.norm(cv2.Rodrigues(R)[0])):.2f} deg (true 5.00)")
print(f"Translation: {t.ravel().round(2).tolist()}, length {np.linalg.norm(t):.2f} (true length 0.30 m)")

実際の5.00度に対して5.72度の回転と、実際の[-1, 0, 0]に対して[-1.0, -0.09, 0.02]の並進方向を復元しますが、並進の長さは常に1です。単一のカメラでは、近くの物体のそばを0.3 m移動した場合と、10倍遠い物体のそばを3 m移動した場合を区別できません。そのため単眼SLAMでは、起動時にスケールを任意に固定し、そのスケールは時間とともにドリフトします。ステレオベースライン、深度センサー、またはIMUがメートル単位のスケールを与えます。

動的シーンとセマンティックSLAM#

多くのSLAMパイプラインは世界が静止していると仮定するため、歩行者や通過する車の特徴が姿勢推定を狂わせます。セマンティックSLAMシステムはセグメンテーションで移動可能な物体を見つけ、それらの特徴を無視します。DynaSLAMは2018年、Mask R-CNNのマスクをORB-SLAM2に追加しました。Ultralytics YOLO26のセグメンテーションモデルも、同じ処理をリアルタイムのフレームレートで実行し、特徴抽出を静的なシーンに限定するマスクを生成します。

import cv2
import numpy as np
from ultralytics import YOLO

model = YOLO("yolo26n-seg.pt")
results = model("https://ultralytics.com/images/bus.jpg", classes=[0, 1, 2, 3, 5, 7])  # people and vehicles
result = results[0]

# Static-scene mask: 255 where SLAM may extract features, 0 on objects that can move
static = np.full(result.orig_shape, 255, np.uint8)
for polygon in result.masks.xy:
    cv2.fillPoly(static, [polygon.astype(np.int32)], 0)

orb = cv2.ORB_create()
gray = cv2.cvtColor(result.orig_img, cv2.COLOR_BGR2GRAY)
keypoints = orb.detect(gray, None)
on_moving = sum(static[int(k.pt[1]), int(k.pt[0])] == 0 for k in keypoints)
print(f"{on_moving} of {len(keypoints)} ORB features fall on people or vehicles")

# The SLAM front-end extracts features only where the mask allows
static_keypoints = orb.detect(gray, static)
cv2.imwrite("static_features.jpg", cv2.drawKeypoints(result.orig_img, static_keypoints, None))

出力される数値は、何もしなければ移動物体から得られる特徴の割合を示し、static_features.jpgはトラッキングに残された特徴を示します。ラベル付きマスクを使えば、セマンティックマッピングで物体クラスを地図自体に付加することもできます。

  • LiDAR SLAM: レーザーパルスで距離を直接測定するため、メートル単位のスケールを得られ、暗所でも動作しますが、センサーのコストと消費電力は高くなります。ビジュアルSLAMは安価なカメラを使って外観を捉えるため、再訪した場所の認識に役立ちますが、低照度、モーションブラー、白い壁のようなテクスチャのないシーンでは苦戦します。
  • ビジュアルオドメトリ: トラッキングのフロントエンドのみを指し、動きを推定しますが、グローバルマップを保持せず、ループクロージャによるドリフトの補正もできません。
  • Structure from motion (SfM): 順序が決まっていない写真コレクションからオフラインでシーンを再構築します。一方、SLAMは到着したフレームを順番に処理します。
  • 物体追跡: 動画フレーム間で特定の物体を追跡します。SLAMでは、静的な世界に対するカメラ自体の位置を追跡します。

古典的手法と学習ベース手法#

単眼、ステレオ、RGB-D、ビジュアル慣性の各構成に対応するORB-SLAM3などの特徴ベースシステムは、テクスチャのあるシーンで高速かつ高精度なため、今も広く使われています。学習ベースのシステムは、手作業で設計された部分をニューラルネットワークに置き換えます。DROID-SLAM(2021年)は、微分可能なバンドル調整レイヤーを通して高密度のオプティカルフロー更新を反復します。近年のシステムには、地図をガウススプラットやニューラルラディアンスフィールドとして保存し、フォトリアリスティックな地図を生成して新しい視点からレンダリングできるものもあります。CVPR 2025の注目論文であるMASt3R-SLAMは、学習済みの2視点3D再構築モデルMASt3Rを基盤とし、固定されたパラメトリックカメラモデルを仮定せずに、15 FPSで高密度な単眼SLAMを実行します。

ソリューションを見る

スポーツにおけるコンピュータービジョン

スポーツにおけるコンピュータービジョン

Ultralytics YOLOが、選手やボールの追跡、パフォーマンス分析、コーチングへの知見、アスリートのリハビリを通じて、スポーツビジョンをどのように支えるかをご紹介します。
詳しく見る
航空画像向けコンピュータービジョン

航空画像向けコンピュータービジョン

Ultralytics YOLOを使用して、ドローンや航空画像をリアルタイムの知見に変換し、農業、水産養殖、自然保護、地理空間分析に活用できます。
詳しく見る
航空宇宙分野のコンピュータービジョン

航空宇宙分野のコンピュータービジョン

Ultralytics YOLOを活用して航空宇宙分野でコンピュータビジョンを導入し、航空機検査、滑走路上のFOD検出、空港の地上業務、複合材の欠陥検出に活用できます。
詳しく見る
セキュリティ分野のコンピュータービジョン

セキュリティ分野のコンピュータービジョン

Ultralytics YOLOモデルであらゆる施設を保護しましょう。ビジョンAIは、周辺監視、脅威検知、ナンバープレート認識、職場の安全管理を支援します。
詳しく見る
ロボティクス分野のコンピュータービジョン

ロボティクス分野のコンピュータービジョン

Ultralytics YOLOモデルで、よりスマートなマシンを実現しましょう。ロボティクスにおけるビジョンAIは、自律ナビゲーション、認識、物体追跡、リアルタイム制御を支援します。
詳しく見る
物流におけるコンピュータービジョン

物流におけるコンピュータービジョン

Ultralytics YOLOモデルで物流を効率化しましょう。ビジョンAIにより、荷物検査、仕分け、車両追跡、倉庫のリアルタイム安全監視を実現します。
詳しく見る
小売業におけるコンピュータービジョン

小売業におけるコンピュータービジョン

Ultralytics YOLOモデルで小売のあり方を変革しましょう。ビジョンAIにより、在庫追跡、棚の監視、行列管理、より高度な顧客インサイトを実現します。
詳しく見る
医療分野におけるコンピュータービジョン

医療分野におけるコンピュータービジョン

Ultralytics YOLOモデルで医療ソリューションを構築しましょう。医療分野のビジョンAIは、医用画像処理の高速化、より高度な診断、患者モニタリングを実現します。
詳しく見る
製造業におけるコンピュータービジョン

製造業におけるコンピュータービジョン

Ultralytics YOLOモデルで製造を最適化しましょう。ビジョンAIは、品質管理、欠陥検出、PPE準拠、組立ラインの自動化を推進します。
詳しく見る
自動車分野におけるコンピュータービジョン

自動車分野におけるコンピュータービジョン

Ultralytics YOLOモデルで自動車分野にコンピュータービジョンを導入しましょう。ビジョンAIは、道路の安全性、運転支援、車両の自動化を向上させ、よりスマートな道路を実現します。
詳しく見る
農業におけるコンピュータービジョン

農業におけるコンピュータービジョン

Ultralytics YOLOモデルでスマート農業にビジョンAIを導入しましょう。作物のモニタリング、家畜の追跡、精密農業を支援し、より高く効率的な収量を実現します。
詳しく見る

AIの未来を一緒に築きましょう!

機械学習の未来に向けた歩みを始めましょう