Semantic Mapping

시맨틱 매핑은 모든 위치에 기하 정보뿐 아니라 도로, 보도, 벽, 문, 의자, 사람과 같은 클래스 레이블의 의미를 부여해 환경의 공간 지도를 구축하는 과정입니다. 기하 지도는 로봇에게 표면의 위치를 알려주고, 시맨틱 지도는 표면이 무엇인지도 알려주므로 ‘주방 식탁으로 가기’, 잔디밭에 들어가지 않기, 횡단보도 근처 보행자 예상하기와 같은 요청을 처리할 수 있습니다. 시맨틱 지도는 시맨틱 분할 또는 객체 감지를 깊이 센싱 및 위치 추정과 결합하며, 로보틱스, 자율주행차, 공간 컴퓨팅의 핵심 인지 요소입니다.

시맨틱 매핑 작동 방식#

새 카메라 프레임은 세 단계를 거칩니다. 분할 모델이 모든 픽셀에 클래스를 지정합니다. LiDAR, 스테레오 또는 RGB-D 카메라의 깊이 정보나 단안 깊이 추정을 사용해 레이블이 지정된 픽셀을 3D 점으로 변환하고, 시각 SLAM 또는 오도메트리로 추정한 로봇의 자세를 이용해 해당 점을 공유 지도 셀에 배치합니다. 마지막으로 시간에 따른 센서 융합이 새 레이블을 각 셀에 누적된 정보와 결합합니다. 움직이는 물체는 별도로 처리하여 지나가는 사람이 영구적인 벽으로 기록되지 않게 합니다.

Cityscapes로 사전 학습된 Ultralytics YOLO26 시맨틱 분할 모델은 도로, 보도, 건물, 식생, 사람, 자동차를 포함한 19개 도시 클래스 중 하나를 모든 픽셀에 지정합니다. 이는 거리 수준 시맨틱 지도가 융합하는 프레임별 입력입니다.

프레임별 예측의 노이즈를 신뢰할 수 있는 지도로 바꾸는 것은 융합입니다. 2017년 Imperial College London의 John McCormac과 동료들이 개발한 SemanticFusion은 모든 표면 요소에 대한 클래스 확률 분포를 유지하고 새로운 네트워크 예측을 곱하는 재귀적 베이지안 업데이트를 수행했습니다. 이 시뮬레이션은 분할 모델의 정확도가 70%인 상황에서 1,000개 셀 지도에 같은 업데이트를 적용합니다.

import numpy as np

rng = np.random.default_rng(0)
num_cells, num_classes = 1000, 4  # map cells; classes such as road, sidewalk, building, vegetation
truth = rng.integers(0, num_classes, num_cells)

# Sensor model: segmentation labels a cell correctly 70% of the time, otherwise picks another class
likelihood = np.full((num_classes, num_classes), 0.1)
np.fill_diagonal(likelihood, 0.7)
log_belief = np.zeros((num_cells, num_classes))  # uniform prior in every cell

for frame in range(1, 11):
    # A new frame observes every cell from a new viewpoint, with independent errors
    wrong = rng.random(num_cells) > 0.7
    labels = np.where(wrong, (truth + rng.integers(1, num_classes, num_cells)) % num_classes, truth)

    # Recursive Bayesian update: add the log-likelihood of this observation to each cell's belief
    log_belief += np.log(likelihood[labels])
    if frame in (1, 3, 10):
        print(f"Frame {frame:>2}: {(log_belief.argmax(axis=1) == truth).mean():.1%} of cells correct")

지도는 프레임 하나를 처리한 뒤 69.6%, 세 프레임 뒤 80.6%, 열 프레임 뒤 98.2%의 정확도를 보입니다. 이러한 향상은 관측마다 오류가 달라지는 데 달려 있으므로, 로봇이 다양한 시점에서 각 장소를 볼 때 융합 효과가 가장 큽니다. 반면 모델이 모든 각도에서 반복하는 오류는 지도에 계속 남습니다. SemanticFusion도 같은 양상을 보고했으며, 시점 변화가 더 큰 데이터셋에서 단일 프레임 레이블보다 더 크게 개선되었습니다.

지도 표현과 관련 개념#

시맨틱 지도는 점유 지도 셀마다 클래스를 저장하는 2D 그리드부터 레이블이 지정된 3D 포인트 클라우드, 복셀, 메시까지 다양합니다. MIT의 Kimera는 실시간으로 기하 및 시맨틱 정보를 갖춘 3D 메시를 구축하며, 3D 장면 그래프는 같은 정보를 관계로 연결된 객체, 방, 건물로 구성합니다. 오픈 어휘 지도는 고정된 클래스 대신 CLIP 임베딩을 저장하므로, 로봇은 ‘소화기’와 같은 어떤 텍스트 질의로든 지도에서 검색할 수 있습니다.

시맨틱 매핑은 여러 관련 작업을 기반으로 합니다. 시각 SLAM은 카메라 자세와 기하 지도를 제공합니다. 점유 매핑은 공간이 비어 있는지, 점유되었는지, 알 수 없는지만 기록합니다. 인스턴스 분할과 파노픽 분할은 개별 객체를 분리하므로, 객체 수준 지도에서 의자의 수를 세거나 주차된 자동차를 추적할 수 있습니다. 시맨틱 검색은 단어만 같을 뿐 관련이 없는 검색 기법입니다.

실제 적용 사례#

• 자율주행: 고정밀 지도는 차선, 횡단보도, 신호등, 연석을 센티미터 단위의 정확도로 기록합니다. 온라인 시맨틱 매핑은 자동차 자체 센서로 같은 요소의 조감도 지도를 구축합니다.
• 모바일 로봇: ROS 2 내비게이션 스택인 Nav2는 클래스별로 이동 비용을 할당하는 시맨틱 분할 비용 지도 계층을 제공하므로, 로봇이 선호하는 표면을 따라 경로를 계획할 수 있습니다.
• 농업: 농업용 로봇과 드론은 정밀 살포와 수확량 예측을 위해 작물과 잡초를 줄 단위로 지도화합니다.
• 증강 현실: Apple의 ARKit은 재구성된 실내 메시의 각 면을 벽, 바닥, 천장, 테이블, 좌석, 창문, 문 또는 기타 없음으로 분류합니다.