Spatial Intelligence

AI에서 공간 지능은 세계의 3차원 구조를 지각하고, 사물의 위치와 사물 간 관계를 추론하며, 그 이해를 바탕으로 행동하거나 질문에 답하거나 새로운 장면을 생성하는 시스템의 능력입니다. 공간 지능을 갖춘 모델은 컵이 탁자 위에 있고 손이 닿는 범위 안에 있다는 것, 복도가 모퉁이를 돌아 이어진다는 것, 그리고 다른 시점에서 장면이 어떻게 보일지를 이해합니다. 이 용어는 심리학에서 비롯되었으며, 공간 지능은 Howard Gardner의 다중 지능 이론(1983)에 제시된 여러 능력 중 하나입니다. AI 분야에서는 Fei-Fei Li가 대중화했습니다. Li는 2025년 에세이 From Words to Worlds에서 공간 지능을 언어 다음의 새로운 개척 분야로 제시했으며, 공간 지능은 로보틱스, 증강 현실, 자율주행의 기반이 됩니다.

공간 지능의 구성 요소#

공간 이해는 여러 역량을 결합합니다:

• 깊이 및 3D 기하학: 깊이 추정, 스테레오 비전, 3D 객체 탐지는 이미지에서 거리와 객체의 크기를 복원합니다. Meta와 Oxford의 VGGT와 같은 피드포워드 재구성 모델은 CVPR 2025 최우수 논문으로 선정되었으며, 수 초 만에 한 장에서 수백 장의 이미지로부터 카메라 포즈, 깊이 맵, 3D 포인트 맵을 예측합니다.
• 위치 추정 및 매핑: Visual SLAM은 움직이는 카메라를 추적하면서 주변 환경의 지도를 구축합니다.
• 방향 및 관절 동작: 포즈 추정은 사람과 객체의 자세를 복원하고, 회전 경계 상자는 항공 이미지와 같이 위에서 본 객체의 회전을 표현합니다.
• 3D 표현: 포인트 클라우드, 메시, 뉴럴 래디언스 필드, 가우시안 스플래팅은 렌더링, 시뮬레이션, 계획에 사용할 재구성된 장면을 저장합니다.
• 공간 추론: 위, 뒤, 더 가까이와 같은 관계에 거리, 크기, 경로를 더해 언어로 표현하거나 의사결정에 직접 활용합니다.

서로 다른 작업은 같은 장면 모델을 서로 다른 방식으로 활용합니다:

2D 탐지에서 3D 위치로#

탐지기는 이미지에서 객체가 나타나는 위치를 보고하고, 깊이를 추가하면 시스템이 객체까지의 거리를 파악할 수 있습니다. Ultralytics YOLO26에는 모델이 픽셀별 깊이 맵을 미터 단위로 예측하는 단안 깊이 추정 작업이 포함되어 있으므로, YOLO26 탐지기와 YOLO26 깊이 모델을 함께 사용하면 탐지된 모든 객체를 카메라로부터의 거리로 표현할 수 있습니다:

from ultralytics import YOLO

detector = YOLO("yolo26n.pt")
depth_model = YOLO("yolo26n-depth.pt")
image = "https://ultralytics.com/images/bus.jpg"

boxes = detector(image)[0].boxes
depth = depth_model(image)[0].depth.data  # per-pixel depth in meters, shape (H, W)

# Read the depth at each box center to place the objects in 3D
for cls, (x, y, w, h) in zip(boxes.cls.tolist(), boxes.xywh.tolist()):
    print(f"{detector.names[int(cls)]}: {depth[int(y), int(x)]:.1f} m")

카메라 내부 파라미터를 사용하면 각 박스의 중심점과 깊이를 미터 단위의 x, y, z 좌표로 변환할 수 있습니다. 이는 그립 플래너나 공간 질문 응답 시스템에 필요한 종류의 3D 배치입니다.

공간 지능과 관련 용어의 차이#

• 컴퓨터 비전: 이미지에서 정보를 추출하는 광범위한 분야입니다. 많은 작업이 2D 이미지 평면에서 이미지 분류와 객체 박스 지정에 집중하며, 공간 지능은 여기에 미터 단위의 3D 구조와 관계를 더합니다.
• 공간 컴퓨팅: 혼합 현실 헤드셋처럼 디지털 콘텐츠를 물리적 공간에 배치하고 그 공간에 반응하게 하는 인간-컴퓨터 상호작용 패러다임입니다. 공간 지능을 기반으로 하는 애플리케이션입니다.
• 체화된 AI: 물리적 또는 시뮬레이션된 몸체를 통해 인지하고 행동하는 에이전트입니다. 공간 지능은 이러한 에이전트에 필요한 역량 중 하나입니다.
• 월드 모델: 환경이 어떻게 변할지 예측하는 모델입니다. 공간적으로 기반을 둔 월드 모델은 일관된 3D 장면을 생성하거나 시뮬레이션합니다.

멀티모달 모델의 공간 추론#

비전 언어 모델은 이미지를 유창하게 설명하지만 공간 추론 능력은 뒤처져 왔습니다. 실내 장면 동영상에 관한 5,000개가 넘는 질문으로 구성된 벤치마크인 VSI-Bench는 2024년에 멀티모달 LLM이 경쟁력은 있지만 인간보다 낮은 시공간 지능을 보이며, 공간 추론이 주요 병목이라고 밝혔습니다. 답변 전에 방의 명시적인 인지 지도를 그리도록 모델에 프롬프트를 제공하자 거리 판단이 개선되었습니다. Ultralytics VLM 리더보드는 실제 이미지에서 비전 언어 모델이 객체 주위에 박스를 얼마나 정확하게 배치하는지라는 더 제한적인 공간 능력을 측정합니다. 생성 모델은 반대 방향에서 이 문제에 접근합니다. Fei-Fei Li가 공동 창업한 World Labs는 2025년 11월 텍스트, 이미지 또는 동영상을 내보낼 수 있는 가우시안 스플랫이나 메시 형태의 지속적이고 탐색 가능한 3D 환경으로 변환하는 월드 모델 Marble을 출시했습니다.