Multi-Object Tracking (MOT)

다중 객체 추적(MOT)은 비디오 스트림 내의 여러 개별 객체를 탐지하고 시간이 지남에 따라 그 식별 정보를 유지하는 컴퓨터 비전(CV)의 동적 작업입니다. 모든 프레임을 독립적인 스냅샷으로 처리하는 표준 객체 탐지와 달리, MOT는 인공지능(AI)에 시간적 차원을 도입합니다. 군중 속의 특정 보행자나 고속도로 위의 차량과 같이 탐지된 각 인스턴스에 고유 식별 번호(ID)를 할당함으로써, MOT 알고리즘은 시스템이 궤적을 추적하고, 행동을 분석하며, 상호작용을 이해할 수 있도록 합니다. 이 기능은 최신 비디오 이해의 핵심이며, 기계가 변화하는 환경에서 연속성을 인식할 수 있게 합니다.

Link to this sectionMOT의 작동 원리#

대부분의 현대적인 추적 시스템은 "탐지 기반 추적(tracking-by-detection)" 패러다임을 따릅니다. 이 방식은 프로세스를 프레임 내에 무엇이 있는지 식별하는 단계와 해당 탐지 결과를 과거의 알려진 객체와 연관시키는 두 가지 주요 단계로 나눕니다.

1. 탐지(Detection): 각 프레임에서 YOLO26과 같은 고성능 모델이 이미지를 스캔하여 객체의 위치를 찾고, 경계 상자(bounding box)와 클래스 확률을 생성합니다.

2. 동작 예측(Motion Prediction): 객체가 다음번에 어디로 이동할지 예측하기 위해 알고리즘은 종종 칼만 필터(Kalman Filter)를 사용합니다. 이 수학적 도구는 속도와 위치와 같은 동적 시스템의 상태를 추정하여 다음 프레임에서 탐색 영역을 좁히는 데 도움을 줍니다.

3. 데이터 연관(Data Association): 시스템은 새로운 탐지 결과를 기존 추적 대상과 매칭합니다. 헝가리 알고리즘(Hungarian algorithm)과 같은 최적화 방법은 매칭 비용을 최소화하여 이 할당 문제를 해결하며, 흔히 공간적 중첩을 측정하기 위해 IoU(Intersection over Union)를 사용합니다.

4. 재식별(Re-Identification, ReID): 가림 현상(occlusion)으로 인해 시각적 방해가 발생하면, 고급 추적기는 시각적 임베딩(embeddings)을 사용하여 객체가 다시 나타날 때 이를 인식합니다. 이는 "ID 스위칭"을 방지하여 터널에서 나오는 차량이 들어갔던 차량과 동일함을 시스템이 확실히 알도록 돕습니다.

Link to this sectionMOT와 단일 객체 추적의 차이점#

용어는 비슷하지만 **다중 객체 추적(MOT)**은 단일 객체 추적(SOT)과 크게 다릅니다. SOT는 첫 번째 프레임에서 초기화된 특정 대상 하나를 추적하는 데 집중하며, 다른 모든 개체는 무시하는 경우가 많습니다. 반면, MOT는 언제든지 장면에 진입하거나 이탈할 수 있는 알 수 없고 가변적인 수의 대상을 처리해야 합니다. 이로 인해 MOT는 추적 시작, 종료, 그리고 여러 이동 객체 간의 복잡한 상호작용을 처리하기 위한 강력한 로직이 필요하므로 계산 비용이 더 많이 듭니다.

Link to this section실제 애플리케이션 사례#

여러 대상을 동시에 추적하는 능력은 여러 주요 산업 분야에서 혁신을 주도하고 있습니다.

• 자율 주행: 자율 주행 자동차는 안전하게 주행하기 위해 MOT에 크게 의존합니다. 보행자, 자전거 이용자 및 다른 차량을 추적함으로써 자율 시스템은 충돌을 피하기 위해 향후 위치를 예측할 수 있습니다. 이는 종종 최대의 신뢰성을 위해 카메라와 LiDAR 센서 데이터를 융합하는 과정을 포함합니다.
• 리테일 분석: 오프라인 매장에서 소매업체들은 리테일 AI를 사용하여 고객의 여정을 매핑합니다. MOT 알고리즘은 유동 인구의 히트맵(heatmaps)을 생성하여 관리자가 매장 배치를 최적화하고 피크 시간대의 대기열 관리를 개선하도록 돕습니다.
• 스포츠 분석: 프로 스포츠 팀은 MOT를 사용하여 선수들의 움직임과 팀 대형을 분석합니다. 경기장의 모든 선수를 추적함으로써 코치는 포즈 추정(pose estimation) 기술을 활용하여 속도, 이동 거리, 전술적 위치에 대한 상세한 지표를 추출할 수 있습니다.

Link to this sectionPython으로 MOT 구현하기#

Ultralytics를 사용하면 최첨단 모델로 추적 기능을 간단하게 구현할 수 있습니다. track() 메서드는 탐지 및 추적 로직을 원활하게 통합하며, ByteTrack 및 BoT-SORT와 같은 알고리즘을 지원합니다. 아래 예제는 권장되는 YOLO26 모델을 사용하여 비디오 속 차량을 추적하는 방법을 보여줍니다.

from ultralytics import YOLO

# Load the official YOLO26 small model
model = YOLO("yolo26s.pt")

# Track objects in a video file (or use '0' for webcam)
# The 'persist=True' argument keeps track IDs consistent between frames
results = model.track(source="traffic_analysis.mp4", show=True, persist=True)

# Print the IDs of objects tracked in the first frame
if results[0].boxes.id is not None:
    print(f"Tracked IDs: {results[0].boxes.id.int().tolist()}")

Link to this section다중 객체 추적의 과제#

발전에도 불구하고 MOT는 여전히 어려운 분야입니다. **가림(Occlusion)**은 주요 난관입니다. 객체가 서로 경로를 교차하거나 장애물 뒤로 숨을 때 식별 정보를 유지하는 것은 복잡합니다. 혼잡한 마라톤 현장이나 새 떼와 같은 **혼잡한 장면(Crowded scenes)**은 데이터 연관 알고리즘의 한계를 시험합니다. 또한, 고해상도 비디오 스트림을 처리하면서 실시간 추론(real-time inference) 속도를 유지하려면 효율적인 모델 아키텍처와 종종 NVIDIA Jetson 기기와 같은 특수 하드웨어가 필요합니다.

이러한 과제를 해결하기 위해 연구자들은 탐지와 추적을 단일 네트워크로 통합하는 엔드투엔드 딥러닝 접근 방식을 연구하고 있으며, Ultralytics 플랫폼을 활용하여 까다로운 데이터셋을 주석 처리하고 견고한 맞춤형 모델을 학습시키고 있습니다.