Multi-Object Tracking (MOT)

다중 객체 추적(MOT)은 비디오 스트림 내의 여러 서로 다른 개체를 감지하고 시간에 따라 그 신원을 유지하는 computer vision (CV)의 동적 작업입니다. 모든 프레임을 독립된 스냅샷으로 취급하는 표준 object detection과 달리, MOT는 artificial intelligence (AI)에 시간적 차원을 도입합니다. 군중 속의 특정 보행자나 고속도로의 차량과 같이 감지된 각 인스턴스에 고유한 식별 번호(ID)를 할당함으로써, MOT 알고리즘은 시스템이 궤적을 추적하고, 행동을 분석하며, 상호작용을 이해할 수 있도록 합니다. 이 기능은 현대의 video understanding의 근간이 되며, 기계가 변화하는 환경 속에서 연속성을 인식할 수 있게 해줍니다.

MOT의 작동 원리#

대부분의 현대적인 추적 시스템은 "탐지 기반 추적(tracking-by-detection)" 패러다임을 따릅니다. 이 방식은 프로세스를 프레임 내에 무엇이 있는지 식별하는 단계와 해당 탐지 결과를 과거의 알려진 객체와 연관시키는 두 가지 주요 단계로 나눕니다.

1. 감지: 각 프레임에서 YOLO26과 같은 고성능 모델이 이미지를 스캔하여 객체의 위치를 파악하고, bounding boxes와 클래스 확률을 생성합니다.

2. 모션 예측: 객체가 다음으로 이동할 위치를 예측하기 위해 알고리즘은 종종 Kalman Filter를 사용합니다. 이 수학적 도구는 속도 및 위치와 같은 동적 시스템의 상태를 추정하여 후속 프레임에서 검색 영역을 좁히는 데 도움을 줍니다.

3. 데이터 연관: 시스템은 새로운 감지 결과를 기존 트랙과 일치시킵니다. Hungarian algorithm과 같은 최적화 방법은 매칭 비용을 최소화하여 이 할당 문제를 해결하며, 공간적 중첩을 측정하기 위해 종종 Intersection over Union (IoU)에 의존합니다.

4. 재식별(ReID): 가림(occlusion)이라고 하는 시각적 장애물이 발생할 때, 고급 추적기는 시각적 embeddings을 사용하여 객체가 다시 나타날 때 이를 인식합니다. 이는 "ID 전환"을 방지하는 데 도움을 주어 터널에서 나오는 차가 터널에 들어간 차와 동일하다는 것을 시스템이 알 수 있도록 보장합니다.

MOT와 단일 객체 추적의 차이점#

용어는 비슷하지만, **다중 객체 추적(MOT)**은 Single Object Tracking (SOT)와는 크게 다릅니다. SOT는 첫 번째 프레임에서 초기화된 하나의 특정 타겟을 따르는 데 초점을 맞추며, 종종 다른 모든 개체를 무시합니다. 대조적으로, MOT는 언제든지 장면에 들어오거나 나갈 수 있는 알 수 없고 변화하는 수의 타겟을 처리해야 합니다. 이로 인해 MOT는 트랙 시작, 종료, 그리고 여러 이동 체 간의 복잡한 상호작용을 처리하기 위한 강력한 로직이 필요하므로 계산상 더 까다롭습니다.

실제 애플리케이션 사례#

여러 대상을 동시에 추적하는 능력은 여러 주요 산업 분야에서 혁신을 주도하고 있습니다.

• 자율 주행: 자율주행차는 안전하게 주행하기 위해 MOT에 크게 의존합니다. 보행자, 자전거 이용자 및 기타 차량을 추적함으로써 autonomous systems은 충돌을 피하기 위해 미래 위치를 예측할 수 있습니다. 이는 최대의 신뢰성을 위해 카메라와 LiDAR sensors의 데이터를 융합하는 과정을 포함합니다.
• 리테일 분석: 오프라인 매장에서 소매업체들은 고객 여정을 매핑하기 위해 AI in retail을 사용합니다. MOT 알고리즘은 유동인구의 heatmaps를 생성하여 관리자가 매장 레이아웃을 최적화하고 피크 시간대의 queue management를 개선할 수 있도록 돕습니다.
• 스포츠 분석: 프로 팀은 MOT를 사용하여 선수 움직임과 팀 전술을 분석합니다. 코치는 필드 위의 모든 선수를 추적함으로써 pose estimation 기술을 사용하여 속도, 이동 거리, 전술적 위치에 대한 상세한 측정값을 추출할 수 있습니다.

Python으로 MOT 구현하기#

Ultralytics를 사용하면 최신 모델로 추적을 간단하게 구현할 수 있습니다. track() 메서드는 감지 및 추적 로직을 원활하게 통합하며, ByteTrack 및 BoT-SORT와 같은 알고리즘을 지원합니다. 아래 예제는 권장되는 YOLO26 model을 사용하여 비디오에서 차량을 추적하는 방법을 보여줍니다.

from ultralytics import YOLO

# Load the official YOLO26 small model
model = YOLO("yolo26s.pt")

# Track objects in a video file (or use '0' for webcam)
# The 'persist=True' argument keeps track IDs consistent between frames
results = model.track(source="traffic_analysis.mp4", show=True, persist=True)

# Print the IDs of objects tracked in the first frame
if results[0].boxes.id is not None:
    print(f"Tracked IDs: {results[0].boxes.id.int().tolist()}")

다중 객체 추적의 과제#

발전에도 불구하고 MOT는 여전히 도전적인 분야입니다. **가림(Occlusion)**은 주요 어려움 중 하나로, 객체가 경로를 교차하거나 장애물 뒤에 숨을 때 신원을 유지하는 것은 복잡합니다. 분주한 마라톤이나 새 떼와 같은 혼잡한 장면은 data association 알고리즘의 한계를 시험합니다. 또한, 고해상도 비디오 스트림을 처리하면서 real-time inference 속도를 유지하려면 효율적인 모델 아키텍처와 NVIDIA Jetson 장치와 같은 특화된 하드웨어가 종종 필요합니다.

이러한 과제를 해결하기 위해 연구원들은 감지와 추적을 단일 네트워크로 통합하는 엔드투엔드 딥러닝 접근 방식을 탐색하고 있으며, Ultralytics Platform을 활용하여 까다로운 데이터셋에 주석을 달고 강력한 커스텀 모델을 학습시키고 있습니다.