Object Tracking

객체 추적은 연속된 비디오 프레임에서 객체의 위치를 찾고 해당 위치를 궤적으로 연결해 각 객체에 지속적인 ID를 부여하는 컴퓨터 비전 작업입니다. 프레임에 ID 7로 진입한 자동차는 이동하고 회전하며 잠시 버스 뒤로 지나가도 ID 7을 유지하므로, 시스템은 자동차를 한 번만 셀 수 있고 속도를 측정하며 이동 방향을 추론할 수 있습니다. 단일 객체 추적은 첫 프레임에서 선택한 대상 하나를 추적하는 반면, 실제 환경에서 가장 흔히 사용되는 다중 객체 추적(MOT)은 관심 클래스에 속하는 모든 객체를 동시에 추적합니다.

객체 추적의 작동 방식#

대부분의 다중 객체 추적기는 탐지 기반 추적 방식을 사용합니다. 객체 탐지 모델이 각 프레임에서 객체를 찾고, 추적기가 시간에 따라 탐지 결과를 연결합니다. 추적기는 보통 칼만 필터인 모션 모델, 교집합 대비 합집합(IoU)으로 측정하는 박스 중첩도, 객체 재식별(Re-ID) 모델에서 얻는 선택적 외형 임베딩, 그리고 헝가리안 알고리즘과 같은 선형 할당 솔버를 사용합니다. 추적기는 프레임마다 다음 네 단계를 수행합니다.

1. 예측: 일정한 속도를 가정하는 칼만 필터가 기존 트랙의 박스가 새 프레임의 어디에 나타날지 예측합니다.
2. 점수 계산: 추적기는 IoU, 모션 및 일부 추적기의 경우 외형 유사도를 사용해 예측된 트랙과 새로운 탐지 결과 간의 비용 행렬을 구성합니다.
3. 할당: 솔버가 비용이 가장 낮은 일대일 매칭을 선택합니다.
4. 트랙 관리: 매칭된 트랙은 상태를 업데이트하고, 신뢰도가 높은 미매칭 탐지 결과는 새 트랙을 시작합니다. 미매칭 트랙은 가림 현상 이후 다시 찾을 수 있도록 일정 프레임 동안 "분실" 상태로 유지됩니다.

탐지 결과가 몇 프레임 동안 사라져도 ID를 안정적으로 유지하는 것은 바로 이 트랙 생명주기 단계입니다.

핵심 설계는 2016년 SORT에서 시작되었으며, SORT는 칼만 필터, IoU 비용, 헝가리안 알고리즘만 사용했습니다. DeepSORT는 가림 현상 이후 ID를 복원하기 위해 외형 특성을 추가했고, ByteTrack은 2차 패스에서 흔히 부분적으로 가려진 객체인 낮은 신뢰도의 탐지 결과도 매칭해 재현율을 높였습니다. 이후 추적기에는 움직이는 카메라를 위한 카메라 모션 보정과 군중을 위한 정교한 연관 규칙이 추가되었습니다.

추적과 탐지 비교#

탐지기는 상태가 없습니다. 각 프레임을 독립적으로 처리하므로 프레임 1의 자동차와 프레임 2의 자동차는 서로 관련 없는 탐지 결과입니다. 추적은 프레임 간 ID를 전달하는 상태를 추가하며, 계수, 체류 시간, 속도 추정은 모두 이 상태에 의존합니다. 추적은 또한 객체를 라벨이 지정된 그룹으로 묶지 않고 개별 픽셀이나 표면 지점을 따르는 점 추적 및 옵티컬 플로우와도 다릅니다.

Ultralytics YOLO의 추적 모드는 모든 YOLO26 탐지, 세그멘테이션, 포즈 또는 회전 박스 모델에 이 상태 정보를 추가합니다. ByteTrack, BoT-SORT, 기본 추적기인 TrackTrack을 포함해 기본 제공 추적기 6개를 사용할 수 있습니다.

from ultralytics import YOLO

# Load a YOLO26 detector; track() pairs it with a tracker that assigns persistent IDs
model = YOLO("yolo26n.pt")

detections, track_ids = 0, set()
for result in model.track(
    "https://github.com/ultralytics/assets/releases/download/v0.0.0/decelera_portrait_min.mov", stream=True
):
    detections += len(result.boxes)
    if result.boxes.is_track:
        track_ids.update(result.boxes.id.int().tolist())

print(f"Detections summed over all frames: {detections}")
print(f"Unique tracked objects: {len(track_ids)}")

각 ID는 해당 객체가 나타나는 모든 프레임에 걸쳐 객체 하나를 나타내므로, 고유 ID 수는 탐지 결과의 합계보다 적습니다.

실제 적용 사례#

• 교통 모니터링 및 속도 추정: 프레임에 걸쳐 각 차량을 추적하면 계수, 차선 단위 교통 흐름 분석, 초당 트랙 이동 거리를 바탕으로 한 속도 추정이 가능합니다.
• 리테일 분석: 매장 카메라로 쇼핑객을 추적해 같은 사람을 두 번 세지 않으면서 방문객 수, 대기열 길이, 디스플레이 앞 체류 시간을 측정합니다.
• 스포츠 분석: 중계진과 코치는 선수와 공을 추적해 이동 거리, 속도, 팀 포메이션을 계산합니다.
• 자율주행차 및 로봇공학: 인지 스택은 보행자와 차량을 추적해 속도를 추정하고 다음 1초 동안의 위치를 예측합니다.

추적 품질 측정#

추적기는 벤치마크인 MOT17, 밀집한 군중을 대상으로 하는 MOT20, 외형이 비슷하고 예측하기 어렵게 움직이는 사람을 대상으로 하는 DanceTrack에서 비교합니다. MOTA는 누락, 오탐, ID 전환을 하나의 점수로 합산하지만 탐지 품질의 영향을 크게 받습니다. IDF1은 각 실제 객체가 단일 ID를 얼마나 일관되게 유지하는지를 측정하고, HOTA는 탐지 정확도와 연관 정확도의 기하평균으로 두 요소 간 균형을 맞춥니다.