포인트 추적

점 추적은 컴퓨터 비전 분야의 기본적인 작업으로, 시간의 흐름에 따라 비디오 시퀀스의 연속된 프레임에서 특정 위치에 있는 점( 픽셀이나 뚜렷한 특징점 등)의 이동을 추정하고 추적하는 것을 말합니다. 바운딩 박스나 분할 마스크를 사용하여 전체 객체의 대략적인 위치를 모니터링하는 객체 추적과 달리, 포인트 추적은 훨씬 더 정밀한 서브픽셀 수준의 세부 사항에 초점을 맞춥니다. 이러한 정확한 위치 간의 대응 관계를 식별하고 유지함으로써, 인공지능(AI) 시스템은 정교한 동작 분석이 필요한 고급 영상 이해 작업을 수행할 수 있습니다.

포인트 추적 이해하기

동적인 장면에서 포인트를 정확하게 추적하는 것은 매우 어려운 과제입니다. 추적된 포인트는 종종 가림현상—물체가 일시적으로 카메라의 시야를 가리는 현상—을 겪거나, 아예 시야 범위 밖으로 벗어나기도 합니다. 게다가 조명 변화, 원근감의 변화, 그리고 급격한 움직임은 포인트의 시각적 외관을 크게 바꿀 수 있습니다.

역사적으로, 루카스-카나데(Lucas-Kanade) 광류(optical flow) 와 같은 고전적인 알고리즘이 이러한 작업을 처리해 왔습니다. 그러나 현대적인 접근 방식은 강력한 딥러닝 아키텍처를 사용합니다. Google (Google )의 TAPIR (Tracking Any Point with Initialization and Refinement)이나 메타 AI(Meta AI)의 CoTracker3와 같은 주요 연구 기관들의 최근 혁신은 이 분야에 혁명을 일으켰습니다. 점들을 개별적으로 추적하던 기존 방법과 달리, CoTracker3와 같은 모델은 트랜스포머를 사용하여 동일한 물체에 속한 점들 간의 물리적 의존성을 활용해 여러 점을 공동으로 추적합니다. 이러한 최첨단 모델들은 또한 실제 영상에 대한 의사 라벨링을 활용하여 데이터 요구량을 대폭 줄이면서도 매우 정확한 시스템을 훈련시킵니다.

포인트 추적 대 관련 작업

포인트 추적은 다른 컴퓨터 비전 작업들과 밀접한 관련이 있지만, 다음과 같은 점에서 크게 다릅니다:

• 물체 추적: 전체 물체(예: 사람이나 자동차)에 고유 ID를 할당하고 이를 추적합니다. 이 기능은 Ultralytics 같은 물체 탐지 모델에 크게 의존합니다.
• 자세 추정: 임의의 픽셀이 아닌 특정 의미론적 키포인트(예: 인체의 관절)를 추적합니다. 점 추적과 유사한 점이 있지만, 자세 추정은 대상의 구조적 틀에 대한 의미론적 이해가 필요합니다.

실제 애플리케이션

포인트 추적은 다양한 첨단 애플리케이션을 구현하는 데 있어 핵심적인 요소입니다:

• 3D 재구성 및 구조 기반 모션(SfM): 서로 다른 카메라 각도나 영상 프레임에 걸쳐 특정 특징을 추적함으로써, 시스템은 깊이를 추론하고 환경에 대한 정확한 3D 재구성을 생성할 수 있으며, 이는 증강 현실(AR) 매핑에 필수적입니다.
• 로봇공학 및 자율 주행: 자율 주행 차량과 로봇은 포인트 트래킹(주로 시각 오도메트리 방식을 통해)을 활용하여 주변 환경에 대한 자신의 상대적 위치를 파악하고, 이동 경로를 계산하며, 복잡하고 변화무쌍한 환경 속에서도 안전하게 주행합니다.
• 영상 편집 및 특수 효과: 전문 시각 효과(VFX) 소프트웨어는 흔들리는 영상을 안정화하거나, 실제 장면 속 움직이는 물체에 컴퓨터 생성 영상(CGI)을 자연스럽게 합성하기 위해 포인트 트래킹 기술에 크게 의존합니다.

Ultralytics 활용한 키포인트 추적

일반적인 포인트 추적기는 임의의 시각적 픽셀을 추적하는 반면, 이 모델의 자세 추적 기능을 활용하면 track 구조적 키포인트(예: 사람의 눈, 어깨, 손목 등)를 track 수 있습니다. ultralytics 패키지. 권장 YOLO26 이 모델은 동작 분석에 이상적인 고속 종단 간 키포인트 추적 기능을 제공합니다.

from ultralytics import YOLO

# Load the recommended YOLO26 pose model for keypoint tracking
model = YOLO("yolo26n-pose.pt")

# Perform pose tracking on a video stream to follow human keypoints over time
results = model.track(source="video.mp4", stream=True)

# Iterate through the stream to process temporal keypoint tracking data
for frame_result in results:
    # Each keypoint maintains its association across frames
    print(f"Tracked {len(frame_result.keypoints)} human skeletons in current frame.")

컴퓨터 비전 워크플로를 대규모로 배포할 때, Ultralytics 데이터 주석, 모델 훈련 및 원활한 배포를 위한 간소화된 솔루션을 제공하여, 다양한 엣지 및 클라우드 환경에서 안정적인 성능을 보장합니다.