컴퓨터 비전이 모션 추적을 더욱 신뢰성 있게 만듦

연극을 관람할 때 좋아하는 배우가 무대 위를 움직이면, 여러분의 눈은 별다른 의식적 노력 없이도 그들을 따라갑니다. 인간에게 이러한 종류의 모션 트래킹은 자연스럽게 느껴집니다. 우리의 뇌는 매 순간 보는 것을 자동으로 연결하고, 간극을 메우며 장면이 변화하는 동안에도 연속성을 유지합니다.

기계의 경우 동일한 작업이 훨씬 더 복잡합니다. 카메라는 비디오를 개별 프레임의 시퀀스로 캡처하며, 시스템은 물체가 어디로 이동했는지 추정하고 계속 추적해야 할 대상인지 결정하기 위해 매 단계마다 동일한 물체를 반복적으로 식별해야 합니다.

이러한 과제는 motion tracking의 핵심에 있습니다. 모션 트래킹은 시간에 따라 비디오 속 객체를 추적하는 과정을 포함하며, 스포츠 분석, 로보틱스, 모바일 애플리케이션 등의 분야에서 중요한 역할을 합니다.

전통적인 모션 및 카메라 트래킹은 수동 설정, 트랙 포인트, 키프레임에 의존하는 경우가 많습니다. 단순한 장면에서는 작동할 수 있지만, 움직임이 빠르거나 부분적으로 가려질 경우 속도가 느려지고 신뢰성이 떨어지게 됩니다.

그림 1. 모션 트래킹 시스템의 예시 (Source)

computer vision 분야의 최근 발전 덕분에 이 과정이 훨씬 수월해졌습니다. 컴퓨터 비전은 기계가 이미지와 비디오를 이해하도록 돕는 AI의 한 분야로, 모션 트래킹의 정확도를 높이고 수동 작업에 대한 의존도를 낮춰줍니다. 각 프레임에서 객체를 감지하고 시간에 따라 동일한 식별 번호(ID)를 유지함으로써, 이러한 시스템은 실제 환경에서 움직임을 더욱 안정적으로 추적합니다.

이 글에서는 컴퓨터 비전을 통해 모션 트래킹을 더욱 간소화할 수 있는 방법을 살펴보겠습니다. 시작해 봅시다!

전통적인 모션 캡처 및 트래킹 방식과 그 한계#

전통적인 모션 트래킹은 특히 비디오 편집 및 VFX 워크플로우에서 세심한 수동 설정을 필요로 하는 경우가 많습니다. 여기서는 푸티지 내 움직이는 요소에 그래픽, 효과 또는 오버레이를 부착하는 것이 목표입니다.

많은 워크플로우가 샷의 특정 부분에 트랙 포인트를 배치하는 것으로 시작하며, 이후 소프트웨어가 프레임 전반에 걸쳐 이 포인트들을 따라가며 모션 경로를 매핑합니다. 이는 After Effects와 같은 도구에서 일반적이며, 마스크 트래킹과 같은 기능을 통해 Premiere Pro에서도 비슷한 워크플로우를 볼 수 있는데, 편집자는 시간이 지남에 따라 마스크나 영역을 추적합니다.

매치 무빙(Match moving) 또한 흔히 사용되는 방식입니다. 이 방식은 라이브 샷 내에서 효과나 그래픽이 고정된 위치를 유지하도록 디지털 요소를 실제 카메라 움직임과 정렬하는 데 도움을 줍니다. 이러한 접근 방식은 단순한 장면에서는 잘 작동할 수 있지만, 푸티지가 복잡해지거나 물체가 빠르게 움직일 때는 종종 어려움을 겪습니다.

또한 조명이 바뀌거나 대상이 부분적으로 가려지면 트래킹이 무너질 수 있으며, 이로 인해 드리프트(drift) 현상이 발생하거나 추적 대상이 갑자기 튀는 현상이 나타날 수 있습니다. 이는 워크플로우를 지연시키고 편집자가 샷의 일부를 다시 작업하게 만듭니다. 물체가 빠르게 방향을 바꾸면 이전 방식의 모션 트래커는 이를 따라잡기 어려워 결과물이 일관되지 않고 신뢰하기 어렵게 됩니다.

컴퓨터 비전이 모션 트래킹을 변화시키는 방법#

최첨단 컴퓨터 비전 시스템은 AI 모델을 사용하여 비디오 속 움직이는 물체를 추적합니다. 지속적인 수동 조정이나 프레임별 트래킹에 의존하는 대신, 모델은 물체의 모습과 일반적인 움직임 패턴을 학습합니다. 이는 장면이 복잡해지거나 조명이 변하거나 물체가 잠시 사라지더라도 모션 트래킹이 안정적으로 유지되도록 돕습니다.

예를 들어, Ultralytics YOLO11 및 곧 출시될 Ultralytics YOLO26과 같은 컴퓨터 비전 모델은 모든 프레임에서 객체를 감지하여 객체 트래킹을 지원합니다. 쉽게 말해, 감지된 각 객체에 대한 바운딩 박스와 신뢰도 점수를 출력함으로써 프레임 내에 무엇이 있고 어디에 위치하는지 식별합니다.

그림 2. 특정 구역 내에서 Ultralytics YOLO11을 사용한 차량 트래킹 (Source)

흥미롭게도, YOLO 모델은 그 자체만으로는 시간에 따른 객체 트래킹을 직접 수행하지 않습니다. 대신, YOLO의 감지 결과와 ByteTrack 및 BoT-SORT와 같은 다중 객체 트래킹 알고리즘을 연결해 주는 Ultralytics Python package를 통해 트래킹이 가능해집니다. 이 설정에서 YOLO는 프레임별로 객체를 감지하고, 트래커는 객체가 이동함에 따라 프레임 간 감지 결과를 연결하여 각 객체의 일관된 ID를 유지합니다.

AI 기반 모션 트래킹의 실제 적용 사례#

다음으로 AI 기반 모션 트래킹이 영향력을 발휘하고 있는 몇 가지 실제 적용 사례를 자세히 살펴보겠습니다.

스포츠 분석 및 정밀한 선수 트래킹#

soccer match에서는 선수들이 끊임없이 가속하고, 멈추고, 방향을 바꾸기 때문에 경기장 전체에서 움직임을 정확하게 측정하기 어렵습니다. 수동 트래킹은 특히 선수들이 겹치거나, 무리지어 있거나, 혼잡한 구역을 이동할 때 이러한 상황에서 자주 실패합니다.

AI 기반 모션 트래킹은 각 선수의 움직임을 따라가며 이동 경로를 명확하고 일관되게 유지하도록 지원함으로써 이를 해결합니다. 예를 들어, 최근의 한 연구에서는 연구원들이 여러 카메라 앵글에서 YOLO11 to detect players와 공을 감지하는 데 활용했습니다. YOLO11은 모든 프레임에서 각 선수를 식별했으며, 트래킹 시스템은 이동 중에 각 선수의 식별 ID가 일관되게 유지되도록 시간에 따른 감지 결과를 연결했습니다.

그림 3. 여러 축구 선수의 감지 및 트래킹 (Source)

증강 현실 및 가상 현실에서의 모션 트래킹#

Augmented reality (AR)은 앱이 제품의 라벨, 바닥의 캐릭터, 또는 움직이는 발 위에 겹쳐지는 오버레이처럼 디지털 객체를 현실 세계에 배치할 수 있도록 해주는 기술입니다. 이러한 경험이 자연스럽게 느껴지려면 사용자가 걸어 다니거나, 휴대폰을 기울이거나, 객체 자체를 움직일 때 가상 콘텐츠가 올바른 위치에 고정되어 있어야 합니다.

컴퓨터 비전은 모바일 장치가 자신이 무엇을 보고 있는지, 그리고 카메라가 장면 속에서 어떻게 움직이는지 이해하도록 돕기 때문에 이 부분에서 핵심적인 역할을 합니다. 즉, 물체가 공간상의 어디에 있고 어떤 방향을 향하고 있는지 추정하고, 사용자의 움직임에 따라 그 위치를 업데이트함으로써 3D 트래킹을 가능하게 합니다.

그림 4. AR 애플리케이션 내 3D 트래킹의 예시 (Source)

가상 현실(VR)도 유사한 트래킹 아이디어를 기반으로 하지만 목적은 다릅니다. 디지털 콘텐츠를 현실 세계에 고정하는 대신, VR은 사용자의 머리와 손을 추적하여 움직임에 따라 가상 세계가 자연스럽게 반응하도록 하는 데 중점을 둡니다.

움직이는 장비 및 공정 자동화 트래킹#

산업 환경에서는 장비와 제품이 워크플로우의 여러 단계를 거쳐 이동하는 경우가 많습니다. 각 단계는 정확한 타이밍과 조율에 달려 있습니다. 아이템이 서로 다른 속도로 이동하거나, 겹치거나, 위치가 빠르게 변하기 때문에 수동 트래킹은 뒤처질 수 있습니다.

AI 기반 모션 트래킹은 생산 시스템이 라인을 따라 이동하는 각 객체를 더 명확하게 파악할 수 있도록 돕습니다. 흥미로운 연구에서, 연결된 카메라 네트워크가 전체 production cycle 동안 제품을 추적하고 실제 프로세스의 가상 복제본인 디지털 트윈을 실시간으로 업데이트했습니다.

시스템은 각 제품을 식별하고, 그 움직임을 추적하며, 디지털 모델을 현장에서 일어나는 상황과 일치시켰습니다. 이 접근 방식은 작업자에게 모든 단계에서 신뢰할 수 있는 뷰를 제공하여 모니터링을 개선하고 더 안전한 운영을 지원했습니다. 또한, 일관된 트래킹 데이터를 사용할 수 있을 때 모션 트래킹이 보다 유연하고 scalable automation을 어떻게 구현할 수 있는지 보여주었습니다.

AI 기반 모션 트래킹의 장단점#

AI 기반 모션 트래킹 사용 시 얻을 수 있는 몇 가지 이점은 다음과 같습니다.

• 가림 현상(occlusion) 발생 시 복구 성능 향상: 비전 AI 시스템은 물체가 겹치거나 잠시 사라질 때 추적을 유지하거나 다시 찾아낼 수 있습니다.
• Scalability: 배포된 AI 트래커는 반복적인 샷별 설정 없이 긴 비디오 클립과 여러 카메라 피드를 처리할 수 있습니다.
• 더 풍부한 모션 데이터: 트래킹 출력 결과를 사용하여 경로, 수량, 체류 시간 및 기본적인 속도 추정치를 측정해 분석에 활용할 수 있습니다.

AI 기반 트래킹은 많은 경우에 잘 작동하지만, 모든 설정에서 즉시 플러그 앤 플레이 방식으로 작동하지는 않습니다. 고려해야 할 몇 가지 제한 사항은 다음과 같습니다.

• 지속적인 유지보수: 카메라 각도, 환경 또는 작업 부하가 변함에 따라 성능이 시간이 지남에 따라 달라질 수 있으므로 주기적인 업데이트가 필요한 경우가 많습니다.
• 통합 복잡성: 기존 비디오 편집기, 분석 또는 자동화 시스템에 트래커를 연결하려면 어댑터, 보정(calibration) 및 추가 테스트가 필요할 수 있습니다.
• 극한 조건에서의 엣지 케이스: 저조도, 모션 블러, 심한 가림 현상, 그리고 아주 작은 물체는 여전히 트래킹 오류를 유발할 수 있습니다.

핵심 요약#

AI 기반 모션 트래킹 기능은 움직임이 빠르고 장면이 혼잡하며 수동 수정이 확장되기 어려운 실제 비디오 환경에서 점차 더 실용적인 선택지가 되고 있습니다. 컴퓨터 비전은 빠르게 발전하고 있으며, 그 결과 트래킹 시스템의 배포가 더 쉬워지고 까다로운 조건에서도 더 신뢰할 수 있게 되었습니다. 결과적으로 모션 트래킹은 로봇 공학, 모바일 앱, 분석 및 콘텐츠 제작 전반에 걸쳐 더욱 유용해지고 있습니다.

our community에 참여하고 당사의 GitHub repository에서 최신 비전 AI를 살펴보세요. 솔루션 페이지를 방문하여 AI in manufacturing 및 computer vision in healthcare과 같은 애플리케이션이 어떻게 진전을 이끌고 있는지 확인하고, licensing options을 확인하여 다음 AI 솔루션을 강화해 보세요.