실시간 영상 분석을 위한 최고의 오픈소스 객체 추적 도구 8가지를 살펴보세요. 각 도구의 작동 방식과 프로젝트에 적합한 도구를 선택하는 방법을 확인하세요.
실시간 영상 분석을 위한 최고의 오픈소스 객체 추적 도구 8가지를 살펴보세요. 각 도구의 작동 방식과 프로젝트에 적합한 도구를 선택하는 방법을 확인하세요.
신호 위반 차량에 자동으로 발부되는 과태료 통지서나, 축구 선수가 드리블하며 필드를 가로지르는 장면을 카메라가 부드럽게 따라가는 순간에도 인공지능(AI)은 조용히 배후에서 작동하고 있다. 특히 이러한 시스템들은 컴퓨터 비전 기술에 의존하는데, 이는 기계가 현실 세계의 시각 정보를 인식하고 해석하며 이해할 수 있도록 하는 AI의 하위 분야이다.
컴퓨터 비전 분야에서 이러한 응용 프로그램의 핵심 과제 중 하나는 객체 추적입니다. 이는 비디오의 각 프레임에서 객체를 식별한 후, 해당 객체가 이동하거나 다른 객체와 겹치거나 방향을 바꾸는 과정을 추적하는 데 사용됩니다.
현재 다양한 객체 추적 도구와 알고리즘이 존재하며, 각각 다른 사용 사례, 성능 요구사항, 복잡도 수준에 맞춰 설계되었습니다. 일부는 속도에 중점을 두어 track 개의 객체를 실시간으로 track 수 있는 반면, 다른 일부는 가림 현상, 빠른 움직임, 저조도 같은 까다로운 조건에서도 정확성이나 장기적 안정성을 우선시합니다.
특히 오픈소스 프로젝트는 이 분야의 발전을 주도하는 데 중요한 역할을 해왔습니다. 코드가 공개적으로 접근 가능하기 때문에 개발자와 연구자들은 그 작동 방식을 연구하고 기존 방법을 개선하며 새로운 응용 분야에 적용할 수 있습니다. 이러한 개방성 덕분에 객체 추적 기술은 빠르게 진화하여 실제 시스템에 통합하기 더 쉬워졌습니다.
이 글에서는 널리 쓰이는 오픈소스 객체 추적 도구와 알고리즘 여덟 가지를 살펴보겠습니다. 시작해 보죠!
주차장 CCTV 영상을 감시 중인 경비원이 한 대의 빨간 차를 주시하기로 결정하는 상황을 상상해 보자. 영상이 재생되는 동안 그는 그 차를 마음속으로 표시해 두고, 다른 차들이 지나가거나 사람들이 차 앞을 가로막아도 계속해서 그 차가 가는 곳을 추적한다.
인공지능 기반 객체 추적은 유사하지만 자동으로 대규모로 작동합니다. 즉, 객체 추적은 영상 프레임 내에서 움직이는 객체를 따라가며 프레임 간 동일성을 유지하는 과정입니다.
많은 시스템에서 이 과정은 객체 탐지로 시작됩니다. 객체 탐지는 각 프레임에서 사람, 차량, 도로 표지판과 같은 객체를 찾아 식별합니다. 이후 이러한 객체가 이동하거나 나타나거나 사라지거나 겹칠 때, 추적 시스템은 프레임 간 탐지 결과를 연결하여 각 객체가 무엇인지, 시간이 지남에 따라 어디로 이동하는지 파악합니다.
추적에는 두 가지 일반적인 유형이 있습니다: 단일 객체 추적(SOT)은 하나의 주요 객체(예: 스포츠 영상에서 공만 추적하는 경우)에 집중하는 반면, 다중 객체 추적(MOT)은 여러 객체를 동시에 추적하며 각각에 고유한 ID를 할당합니다(예: 혼잡한 교차로에서 모든 차량을 추적하는 경우).
추적 방식에 관계없이 대부분의 시스템은 세 가지 핵심 구성 요소에 의존합니다: 각 프레임에서 물체를 탐지하는 탐지기, 해당 물체의 예상 이동 경로를 예측하는 동작 모델, 그리고 새로 탐지된 물체를 이전에 추적된 물체와 연결하는 매칭 단계입니다. 이 구성 요소들은 원시 영상을 시간에 따른 물체의 움직임과 상호작용에 대한 의미 있는 정보로 변환합니다.
자세한 내용을 살펴보기 전에 궁금해하실 수 있습니다: 오픈소스 객체 추적 도구와 알고리즘이 왜 그렇게 특별한가요?
오픈소스 도구는 객체 추적을 더 쉽게 사용하고 널리 보급하는 데 큰 역할을 해왔습니다. 코드가 공개되어 있기 때문에 개발자와 연구자들은 추적기가 어떻게 작동하는지 정확히 파악하고, 이를 통해 배울 수 있으며, 블랙박스처럼 취급하지 않고 자신의 프로젝트에 맞게 적용할 수 있습니다.
그들은 또한 강력한 커뮤니티의 혜택을 누립니다. 많은 오픈소스 추적 도구는 새로운 기능을 추가하고, 속도와 정확성을 개선하며, 버그를 수정하고, 도구를 최신 연구 동향에 부합하도록 유지하는 활발한 기여자들에 의해 관리됩니다. 이러한 지속적인 협업은 다양한 애플리케이션 전반에서 도구가 신뢰할 수 있고 유용하게 유지되도록 돕습니다.
비용 역시 오픈소스 도구가 중요한 또 다른 큰 이유입니다. 오픈소스 도구는 무료이기 때문에 학생, 스타트업, 소규모 팀은 라이선스 비용이나 구독료 걱정 없이 실험하고, 프로토타입을 만들고, 실제 시스템을 구축할 수 있습니다.
추적 시스템 구축을 위한 다양한 오픈소스 옵션이 현재 제공되고 있습니다. 일부는 파이프라인에 직접 연결할 수 있는 추적 알고리즘이나 모델이며, 다른 일부는 해당 모델의 실행, 관리 및 통합을 용이하게 하는 라이브러리 및 프레임워크입니다. 이들을 종합하면 핵심 추적 로직부터 실제 프로젝트에서 필요한 주변 도구까지 모든 것을 아우릅니다.
다음으로, 널리 사용되는 8가지 오픈소스 객체 추적 도구와 알고리즘을 살펴보겠습니다.
객체 추적을 위한 가장 쉽고 실용적인 방법 중 하나는 Python 함께 Ultralytics YOLO 사용하는 것입니다. Ultralytics YOLO 다음과 같습니다. Ultralytics YOLO11 와 곧 출시될 Ultralytics 객체 탐지, 인스턴스 분할, 자세 추정, 객체 추적 등 다양한 비전 작업을 지원하는 컴퓨터 비전 모델입니다.
흥미롭게도 모델 자체는 프레임 간 track 않습니다. 대신 Ultralytics Python ( Ultralytics YOLO 실행 및 배포를 간소화하는 라이브러리)가 YOLO프레임별 탐지 결과를 BoT-SORT 및 ByteTrack과 같은 전용 다중 객체 추적 알고리즘과 결합함으로써 추적을 가능하게 합니다.
내장된 추적 기능을 통해 Ultralytics Ultralytics YOLO 각 프레임 내 detect 후 일관된 ID를 할당하여 물체가 이동하거나 중첩되거나 프레임을 벗어나 나중에 재진입하는 과정을 추적할 수 있습니다. 이러한 접근 방식은 제조 및 유통과 같은 분야에서 점차 채택되어 결함 검사 워크플로우, 재고 흐름 추적, 매장 내 고객 추적 등의 애플리케이션을 가능하게 합니다.
OpenCV 은 객체 추적 알고리즘 모음을 포함하는 방대한 컴퓨터 비전 라이브러리입니다. 이 라이브러리는 1999년부터 OpenCV 의해 개발 및 유지 관리되어 왔습니다.
대부분의 이러한 추적기는 딥 러닝에 의존하기보다는 상관 필터나 커널 기반 기법과 같은 전통적인 컴퓨터 비전 방법을 사용합니다(이러한 기법은 신경망을 통해 특징을 학습하기보다는, 색상이나 질감과 같은 시각적 외관을 프레임 간에 매칭하여 물체를 추적합니다).
이러한 알고리즘을 사용할 때 일반적으로 먼저 track 대상을 선택하면, 트래커는 대상이 움직이는 동안 후속 프레임에서 가장 유사한 시각 영역을 지속적으로 검색합니다.
이러한 방법들은 복잡하거나 혼잡한 장면에서 현대적인 딥러닝 기반 추적 시스템만큼 강력하지는 않을 수 있지만, 가볍고 빠르며 실행하기 쉽기 때문에 여전히 널리 사용됩니다. 또한 이러한 추적기는 CPU에서 효율적으로 실행되며 일반적으로 GPU 필요하지 않기 때문에 빠른 실험, 교실 학습 및 취미 프로젝트에 적합합니다.
ByteTrack은 다중 객체 추적을 위한 가장 인기 있는 오픈소스 알고리즘 중 하나입니다. 모델은 확신이 매우 높은 탐지 결과만 매칭하는 대신, 많은 시스템이 일반적으로 무시하는 낮은 신뢰도의 탐지 결과도 활용합니다.
이는 물체가 부분적으로 가려지거나, 멀리 있거나, 빠르게 움직이는 등 일시적으로 식별이 어려운 경우에도 track 지원합니다. 빠르고 안정적인 성능 덕분에 ByteTrack은 실시간 성능과 일관된 ID가 중요한 교통 분석, 보행자 추적, 소매점 모니터링 등의 애플리케이션에 널리 사용됩니다.
앞서 언급한 바와 같이, 탐지를 위해 Ultralytics YOLO 사용하는 경우 Ultralytics Python 통해 ByteTrack을 쉽게 활성화할 수 있습니다. 그러나 ByteTrack은 사용자 정의 파이프라인에서도 독립적으로 사용할 수 있어, 연구용 프로토타입부터 C++로 작성된 생산 시스템에 이르기까지 모든 용도에 적합합니다.
다중 객체 추적에 널리 사용되는 또 다른 알고리즘은 DeepSORT(Deep Simple Online and Real-Time Tracking의 약자)입니다. 이는 SORT(Simple Online and Real-Time Tracking의 약자)의 고급 버전입니다.
ByteTrack과 유사하게 SORT도 탐지를 통한 추적 방식을 따릅니다. 그러나 SORT는 칼만 필터, 즉 과거 움직임을 바탕으로 물체의 미래 위치를 추정하는 수학적 모델을 활용하여 각 물체가 다음에 이동할 가능성이 높은 위치를 예측합니다.
그런 다음 주로 위치와 바운딩 박스 중첩을 기반으로 새로운 탐지 결과를 기존 트랙과 매칭합니다. 이로 인해 SORT는 빠르고 가벼운 성능을 보이지만, 객체가 중첩되거나 경로를 교차하거나 잠시 시야에서 사라질 때는 어려움을 겪을 수 있습니다.
DeepSORT는 추적 과정에 외관 정보를 추가함으로써 SORT를 개선합니다. 움직임과 위치 정보 외에도, 딥러닝 기반 재식별(re-id) 모델을 활용하여 물체의 외관 특징을 학습합니다. 이를 통해 트래커는 움직임만으로는 다른 물체와 구별하기 어려운 경우에도 프레임 간 동일한 물체를 인식할 수 있습니다.
이러한 이유로 DeepSORT는 사람들이 자주 겹치거나 일시적으로 가려지는 감시 및 군중 모니터링과 같은 응용 분야에서 흔히 사용됩니다. 그러나 현재는 고전적인 기준선으로 간주되며, 더 까다로운 장면에서는 최신 추적 방법이 종종 더 나은 성능을 보입니다.
Norfair는 고정된 추적 파이프라인을 강요하기보다는 유연성을 위해 설계된 경량 추적 라이브러리입니다. 바운딩 박스 중심점, 키포인트 또는 사용자 정의 좌표 데이터와 같이 탐지기의 출력을 점의 집합으로 표현할 수 있는 한, 거의 모든 탐지기에 추적을 추가할 수 있습니다.
이러한 유연성 덕분에 표준 다중 객체 추적 도구가 한계에 부딪힐 수 있는 특이한 입력값이나 동적인 움직임 패턴이 포함된 프로젝트에서 특히 효과적입니다. 또한 이 라이브러리는 프레임 간 탐지 결과의 일치 방식을 제어하기 위한 내장 거리 함수를 제공합니다.
이러한 거리 함수는 두 점 또는 객체의 유사도를 측정하여 사용자에게 추적 로직에 대한 완전한 제어권을 제공합니다. 노페어(Norfair)는 로봇공학, 스포츠 동작 분석, 드론 항법, 그리고 자세 랜드마크나 키포인트 추적에 크게 의존하는 애플리케이션에서 자주 사용됩니다.
MMTracking은 OpenMMLab 팀이 개발한 오픈소스 추적 도구 모음으로, MMDetection과 같이 널리 사용되는 컴퓨터 비전 라이브러리의 개발사이기도 합니다. MMDetection을 기반으로 구축된 이 도구는 추적 시스템 개발 및 실험을 위한 유연한 프레임워크를 제공합니다.
가장 큰 장점 중 하나는 모듈식 설계입니다. 단일 파이프라인에 고정시키는 대신, MMTracking은 탐지기, 추적 모듈, 일부 설정에서는 재식별 모델 등 다양한 구성 요소를 구성하고 교체할 수 있게 합니다. 이러한 유연성 덕분에 연구 및 고급 프로젝트에서 특히 인기가 높습니다. 해당 프로젝트에서는 팀이 방법을 벤치마킹하거나, 새로운 아이디어를 테스트하거나, 추적 파이프라인을 미세 조정하고자 합니다.
FairMOT은 동시에 track 객체를 track 설계된 다중 객체 추적 프레임워크입니다. 먼저 탐지를 수행한 후 별도의 단계로 프레임 간 객체를 연결하는 기존의 탐지 기반 추적 파이프라인과 달리, FairMOT은 단일 네트워크 내에서 탐지와 재식별을 함께 학습합니다.
이 결합된 설정은 특히 사람들이 자주 겹치거나 빠르게 움직이는 혼잡한 장면에서 더 일관된 신원 정보를 유지하는 데 도움이 됩니다. FairMOT는 보행자 추적 및 군중 모니터링과 같은 시나리오에서 흔히 사용되며, 다수의 대상을 실시간으로 추적하는 것이 중요한 소매 분석 및 교통 모니터링과 같은 환경에도 적용됩니다.
SiamMask는 바운딩 박스와 함께 세그멘테이션 마스크를 생성함으로써 많은 트래커보다 한 단계 더 나아간 단일 객체 추적 방법입니다. 간단히 말해, 단순히 대상 주위에 사각형을 그리는 데 그치지 않습니다. 또한 픽셀 수준에서 객체의 형태를 윤곽선으로 표시하는데, 이는 대상이 모양을 바꾸거나 회전하거나 부분적으로 가려질 때 유용할 수 있습니다.
이 접근법은 시암 트래킹 설계를 사용합니다. 트래커는 먼저 첫 번째 프레임에서 대상의 작은 참조 뷰(흔히 템플릿이라 함)를 획득합니다. 이후 각 새 프레임에서 더 넓은 영역을 검색하여 해당 템플릿과 가장 유사한 지점을 찾아냅니다.
SiamMask는 이러한 매칭 기반 개념을 발전시켰습니다. 또한 대상에 대한 픽셀 단위 마스크를 예측하므로, 영상 재생 시 물체의 위치와 더 정밀한 윤곽선을 동시에 얻을 수 있습니다.
현재 AI 분야에서 다양한 오픈소스 객체 추적 도구가 제공되고 있으므로, 컴퓨터 비전 프로젝트에 가장 적합한 옵션은 특정 사용 사례의 요구사항에 따라 달라집니다. 고려해야 할 몇 가지 요소는 다음과 같습니다:
각 객체 추적 도구 또는 알고리즘은 서로 다른 목적을 수행합니다. 궁극적으로 올바른 선택은 특정 요구 사항, 런타임 제약 조건, 성능 지표, 그리고 프로젝트가 추적 접근 방식에 요구하는 맞춤화 수준에 따라 달라집니다.
물체 추적 기술은 초기 수작업 방식에서 발전하여 오늘날 최첨단 딥러닝 시스템으로 진화했으며, 이는 움직임, 정체성, 행동을 놀라운 정확도로 해석합니다. 오픈소스 도구는 이러한 진보의 원동력이 되어 왔습니다. 이들은 강력한 알고리즘에 대한 접근을 민주화하고, 실험을 장려하며, 연구자들이 제한적인 라이선스나 무거운 인프라 없이도 정교한 추적 파이프라인을 구축할 수 있게 합니다.
우리 커뮤니티와 GitHub 저장소를 방문하여 AI에 대해 자세히 알아보세요. 농업 분야의 AI와 제조업의 컴퓨터 비전 솔루션 페이지를 살펴보세요. 라이선싱 옵션을 확인하고 자신만의 비전 모델 구축을 시작하세요.
