8가지 최고의 오픈 소스 객체 추적 도구 및 알고리즘

자동차가 빨간 불에 신호를 위반하여 운전자에게 과태료 고지서가 자동으로 발송되거나, 축구 선수가 필드를 드리블할 때 카메라가 매끄럽게 플레이를 따라가는 상황에서 AI는 조용히 백그라운드에서 작동하고 있습니다. 특히 이러한 시스템들은 기계가 세상의 시각 정보를 보고 해석하며 이해할 수 있도록 하는 AI의 하위 분야인 computer vision에 의존합니다.

컴퓨터 비전 내에서 이러한 애플리케이션을 뒷받침하는 핵심 작업 중 하나는 object tracking입니다. 이는 비디오의 각 프레임에서 객체를 식별한 다음, 객체가 이동하거나 다른 객체와 겹치거나 방향을 바꿀 때 해당 객체를 계속 따라가는 데 사용됩니다.

오늘날 이용 가능한 많은 object tracking tools와 알고리즘은 각각 다른 사용 사례, 성능 요구 사항, 복잡성 수준에 맞게 설계되었습니다. 어떤 도구는 속도에 집중하여 실시간으로 수십 개의 객체를 추적할 수 있는 반면, 다른 도구는 가림(occlusion), 빠른 움직임 또는 낮은 조명과 같은 까다로운 조건에서 정확도나 장기적인 안정성을 우선시합니다.

구체적으로 open-source projects는 이 분야를 발전시키는 데 중요한 역할을 해왔습니다. 코드가 공개적으로 액세스 가능하기 때문에 개발자와 연구자는 작동 원리를 연구하고 기존 방법을 개선하며 새로운 애플리케이션에 맞게 조정할 수 있습니다. 이러한 개방성은 객체 추적이 빠르게 진화하고 실제 시스템에 쉽게 통합되도록 도왔습니다.

이 기사에서는 8가지 인기 있는 오픈 소스 객체 추적 도구 및 알고리즘을 살펴보겠습니다. 시작해 볼까요!

Link to this section객체 추적이란 무엇인가요?#

보안 요원이 주차장의 CCTV 영상을 보고 있는 시나리오를 생각해 보십시오. 그는 빨간 차 한 대를 계속 지켜보기로 합니다. 비디오가 재생되는 동안 그는 마음속으로 그 차에 태그를 지정하고, 다른 차들이 지나가거나 사람들이 차 앞을 지나가더라도 차가 이동하는 곳마다 계속 추적합니다.

AI 기반 객체 추적도 이와 유사하지만, 훨씬 더 큰 규모로 자동으로 작동합니다. 즉, 객체 추적은 객체가 비디오 프레임 사이를 이동할 때 이를 따라가며 한 프레임에서 다음 프레임으로 동일성을 유지하는 과정입니다.

많은 시스템에서 이 과정은 각 프레임에서 사람, 차량 또는 도로 표지판과 같은 객체를 찾아 레이블을 지정하는 object detection으로 시작됩니다. 그 후, 이러한 객체가 움직이거나 나타나거나 사라지거나 겹칠 때, 추적 시스템은 프레임 간의 감지 결과를 연결하여 시간이 지남에 따라 어떤 객체가 무엇인지, 그리고 각각 어디로 이동하는지 파악합니다.

그림 1. 객체 추적 살펴보기 (Source)

추적에는 두 가지 일반적인 유형이 있습니다. 하나의 주요 객체(예: 스포츠 비디오에서 공만 추적)에 집중하는 단일 객체 추적(SOT)과, 많은 객체를 한꺼번에 따라가며 각각에 고유 ID를 할당하는(예: 복잡한 교차로에서 모든 차량을 추적) 다중 객체 추적(MOT)이 있습니다.

추적 유형과 관계없이 대부분의 시스템은 세 가지 핵심 구성 요소에 의존합니다. 각 프레임에서 객체를 찾는 검출기(detector), 객체가 어떻게 움직일지 예측하는 모션 모델, 그리고 새로운 감지 결과를 이전에 추적하던 객체와 연결하는 매칭 단계입니다. 이러한 부분들은 원시 비디오를 객체가 시간이 지남에 따라 어떻게 이동하고 상호 작용하는지에 대한 의미 있는 정보로 변환합니다.

Link to this section오픈 소스 객체 추적 도구의 필요성#

세부 사항을 살펴보기 전에, 왜 오픈 소스 객체 추적 도구와 알고리즘이 그렇게 특별한지 궁금하실 수 있습니다.

오픈 소스 도구는 객체 추적을 더 사용하기 쉽고 널리 보급하는 데 큰 역할을 했습니다. 코드가 공개되어 있기 때문에 개발자와 연구자는 트래커가 어떻게 작동하는지 정확히 확인하고, 배우고, 이를 블랙박스처럼 다루는 대신 자신의 프로젝트에 맞게 조정할 수 있습니다.

또한 강력한 커뮤니티의 혜택을 받습니다. 많은 오픈 소스 추적 도구는 새로운 기능을 추가하고 속도와 정확도를 개선하며 버그를 수정하고 최신 연구와 도구를 정렬하는 활발한 기여자들에 의해 유지 관리됩니다. 이러한 지속적인 협업은 도구가 다양한 애플리케이션에서 신뢰할 수 있고 유용하게 유지되도록 돕습니다.

비용 또한 그들이 중요한 또 다른 큰 이유입니다. 오픈 소스 도구는 무료이므로 학생, 스타트업 및 소규모 팀은 라이선스 비용이나 구독료에 대한 걱정 없이 실험하고 프로토타이핑하며 실제 시스템을 구축할 수 있습니다.

Link to this section8가지 최고의 오픈 소스 객체 추적 도구 및 알고리즘#

오늘날 추적 시스템 구축을 위해 다양한 오픈 소스 옵션을 사용할 수 있습니다. 일부는 파이프라인에 직접 연결할 수 있는 추적 알고리즘이나 모델인 반면, 다른 일부는 이러한 모델을 더 쉽게 실행, 관리 및 통합할 수 있게 해주는 라이브러리 및 프레임워크입니다. 이들은 핵심 추적 로직부터 실제 프로젝트에 필요한 주변 도구까지 모든 것을 다룹니다.

다음으로 8가지 인기 있는 오픈 소스 객체 추적 도구와 알고리즘을 살펴보겠습니다.

Link to this sectionUltralytics YOLO 모델 및 Ultralytics Python 패키지#

객체 추적을 위한 가장 쉽고 실용적인 옵션 중 하나는 Ultralytics YOLO models와 Ultralytics Python package를 함께 사용하는 것입니다. Ultralytics YOLO11 및 곧 출시될 Ultralytics YOLO26과 같은 Ultralytics YOLO 모델은 객체 감지, 인스턴스 분할, 포즈 추정, 객체 추적을 포함한 다양한 비전 작업을 지원하는 컴퓨터 비전 모델입니다.

그림 2. YOLO11을 사용하여 객체를 감지하고 추적하는 예시. (Source)

흥미롭게도 모델 자체가 프레임 간 객체를 추적하는 것은 아닙니다. 대신 Ultralytics YOLO 모델 실행 및 배포를 단순화하는 라이브러리인 Ultralytics Python 패키지는 YOLO의 프레임별 감지 결과를 BoT-SORT 및 ByteTrack과 같은 전용 다중 객체 추적 알고리즘과 결합하여 추적을 가능하게 합니다.

내장된 추적 기능을 통해 Ultralytics 패키지와 Ultralytics YOLO 모델은 각 프레임에서 객체를 감지한 다음 일관된 ID를 할당하여 객체가 움직이거나 겹치거나 프레임을 벗어나 나중에 다시 진입할 때 이를 따라갈 수 있습니다. 이러한 접근 방식은 제조 및 소매 분야에서 점점 더 많이 채택되고 있으며, 결함 검사 워크플로우, 재고 흐름 추적, 매장 내 고객 추적과 같은 애플리케이션을 가능하게 합니다.

Link to this sectionOpenCV 트래커#

OpenCV는 객체 추적 알고리즘 컬렉션을 포함하는 방대한 컴퓨터 비전 라이브러리입니다. 이 라이브러리는 1999년부터 OpenCV 커뮤니티에 의해 개발 및 유지 관리되어 왔습니다.

딥러닝에 의존하는 대신 대부분의 트래커는 상관 필터(correlation filters)와 커널 기반 기술과 같은 전통적인 컴퓨터 비전 방법을 사용합니다(이는 신경망을 사용하여 특징을 학습하는 대신 색상과 질감과 같은 시각적 외관을 한 프레임에서 다음 프레임으로 일치시켜 객체를 따라갑니다).

이러한 알고리즘을 사용할 때 일반적으로 먼저 추적하려는 객체를 선택하면, 트래커는 객체가 이동함에 따라 후속 프레임에서 가장 유사한 시각적 영역을 지속적으로 검색합니다.

그림 3. OpenCV를 사용한 객체 추적 (Source)

이러한 방법이 복잡하거나 붐비는 장면에서 현대적인 딥러닝 기반 추적 시스템만큼 강력하지는 않을 수 있지만, 가볍고 빠르며 실행하기 쉽기 때문에 여전히 널리 사용됩니다. 또한 이 트래커들은 CPU에서 효율적으로 실행되고 일반적으로 GPU를 필요로 하지 않기 때문에 빠른 실험, 수업용 학습 및 취미 프로젝트에 잘 작동합니다.

Link to this sectionByteTrack#

ByteTrack은 다중 객체 추적을 위한 가장 인기 있는 오픈 소스 알고리즘 중 하나입니다. 모델이 매우 확신하는 감지 결과만 일치시키는 대신, 많은 시스템이 평소에 무시하는 낮은 신뢰도의 감지 결과도 활용합니다.

이는 부분적으로 가려지거나, 멀리 있거나, 빠르게 움직일 때와 같이 잠시 보기 힘든 객체를 계속 추적하는 데 도움이 됩니다. 빠르고 신뢰할 수 있기 때문에 ByteTrack은 실시간 성능과 일관된 ID가 중요한 교통 분석, 보행자 추적 및 소매 모니터링과 같은 애플리케이션에 일반적으로 사용됩니다.

앞서 언급했듯이 감지를 위해 Ultralytics YOLO 모델을 사용하는 경우 Ultralytics Python 패키지를 통해 ByteTrack을 쉽게 활성화할 수 있습니다. 하지만 사용자 정의 파이프라인에서 독립적으로 사용할 수도 있어 연구 프로토타입부터 C++로 작성된 프로덕션 시스템까지 모든 것에 적합합니다.

Link to this sectionDeepSORT#

다중 객체 추적에 널리 사용되는 또 다른 알고리즘은 Deep Simple Online and Real-Time Tracking의 약자인 DeepSORT입니다. 이는 Simple Online and Real-Time Tracking의 약자인 SORT의 고급 버전입니다.

ByteTrack과 유사하게 SORT는 추적-후-감지(tracking-by-detection) 접근 방식을 따릅니다. 그러나 SORT는 과거의 움직임을 바탕으로 객체의 미래 위치를 추정하여 각 객체가 다음에 어디로 이동할 가능성이 있는지 예측하는 수학적 모델인 Kalman filter에 의존합니다.

그런 다음 주로 위치와 바운딩 박스 겹침을 기준으로 새로운 감지 결과를 기존 트랙과 일치시킵니다. 이로 인해 SORT는 빠르고 가볍지만, 객체가 겹치거나 경로가 교차하거나 잠시 시야에서 사라질 때 어려움을 겪을 수 있습니다.

DeepSORT는 추적 과정에 외관 정보를 추가하여 SORT를 개선합니다. 동작 및 위치 외에도 객체가 어떻게 보이는지 학습하는 딥러닝 기반 재식별(re-identification 또는 re-id) 모델을 사용합니다. 이를 통해 트래커는 움직임만으로는 다른 객체와 구별하기 충분하지 않을 때도 프레임 전반에서 동일한 객체를 인식할 수 있습니다.

이 때문에 DeepSORT는 사람들이 자주 겹치거나 잠시 가려지는 감시 및 군중 모니터링과 같은 애플리케이션에 일반적으로 사용됩니다. 그러나 오늘날에는 고전적인 기준 모델로 간주되며, 더 새로운 추적 방법이 더 까다로운 장면에서 더 나은 성능을 달성하는 경우가 많습니다.

Link to this sectionNorfair#

Norfair는 고정된 추적 파이프라인을 강제하는 대신 유연하게 설계된 경량 추적 라이브러리입니다. 바운딩 박스 중심, 키포인트 또는 사용자 정의 좌표 데이터와 같이 감지기 출력을 점의 집합으로 나타낼 수만 있다면 거의 모든 감지기 위에 추적 기능을 추가할 수 있습니다.

그림 4. Norfair를 사용한 실제 객체 추적 (Source)

이러한 유연성은 일반적인 다중 객체 추적 도구가 부족할 수 있는 비정상적인 입력이나 역동적인 움직임 패턴이 포함된 프로젝트에 특히 효과적입니다. 또한 라이브러리는 프레임 간 감지 결과가 일치되는 방식을 제어할 수 있는 내장 거리 함수를 제공합니다.

이러한 거리 함수는 두 점 또는 객체가 얼마나 유사한지 측정하여 사용자에게 추적 로직에 대한 완전한 제어권을 제공합니다. Norfair는 로봇 공학, 스포츠 동작 분석, 드론 내비게이션 및 포즈 랜드마크나 키포인트 추적에 크게 의존하는 애플리케이션에 자주 사용됩니다.

Link to this sectionMMTracking#

MMTracking은 MMDetection과 같은 널리 사용되는 컴퓨터 비전 라이브러리를 만든 OpenMMLab 팀의 오픈 소스 추적 툴박스입니다. MMDetection 위에 구축된 이 도구는 추적 시스템을 개발하고 실험하기 위한 유연한 프레임워크를 제공합니다.

가장 큰 장점 중 하나는 모듈식 설계입니다. 단일 파이프라인에 가두는 대신, MMTracking을 사용하면 감지기, 추적 모듈, 일부 설정에서는 재식별 모델과 같은 다양한 구성 요소를 구성하고 교체할 수 있습니다. 이러한 유연성 때문에 팀이 방법을 벤치마킹하거나, 새로운 아이디어를 테스트하거나, 추적 파이프라인을 미세 조정하려는 연구 및 고급 프로젝트에서 특히 인기가 있습니다.

Link to this sectionFairMOT#

FairMOT는 동시에 많은 객체를 추적하도록 설계된 다중 객체 추적 프레임워크입니다. 먼저 감지를 수행한 후 별도의 단계로 프레임 간 객체를 연결하는 전통적인 추적-후-감지 파이프라인과 달리, FairMOT는 단일 네트워크에서 감지와 재식별을 함께 학습합니다.

그림 5. FairMOT 프레임워크 작동 방식 (Source)

이러한 공동 설정은 사람들이 자주 겹치거나 빠르게 움직이는 붐비는 장면에서 더 일관된 ID를 유지하는 데 도움이 됩니다. FairMOT는 보행자 추적 및 군중 모니터링과 같은 시나리오에서 일반적으로 사용되며, 실시간으로 많은 대상을 추적하는 것이 중요한 소매 분석 및 교통 모니터링과 같은 환경에서도 적용됩니다.

Link to this sectionSiamMask#

SiamMask는 바운딩 박스와 함께 세그멘테이션 마스크를 생성하여 많은 트래커보다 한 단계 더 나아가는 단일 객체 추적 방법입니다. 간단히 말해, 대상 주위에 직사각형만 그리는 것이 아닙니다. 또한 픽셀 수준에서 객체의 모양을 윤곽으로 그려내는데, 이는 대상이 모양을 바꾸거나 회전하거나 부분적으로 숨겨질 때 도움이 될 수 있습니다.

그림 6. SiamMask를 사용하여 객체 추적 및 세그멘테이션 (Source)

이 접근 방식은 샴(Siamese) 추적 설계를 사용합니다. 트래커가 첫 번째 프레임에서 대상의 작은 참조 뷰(종종 템플릿이라고 함)를 먼저 가져옵니다. 그런 다음 새로운 각 프레임에서 더 큰 영역을 검색하고 해당 템플릿과 가장 높은 유사성을 가진 지점을 찾습니다.

SiamMask는 이러한 매칭 기반 아이디어를 바탕으로 구축되었습니다. 또한 대상에 대한 픽셀 수준 마스크를 예측하므로 비디오가 재생됨에 따라 객체의 위치와 더 정밀한 윤곽을 모두 얻을 수 있습니다.

Link to this section객체 추적 도구 선택 시 핵심 요소#

오늘날 AI 분야에서 이용 가능한 다양한 오픈 소스 객체 추적 도구 옵션 중에서 컴퓨터 비전 프로젝트에 가장 적합한 옵션은 특정 사용 사례의 요구 사항에 따라 다릅니다. 고려해야 할 몇 가지 요소는 다음과 같습니다.

• 정확도: 이는 시각 시스템이 겹침, 가림 또는 빠른 움직임 중에도 안정적인 ID를 유지해야 하는 복잡한 장면에서 가장 중요합니다.
• 속도: 로봇 공학, 교통 모니터링 및 스포츠 분석과 같은 실시간 애플리케이션의 경우 완벽한 정밀도보다 반응성이 더 중요할 수 있습니다.
• 통합 용이성: 일부 객체 추적 도구는 플러그 앤 플레이 방식이어서 몇 줄의 코드만으로 작동하는 반면, 다른 도구는 더 많은 설정, 구성 또는 사용자 정의 파이프라인 작업이 필요합니다.
• 배포 제약: GPU 서버, 엣지 디바이스 또는 모바일 하드웨어와 같은 대상 환경에 따라 어떤 추적 접근 방식이 실용적인지 결정될 수 있습니다.
• 확장성: 시스템이 한 번에 많은 객체를 추적하거나 여러 비디오 스트림을 처리해야 하는 경우, 트래커는 성능 저하 없이 효율적으로 확장되어야 합니다.

각 객체 추적 도구 또는 알고리즘은 서로 다른 목적을 수행합니다. 궁극적으로 올바른 선택은 귀하의 특정 요구 사항, 런타임 제약 조건, 성능 지표 및 프로젝트에서 요구하는 추적 접근 방식의 사용자 정의 가능성에 달려 있습니다.

Link to this section핵심 요약#

객체 추적은 초기의 수작업 기술에서 움직임, 동일성, 행동을 놀라운 정확도로 해석하는 오늘날의 최첨단 딥러닝 시스템으로 진화했습니다. 오픈 소스 도구는 이러한 진보의 원동력이었습니다. 이들은 강력한 알고리즘에 대한 액세스를 민주화하고, 실험을 장려하며, 연구자가 제한적인 라이선스나 과도한 인프라 없이 정교한 추적 파이프라인을 구축할 수 있게 합니다.

AI에 대해 자세히 알아보려면 community 및 GitHub repository를 확인하십시오. AI in agriculture 및 computer vision in manufacturing에 대한 솔루션 페이지를 탐색하십시오. licensing options을 확인하고 나만의 비전 모델 구축을 시작하십시오.