최고의 오픈 소스 객체 추적 도구 및 알고리즘 8가지

자동차가 신호를 위반해 운전자에게 자동으로 과태료 고지서가 발송되거나, 축구 선수가 경기장을 드리블하며 이동할 때 카메라가 경기 장면을 매끄럽게 따라가는 순간에도 AI는 조용히 백그라운드에서 작동하고 있습니다. 특히 이러한 시스템은 기계가 세상의 시각 정보를 보고 해석하며 이해할 수 있도록 하는 AI의 하위 분야인 컴퓨터 비전에 의존합니다.

컴퓨터 비전에서 이러한 애플리케이션을 뒷받침하는 핵심 작업 중 하나가 객체 추적입니다. 객체 추적은 동영상의 각 프레임에서 객체를 식별한 다음, 객체가 이동하거나 다른 객체와 겹치거나 방향을 바꿀 때 해당 객체를 따라가는 데 사용됩니다.

오늘날 다양한 객체 추적 도구와 알고리즘을 사용할 수 있으며, 각각 서로 다른 사용 사례와 성능 요구 사항, 복잡도에 맞게 설계되었습니다. 일부는 속도에 중점을 두어 실시간으로 수십 개의 객체를 추적할 수 있는 반면, 다른 일부는 가림, 빠른 움직임, 낮은 조도와 같은 까다로운 조건에서 정확도나 장기적인 안정성을 우선시합니다.

특히 오픈 소스 프로젝트는 이 분야의 발전에 중요한 역할을 해 왔습니다. 코드에 공개적으로 접근할 수 있기 때문에 개발자와 연구자는 작동 방식을 연구하고, 기존 방법을 개선하며, 새로운 애플리케이션에 맞게 조정할 수 있습니다. 이러한 개방성 덕분에 객체 추적은 빠르게 발전했으며 실제 시스템에 더 쉽게 통합될 수 있게 되었습니다.

이 글에서는 인기 있는 오픈 소스 객체 추적 도구와 알고리즘 8가지를 살펴보겠습니다. 시작하겠습니다!

객체 추적이란 무엇인가요?#

경비원이 주차장의 CCTV 영상을 지켜보고 있다고 가정해 보겠습니다. 경비원은 빨간색 자동차 한 대를 계속 지켜보기로 합니다. 영상이 재생되는 동안 경비원은 해당 자동차를 머릿속으로 표시해 두고, 다른 자동차가 지나가거나 사람들이 앞을 가로막더라도 자동차가 어디로 이동하든 계속 추적합니다.

AI 기반 객체 추적도 이와 유사하지만, 자동으로 대규모 작업을 수행합니다. 즉, 객체 추적은 객체가 동영상의 프레임을 이동하는 과정을 따라가면서 한 프레임에서 다음 프레임으로 객체의 ID를 일관되게 유지하는 작업입니다.

많은 시스템에서는 먼저 각 프레임에서 사람, 차량, 도로 표지판과 같은 객체를 찾고 레이블을 지정하는 객체 감지부터 시작합니다. 그런 다음 이러한 객체가 이동하거나 나타나고 사라지거나 서로 겹칠 때 추적 시스템이 프레임 간 감지 결과를 연결하여 어떤 객체가 무엇인지, 시간이 지남에 따라 각 객체가 어디로 이동하는지 파악합니다.

그림 1. 객체 추적 살펴보기 (출처)

일반적인 추적 유형은 두 가지입니다. 단일 객체 추적(SOT)은 하나의 주요 객체에 초점을 맞추며(예: 스포츠 동영상에서 공만 추적), 다중 객체 추적(MOT)은 여러 객체를 동시에 추적하고 각 객체에 고유한 ID를 할당합니다(예: 혼잡한 교차로의 모든 자동차 추적).

추적 유형과 관계없이 대부분의 시스템은 세 가지 핵심 구성 요소에 의존합니다. 각 프레임에서 객체를 찾는 detector, 객체가 어떻게 이동할 가능성이 높은지 예측하는 motion model, 그리고 새로운 감지 결과를 이전에 추적된 객체와 연결하는 matching 단계입니다. 이러한 구성 요소는 원시 동영상을 객체가 시간에 따라 어떻게 이동하고 상호작용하는지에 대한 의미 있는 정보로 변환합니다.

오픈 소스 객체 추적 도구의 필요성#

자세한 내용을 살펴보기 전에 다음과 같은 의문이 들 수 있습니다. 오픈 소스 객체 추적 도구와 알고리즘은 무엇이 특별할까요?

오픈 소스 도구는 객체 추적을 더 쉽게 사용하고 더 널리 이용할 수 있도록 하는 데 큰 역할을 해 왔습니다. 코드가 공개되어 있으므로 개발자와 연구자는 tracker가 정확히 어떻게 작동하는지 확인하고, 그로부터 배우며, 블랙박스로 취급하는 대신 자신의 프로젝트에 맞게 조정할 수 있습니다.

또한 강력한 커뮤니티의 혜택을 누릴 수 있습니다. 많은 오픈 소스 추적 도구는 새로운 기능을 추가하고 속도와 정확도를 개선하며 버그를 수정하고 최신 연구에 맞게 도구를 유지하는 활발한 기여자들이 관리합니다. 이러한 지속적인 협업은 다양한 애플리케이션에서 도구의 신뢰성과 유용성을 유지하는 데 도움이 됩니다.

비용도 오픈 소스 도구가 중요한 또 다른 큰 이유입니다. 오픈 소스 도구는 무료이므로 학생, 스타트업, 소규모 팀이 라이선스 비용이나 구독 비용을 걱정하지 않고 실험하고 프로토타입을 제작하며 실제 시스템을 구축할 수 있습니다.

최고의 오픈 소스 객체 추적 도구 및 알고리즘 8가지#

오늘날 추적 시스템 구축에 사용할 수 있는 다양한 오픈 소스 옵션이 있습니다. 일부는 파이프라인에 직접 연결할 수 있는 추적 알고리즘이나 모델이고, 다른 일부는 이러한 모델을 실행하고 관리하며 통합하기 쉽게 해 주는 라이브러리와 프레임워크입니다. 이들을 함께 사용하면 핵심 추적 로직부터 실제 프로젝트에 필요한 주변 도구까지 모두 다룰 수 있습니다.

이제 인기 있는 오픈 소스 객체 추적 도구와 알고리즘 8가지를 살펴보겠습니다.

1. Ultralytics YOLO 모델 및 Ultralytics Python 패키지#

객체 추적을 위한 가장 쉽고 실용적인 옵션 중 하나는 Ultralytics YOLO 모델을 Ultralytics Python 패키지와 함께 사용하는 것입니다. Ultralytics YOLO11 및 출시 예정인 Ultralytics YOLO26과 같은 Ultralytics YOLO 모델은 객체 감지, 인스턴스 세그멘테이션, 포즈 추정, 객체 추적을 비롯한 다양한 비전 작업을 지원하는 컴퓨터 비전 모델입니다.

그림 2. YOLO11을 사용하여 객체를 감지하고 추적하는 예시입니다. (출처)

흥미롭게도 모델 자체는 프레임 간 객체를 추적하지 않습니다. 대신 Ultralytics YOLO 모델의 실행과 배포를 간소화하는 라이브러리인 Ultralytics Python 패키지가 YOLO의 프레임별 감지 결과를 BoT-SORT 및 ByteTrack과 같은 전용 다중 객체 추적 알고리즘과 결합하여 추적을 가능하게 합니다.

기본 제공 추적 기능을 사용하면 Ultralytics 패키지와 Ultralytics YOLO 모델로 각 프레임의 객체를 감지한 다음 일관된 ID를 할당할 수 있습니다. 이를 통해 객체가 이동하고, 서로 겹치고, 프레임을 벗어났다가 나중에 다시 나타나더라도 추적할 수 있습니다. 이 접근 방식은 제조 및 소매와 같은 분야에서 점점 더 많이 채택되고 있으며, 결함 검사 워크플로, 재고 흐름 추적, 매장 내 고객 추적과 같은 애플리케이션을 가능하게 합니다.

2. OpenCV tracker#

OpenCV는 객체 추적 알고리즘 모음을 포함하는 방대한 컴퓨터 비전 라이브러리입니다. 이 라이브러리는 1999년부터 OpenCV 커뮤니티가 개발하고 유지 관리해 왔습니다.

이러한 tracker 대부분은 딥러닝에 의존하는 대신 correlation filter 및 kernel 기반 기법과 같은 전통적인 컴퓨터 비전 방법을 사용합니다. 이러한 방법은 neural network를 사용해 특징을 학습하는 것이 아니라, 한 프레임에서 다음 프레임으로 색상과 질감 같은 시각적 외형을 매칭하여 객체를 추적합니다.

이러한 알고리즘을 사용할 때는 일반적으로 먼저 추적할 객체를 선택하면 됩니다. 그러면 tracker가 객체가 이동함에 따라 이후 프레임에서 시각적으로 가장 유사한 영역을 지속적으로 검색합니다.

그림 3. OpenCV를 사용한 객체 추적 (출처)

이러한 방법은 복잡하거나 혼잡한 장면에서 최신 딥러닝 기반 추적 시스템만큼 강력하지 않을 수 있지만, 가볍고 빠르며 실행하기 쉽기 때문에 여전히 널리 사용됩니다. 또한 이러한 tracker는 CPU에서 효율적으로 실행되고 일반적으로 GPU가 필요하지 않으므로 빠른 실험, 수업 학습, 취미 프로젝트에 적합합니다.

3. ByteTrack#

ByteTrack은 가장 인기 있는 오픈 소스 다중 객체 추적 알고리즘 중 하나입니다. 모델이 매우 확신하는 감지 결과만 매칭하는 대신, 일반적으로 많은 시스템이 무시하는 낮은 confidence의 감지 결과도 활용합니다.

이를 통해 객체가 부분적으로 가려져 있거나 멀리 있거나 빠르게 이동하는 등 잠시 식별하기 어려운 상황에서도 객체를 계속 추적할 수 있습니다. ByteTrack은 빠르고 안정적이므로 실시간 성능과 일관된 ID가 중요한 교통 분석, 보행자 추적, 소매 모니터링과 같은 애플리케이션에서 일반적으로 사용됩니다.

앞서 언급했듯이 감지에 Ultralytics YOLO 모델을 사용하는 경우 Ultralytics Python 패키지를 통해 ByteTrack을 쉽게 활성화할 수 있습니다. 하지만 사용자 지정 파이프라인에서 독립적으로 사용할 수도 있으므로 연구 프로토타입부터 C++로 작성된 프로덕션 시스템까지 다양한 용도에 적합합니다.

4. DeepSORT#

다중 객체 추적에 널리 사용되는 또 다른 알고리즘은 DeepSORT이며, 이는 심층 단순 온라인 및 실시간 추적을 의미합니다. DeepSORT는 단순 온라인 및 실시간 추적을 의미하는 SORT의 고급 버전입니다.

ByteTrack과 마찬가지로 SORT는 감지 기반 추적 방식을 따릅니다. 하지만 SORT는 과거의 움직임을 기반으로 객체의 미래 위치를 추정하는 수학적 모델인 Kalman filter를 사용하여 각 객체가 다음에 어디로 이동할 가능성이 높은지 예측합니다.

그런 다음 주로 위치와 bounding box 중첩을 기준으로 새로운 감지 결과를 기존 track에 매칭합니다. 따라서 SORT는 빠르고 가볍지만 객체가 겹치거나 서로의 경로를 가로지르거나 잠시 시야에서 사라질 때 어려움을 겪을 수 있습니다.

DeepSORT는 추적 과정에 외형 정보를 추가하여 SORT를 개선합니다. 움직임과 위치뿐만 아니라 객체의 외형을 학습하는 딥러닝 기반 재식별 또는 re-id 모델도 사용합니다. 이를 통해 움직임만으로 다른 객체와 구분하기 어려운 경우에도 tracker가 프레임 간 동일한 객체를 인식할 수 있습니다.

이 때문에 DeepSORT는 사람들이 자주 겹치거나 잠시 가려지는 감시 및 군중 모니터링과 같은 애플리케이션에서 일반적으로 사용됩니다. 그러나 오늘날에는 고전적인 baseline으로 간주되며, 최신 추적 방법이 더 까다로운 장면에서 더 나은 성능을 보이는 경우가 많습니다.

5. Norfair#

Norfair는 고정된 추적 파이프라인을 강제하기보다 유연성을 제공하도록 설계된 경량 추적 라이브러리입니다. detector의 출력이 bounding box 중심, keypoint 또는 사용자 지정 좌표 데이터와 같은 점 집합으로 표현될 수 있다면 거의 모든 detector 위에 추적 기능을 추가할 수 있습니다.

그림 4. Norfair를 사용한 실제 객체 추적 (출처)

이러한 유연성 덕분에 표준 다중 객체 추적 도구가 제대로 처리하기 어려운 특이한 입력이나 동적인 움직임 패턴을 다루는 프로젝트에서 특히 큰 효과를 발휘합니다. 또한 이 라이브러리는 프레임 간 감지 결과를 어떻게 매칭할지 제어할 수 있도록 기본 제공 거리 함수를 제공합니다.

이러한 거리 함수는 두 점 또는 객체가 얼마나 유사한지 측정하여 사용자에게 추적 로직을 완전히 제어할 수 있는 권한을 제공합니다. Norfair는 로보틱스, 스포츠 동작 분석, 드론 내비게이션, 포즈 랜드마크나 keypoint 추적에 크게 의존하는 애플리케이션에서 자주 사용됩니다.

6. MMTracking#

MMTracking은 MMDetection과 같이 널리 사용되는 컴퓨터 비전 라이브러리를 개발한 OpenMMLab 팀의 오픈 소스 추적 toolbox입니다. MMDetection을 기반으로 구축되었으며, 추적 시스템을 개발하고 실험할 수 있는 유연한 프레임워크를 제공합니다.

가장 큰 강점 중 하나는 모듈식 설계입니다. MMTracking은 단일 파이프라인에 사용자를 고정하지 않고 detector, 추적 모듈, 일부 구성에서는 재식별 모델과 같은 다양한 구성 요소를 구성하고 교체할 수 있도록 합니다. 이러한 유연성 덕분에 방법을 benchmark하고, 새로운 아이디어를 테스트하고, 추적 파이프라인을 fine-tuning하려는 연구 및 고급 프로젝트에서 특히 인기가 높습니다.

7. FairMOT#

FairMOT는 여러 객체를 동시에 추적하도록 설계된 다중 객체 추적 프레임워크입니다. 먼저 감지를 실행한 다음 별도의 단계에서 프레임 간 객체를 연결하는 기존의 감지 기반 추적 파이프라인과 달리, FairMOT는 하나의 network에서 감지와 재식별을 함께 학습합니다.

그림 5. FairMOT 프레임워크의 작동 방식 (출처)

이러한 공동 설정은 특히 사람들이 자주 겹치거나 빠르게 움직이는 혼잡한 장면에서 더 일관된 ID를 유지하는 데 도움이 됩니다. FairMOT는 보행자 추적 및 군중 모니터링과 같은 시나리오에서 일반적으로 사용되며, 실시간으로 많은 대상을 추적하는 것이 중요한 소매 분석 및 교통 모니터링과 같은 환경에도 적용됩니다.

8. SiamMask#

SiamMask는 bounding box와 함께 세그멘테이션 mask를 생성하여 많은 tracker보다 한 단계 더 나아간 단일 객체 추적 방법입니다. 간단히 말해 대상 주위에 직사각형만 그리는 것이 아닙니다. 대상의 형태가 변하거나 회전하거나 일부 가려질 때 유용하도록 픽셀 수준에서 객체의 윤곽도 표시합니다.

그림 6. SiamMask를 사용한 객체 추적 및 세그멘테이션 (출처)

이 접근 방식은 Siamese 추적 설계를 사용합니다. tracker가 먼저 첫 번째 프레임에서 대상의 작은 기준 시야를 가져오며, 이를 template이라고 부르는 경우가 많습니다. 그런 다음 각각의 새로운 프레임에서 더 넓은 영역을 검색하여 해당 template과 가장 유사한 지점을 찾습니다.

SiamMask는 이러한 매칭 기반 아이디어를 확장합니다. 대상에 대한 픽셀 수준 mask도 예측하므로 동영상이 재생되는 동안 객체의 위치와 더 정밀한 윤곽을 모두 얻을 수 있습니다.

객체 추적 도구 선택 시 주요 고려 요소#

오늘날 AI 분야에서 다양한 오픈 소스 객체 추적 도구를 사용할 수 있으므로, 컴퓨터 비전 프로젝트에 가장 적합한 옵션은 구체적인 사용 사례의 요구 사항에 따라 달라집니다. 다음과 같은 요소를 고려할 수 있습니다.

• 정확도: 겹침, 가림, 빠른 움직임이 발생하는 동안에도 비전 시스템이 안정적인 ID를 유지해야 하는 혼잡하거나 시각적으로 복잡한 장면에서 가장 중요합니다.
• 속도: 로보틱스, 교통 모니터링, 스포츠 분석과 같은 실시간 애플리케이션에서는 완벽한 정밀도보다 응답성이 더 중요할 수 있습니다.
• 통합 용이성: 일부 객체 추적 도구는 몇 줄의 코드만으로 쉽게 plug-and-play 방식으로 사용할 수 있는 반면, 다른 도구는 더 많은 설정, 구성 또는 사용자 지정 파이프라인 작업이 필요합니다.
• 배포 제약: GPU 서버, edge device, 모바일 하드웨어와 같은 대상 환경에 따라 실용적인 추적 방식이 결정될 수 있습니다.
• 확장성: 시스템이 한 번에 많은 객체를 추적하거나 여러 동영상 스트림을 처리해야 한다면, 성능이 크게 저하되지 않으면서 tracker가 효율적으로 확장되어야 합니다.

각 객체 추적 도구 또는 알고리즘은 서로 다른 목적을 수행합니다. 궁극적으로 적합한 선택은 구체적인 요구 사항, 런타임 제약, 성능 지표, 프로젝트에서 추적 방식을 어느 정도까지 사용자 지정해야 하는지에 따라 달라집니다.

핵심 요점#

객체 추적은 초기의 수작업 기반 기법에서 움직임, ID, 행동을 놀라운 정확도로 해석하는 오늘날의 최첨단 딥러닝 시스템으로 발전해 왔습니다. 오픈 소스 도구는 이러한 발전을 이끈 원동력이었습니다. 오픈 소스 도구는 강력한 알고리즘에 대한 접근성을 대중화하고, 실험을 장려하며, 연구자가 제한적인 라이선스나 막대한 인프라 없이도 정교한 추적 파이프라인을 구축할 수 있도록 합니다.

AI에 대해 더 알아보려면 커뮤니티와 GitHub 저장소를 확인해 보세요. 농업 분야의 AI 및 제조 분야의 컴퓨터 비전 솔루션 페이지도 살펴보세요. 라이선스 옵션을 확인하고 나만의 비전 모델 구축을 시작해 보세요.