주요 오픈소스 객체 추적 도구 및 알고리즘 8가지

자동차가 빨간불을 무시해 운전자에게 자동으로 과태료가 부과되거나 축구 선수가 경기장을 가로질러 드리블할 때 카메라가 경기를 부드럽게 따라가는 순간에도 AI는 보이지 않는 곳에서 조용히 작동합니다. 특히 이러한 시스템은 기계가 세상의 시각 정보를 보고 해석하고 이해하도록 지원하는 AI 하위 분야인 컴퓨터 비전에 의존합니다.

컴퓨터 비전의 핵심 작업 중 하나로 이러한 애플리케이션을 뒷받침하는 것이 객체 추적입니다. 객체 추적은 동영상의 각 프레임에서 객체를 식별한 다음 객체가 이동하거나 다른 객체와 겹치거나 방향을 바꿀 때 추적하는 데 사용됩니다.

오늘날 다양한 객체 추적 도구와 알고리즘을 이용할 수 있으며, 각각은 서로 다른 사용 사례, 성능 요구 사항, 복잡도에 맞게 설계되었습니다. 일부는 속도에 중점을 두고 실시간으로 수십 개의 객체를 추적할 수 있으며, 다른 도구는 가림, 빠른 움직임, 낮은 조도와 같은 까다로운 조건에서 정확도나 장기적인 안정성을 우선시합니다.

특히 오픈 소스 프로젝트는 이 분야의 발전에 크게 기여했습니다. 코드를 공개적으로 이용할 수 있어 개발자와 연구자는 작동 방식을 살펴보고 기존 방법을 개선하며 새로운 애플리케이션에 맞게 조정할 수 있습니다. 이러한 개방성 덕분에 객체 추적은 빠르게 발전하고 실제 시스템에 더 쉽게 통합될 수 있었습니다.

이 글에서는 널리 사용되는 오픈 소스 객체 추적 도구와 알고리즘 8가지를 살펴봅니다.

객체 추적이란 무엇인가요?#

경비원이 주차장의 CCTV 영상을 지켜보고 있다고 가정해 보겠습니다. 경비원은 빨간색 자동차 한 대를 계속 살펴보기로 합니다. 영상이 재생되는 동안 경비원은 해당 자동차를 머릿속에 표시해 두고 다른 자동차가 지나가거나 사람이 앞을 가로막더라도 어디로 가든 계속 추적합니다.

AI 기반 객체 추적도 이와 비슷하지만 자동으로 대규모 처리를 수행합니다. 즉, 객체 추적은 동영상 프레임을 따라 이동하는 객체를 추적하고 각 프레임에서 객체의 식별 정보를 일관되게 유지하는 과정입니다.

많은 시스템은 각 프레임에서 사람, 차량, 도로 표지판과 같은 객체를 찾아 레이블을 지정하는 객체 감지부터 시작합니다. 그런 다음 객체가 이동하거나 나타나고 사라지거나 서로 겹치면 추적 시스템이 프레임 간 감지 결과를 연결해 각 객체를 구분하고 시간에 따른 이동 경로를 파악합니다.

그림 1. 객체 추적 살펴보기 (출처)

추적에는 일반적으로 두 가지 유형이 있습니다. 단일 객체 추적(SOT)은 스포츠 동영상에서 공만 추적하는 것처럼 하나의 주요 객체에 집중하며, 다중 객체 추적(MOT)은 혼잡한 교차로에서 모든 차량을 추적하는 것처럼 여러 객체를 동시에 추적하고 각 객체에 고유 ID를 할당합니다.

추적 유형과 관계없이 대부분의 시스템은 세 가지 핵심 구성 요소에 의존합니다. 각 프레임에서 객체를 찾는 검출기, 객체의 이동 경향을 예측하는 모션 모델, 새 감지 결과를 이전에 추적하던 객체와 연결하는 매칭 단계입니다. 이 구성 요소들은 원시 동영상을 객체가 시간에 따라 어떻게 움직이고 상호작용하는지 보여 주는 유의미한 정보로 변환합니다.

오픈 소스 객체 추적 도구의 필요성#

자세히 알아보기 전에 오픈 소스 객체 추적 도구와 알고리즘이 특별한 이유가 무엇인지 궁금하실 수 있습니다.

오픈 소스 도구는 객체 추적을 더 쉽게 사용하고 더 폭넓게 이용할 수 있도록 하는 데 큰 역할을 해 왔습니다. 코드를 공개하기 때문에 개발자와 연구자는 추적기의 작동 방식을 정확히 살펴보고 이를 통해 배우며 블랙박스처럼 취급하는 대신 자신의 프로젝트에 맞게 조정할 수 있습니다.

또한 오픈 소스 도구는 활발한 커뮤니티의 지원을 받습니다. 많은 오픈 소스 추적 도구는 새로운 기능을 추가하고 속도와 정확도를 높이며 버그를 수정하고 최신 연구에 발맞춰 도구를 유지하는 기여자들이 관리합니다. 이러한 지속적인 협업은 다양한 애플리케이션에서 도구의 신뢰성과 유용성을 유지하는 데 도움이 됩니다.

비용도 중요한 이유 중 하나입니다. 오픈 소스 도구는 무료이므로 학생, 스타트업, 소규모 팀은 라이선스 비용이나 구독료를 걱정하지 않고 실험하고, 프로토타입을 제작하며, 실제 시스템을 구축할 수 있습니다.

주목할 만한 오픈 소스 객체 추적 도구 및 알고리즘 8가지#

오늘날 추적 시스템을 구축하는 데 사용할 수 있는 오픈 소스 옵션은 매우 다양합니다. 일부는 파이프라인에 직접 연결할 수 있는 추적 알고리즘이나 모델이고, 다른 일부는 이러한 모델의 실행, 관리, 통합을 더 쉽게 해 주는 라이브러리와 프레임워크입니다. 이 옵션들을 함께 활용하면 핵심 추적 로직부터 실제 프로젝트에 필요한 주변 도구까지 모두 해결할 수 있습니다.

이제 인기 있는 오픈 소스 객체 추적 도구 및 알고리즘 8가지를 살펴보겠습니다.

1. Ultralytics YOLO 모델 및 Ultralytics Python 패키지#

객체를 추적하는 가장 쉽고 실용적인 방법 중 하나는 Ultralytics YOLO 모델과 Ultralytics Python 패키지를 함께 사용하는 것입니다. Ultralytics YOLO11과 최신 Ultralytics YOLO26 같은 Ultralytics YOLO 모델은 객체 감지, 인스턴스 분할, 자세 추정, 객체 추적 등 다양한 비전 작업을 지원하는 컴퓨터 비전 모델입니다.

그림 2. YOLO11을 사용하여 객체를 감지하고 추적하는 예시. (출처)

흥미롭게도 모델 자체는 프레임 간 객체를 추적하지 않습니다. 대신 Ultralytics YOLO 모델의 실행 및 배포를 간소화하는 라이브러리인 Ultralytics Python 패키지는 YOLO의 프레임별 감지 결과와 BoT-SORT 및 ByteTrack 같은 전용 다중 객체 추적 알고리즘을 결합해 추적을 가능하게 합니다.

내장 추적 기능을 통해 Ultralytics 패키지와 Ultralytics YOLO 모델을 사용하면 각 프레임에서 객체를 감지한 다음 일관된 ID를 할당하여 객체가 이동하거나 서로 겹치고, 프레임을 벗어났다가 다시 나타날 때도 추적할 수 있습니다. 이 접근 방식은 제조 및 소매업과 같은 분야에서 점차 널리 도입되고 있으며, 결함 검사 워크플로, 재고 흐름 추적, 매장 내 고객 추적 등의 애플리케이션을 지원합니다.

2. OpenCV 추적기#

OpenCV는 여러 객체 추적 알고리즘을 포함하는 방대한 컴퓨터 비전 라이브러리입니다. 이 라이브러리는 1999년부터 OpenCV 커뮤니티에서 개발 및 유지 관리하고 있습니다.

대부분의 추적기는 딥러닝에 의존하는 대신 상관 필터 및 커널 기반 기법과 같은 전통적인 컴퓨터 비전 방법을 사용합니다. 이러한 기법은 신경망을 사용해 특징을 학습하는 것이 아니라, 프레임 간 색상과 질감 같은 시각적 외형을 비교하여 객체를 추적합니다.

이러한 알고리즘을 사용할 때는 일반적으로 먼저 추적할 객체를 선택하면 됩니다. 이후 추적기는 객체가 이동하는 동안 후속 프레임에서 가장 유사한 시각 영역을 지속적으로 탐색합니다.

그림 3. OpenCV를 사용한 객체 추적 (출처)

이러한 방법은 복잡하거나 혼잡한 장면에서 최신 딥러닝 기반 추적 시스템만큼 강력하지 않을 수 있지만, 가볍고 빠르며 실행하기 쉽기 때문에 여전히 널리 사용됩니다. 또한 이러한 추적기는 CPU에서 효율적으로 실행되고 일반적으로 GPU가 필요하지 않아 간단한 실험, 강의실 학습, 취미 프로젝트에 적합합니다.

3. ByteTrack#

ByteTrack은 다중 객체 추적에 가장 널리 사용되는 오픈 소스 알고리즘 중 하나입니다. 모델이 매우 확신하는 감지 결과만 연결하는 대신, 많은 시스템에서 일반적으로 무시하는 낮은 신뢰도의 감지 결과도 활용합니다.

이를 통해 객체가 부분적으로 가려지거나 멀리 있거나 빠르게 움직이는 등 잠시 식별하기 어려운 상황에서도 추적을 유지할 수 있습니다. ByteTrack은 빠르고 안정적이므로 실시간 성능과 일관된 ID가 중요한 교통 분석, 보행자 추적, 소매점 모니터링 등의 애플리케이션에서 흔히 사용됩니다.

앞서 언급했듯이, 감지에 Ultralytics YOLO 모델을 사용한다면 Ultralytics Python 패키지를 통해 ByteTrack을 쉽게 활성화할 수 있습니다. 하지만 ByteTrack은 맞춤형 파이프라인에서도 독립적으로 사용할 수 있으므로 연구용 프로토타입부터 C++로 작성된 프로덕션 시스템까지 폭넓게 활용할 수 있습니다.

4. DeepSORT#

다중 객체 추적에 널리 사용되는 또 다른 알고리즘은 DeepSORT이며, 이는 Deep Simple Online and Real-Time Tracking의 약자입니다. DeepSORT는 Simple Online and Real-Time Tracking을 뜻하는 SORT의 고급 버전입니다.

ByteTrack과 마찬가지로 SORT는 감지 기반 추적 방식을 사용합니다. 그러나 SORT는 각 객체가 다음에 어디로 이동할지 예측하기 위해 과거 이동 정보를 바탕으로 객체의 미래 위치를 추정하는 수학적 모델인 칼만 필터를 사용합니다.

그런 다음 주로 위치와 바운딩 박스의 겹침 정도를 기준으로 새로운 감지 결과를 기존 추적 대상과 연결합니다. 따라서 SORT는 빠르고 가볍지만, 객체가 겹치거나 서로 교차하거나 잠시 시야에서 사라지면 제대로 처리하지 못할 수 있습니다.

DeepSORT는 추적 과정에 외형 정보를 추가해 SORT를 개선합니다. 움직임과 위치뿐 아니라 객체의 외형을 학습하는 딥러닝 기반 재식별(re-ID) 모델도 사용합니다. 이를 통해 움직임만으로 다른 객체와 구별하기 어려운 경우에도 추적기가 프레임 간 동일한 객체를 인식할 수 있습니다.

이러한 특성 때문에 DeepSORT는 사람이 자주 겹치거나 잠시 가려지는 감시 및 군중 모니터링과 같은 애플리케이션에서 흔히 사용됩니다. 하지만 오늘날에는 고전적인 기준 모델로 여겨지며, 최신 추적 방법은 더 까다로운 장면에서 더 나은 성능을 보이는 경우가 많습니다.

5. Norfair#

Norfair는 고정된 추적 파이프라인을 강요하는 대신 유연성을 제공하도록 설계된 경량 추적 라이브러리입니다. 감지기 출력이 바운딩 박스 중심, 키포인트 또는 사용자 지정 좌표 데이터와 같은 점 집합으로 표현될 수 있다면 거의 모든 감지기에 추적 기능을 추가할 수 있습니다.

그림 4. Norfair를 사용한 실제 환경의 객체 추적 (출처)

이러한 유연성은 표준 다중 객체 추적 도구로는 부족할 수 있는 비정형 입력이나 동적인 움직임 패턴을 포함하는 프로젝트에서 특히 유용합니다. 또한 이 라이브러리는 프레임 간 감지 결과의 매칭 방식을 제어할 수 있도록 내장 거리 함수도 제공합니다.

이러한 거리 함수는 두 점이나 객체가 얼마나 유사한지 측정하여 사용자가 추적 로직을 완전히 제어할 수 있게 해 줍니다. Norfair는 로보틱스, 스포츠 동작 분석, 드론 내비게이션, 자세 랜드마크나 키포인트 추적에 크게 의존하는 애플리케이션에서 자주 사용됩니다.

6. MMTracking#

MMTracking은 MMDetection과 같은 널리 사용되는 컴퓨터 비전 라이브러리도 개발한 OpenMMLab 팀의 오픈 소스 추적 툴박스입니다. MMDetection을 기반으로 구축되었으며 추적 시스템을 개발하고 실험할 수 있는 유연한 프레임워크를 제공합니다.

가장 큰 장점 중 하나는 모듈식 설계입니다. MMTracking은 단일 파이프라인만 사용하도록 제한하지 않고, 감지기, 추적 모듈, 일부 구성에서 재식별 모델과 같은 다양한 구성 요소를 설정하고 교체할 수 있게 합니다. 이러한 유연성 덕분에 방법을 벤치마크하고, 새로운 아이디어를 테스트하거나, 추적 파이프라인을 미세 조정하려는 팀이 참여하는 연구 및 고급 프로젝트에서 특히 인기가 높습니다.

7. FairMOT#

FairMOT는 여러 객체를 동시에 추적하도록 설계된 다중 객체 추적 프레임워크입니다. 먼저 감지를 수행한 다음 별도의 단계에서 프레임 간 객체를 연결하는 기존 감지 기반 추적 파이프라인과 달리, FairMOT는 단일 네트워크에서 감지와 재식별을 함께 학습합니다.

그림 5. FairMOT 프레임워크의 작동 방식 (출처)

이러한 공동 학습 방식은 특히 사람이 자주 겹치거나 빠르게 움직이는 혼잡한 장면에서 더 일관된 ID를 유지하는 데 도움이 됩니다. FairMOT는 보행자 추적 및 군중 모니터링과 같은 상황에서 흔히 사용되며, 실시간으로 다수의 대상을 추적하는 것이 중요한 소매 분석 및 교통 모니터링에도 활용됩니다.

8. SiamMask#

SiamMask는 바운딩 박스와 함께 분할 마스크를 생성하여 여러 추적기보다 한 단계 더 나아간 단일 객체 추적 방법입니다. 간단히 말해, 대상 주위에 사각형만 그리는 것이 아닙니다. 픽셀 수준에서 객체의 형태도 표시하므로 대상의 모양이 바뀌거나 회전하거나 부분적으로 가려질 때 유용합니다.

그림 6. SiamMask를 사용한 객체 추적 및 분할 (출처)

이 접근 방식은 시암식 추적 설계를 사용합니다. 추적기가 첫 프레임에서 템플릿이라고 부르는 대상의 작은 기준 이미지를 먼저 가져옵니다. 그런 다음 새 프레임마다 더 넓은 영역을 탐색하여 해당 템플릿과 가장 유사한 위치를 찾습니다.

SiamMask는 이러한 매칭 기반 아이디어를 확장합니다. 대상의 픽셀 수준 마스크도 예측하므로 동영상이 재생되는 동안 객체의 위치와 더 정밀한 윤곽을 모두 확인할 수 있습니다.

객체 추적 도구 선택 시 고려해야 할 주요 요소#

오늘날 AI 분야에는 다양한 오픈 소스 객체 추적 도구가 있으므로, 컴퓨터 비전 프로젝트에 가장 적합한 옵션은 구체적인 사용 사례의 요구 사항에 따라 달라집니다. 고려해야 할 요소는 다음과 같습니다.

• 정확도: 시각 시스템이 객체가 겹치거나 가려지거나 빠르게 움직이는 상황에서도 안정적인 ID를 유지해야 하는 혼잡하거나 시각적으로 복잡한 장면에서 가장 중요합니다.
• 속도: 로보틱스, 교통 모니터링, 스포츠 분석과 같은 실시간 애플리케이션에서는 완벽한 정밀도보다 응답성이 더 중요할 수 있습니다.
• 통합 용이성: 일부 객체 추적 도구는 플러그 앤 플레이 방식으로 몇 줄의 코드만으로 사용할 수 있지만, 다른 도구는 추가 설정, 구성 또는 사용자 지정 파이프라인 작업이 필요합니다.
• 배포 제약 조건: GPU 서버, 엣지 디바이스, 모바일 하드웨어와 같은 대상 환경에 따라 실용적인 추적 방식이 달라질 수 있습니다.
• 확장성: 시스템이 여러 객체를 동시에 추적하거나 여러 동영상 스트림을 처리해야 한다면, 성능이 크게 저하되지 않도록 추적기가 효율적으로 확장되어야 합니다.

각 객체 추적 도구나 알고리즘은 서로 다른 목적을 위해 사용됩니다. 궁극적으로 적절한 선택은 구체적인 요구 사항, 런타임 제약 조건, 성능 지표, 그리고 프로젝트에서 추적 방식을 어느 정도 사용자 지정해야 하는지에 따라 달라집니다.

핵심 요점#

객체 추적은 초기의 수작업 기법에서 오늘날의 최첨단 딥러닝 시스템으로 발전하여, 인상적인 정확도로 움직임, 정체성, 행동을 해석합니다. 오픈 소스 도구는 이러한 발전을 이끄는 원동력이었습니다. 강력한 알고리즘에 대한 접근성을 민주화하고, 실험을 장려하며, 제한적인 라이선스나 대규모 인프라 없이도 연구자가 정교한 추적 파이프라인을 구축할 수 있도록 지원합니다.

AI에 대해 자세히 알아보려면 커뮤니티와 GitHub 저장소를 확인해 보세요. 농업 분야의 AI 및 제조업 분야의 컴퓨터 비전 솔루션 페이지를 살펴보세요. 라이선스 옵션을 확인하고 나만의 비전 모델 구축을 시작해 보세요.