2025년 최고의 객체 탐지 모델

올해 초, AI 및 머신 러닝의 선구자인 앤드류 응(Andrew Ng)은 에이전트 기반 객체 탐지(agentic object detection) 개념을 소개했습니다. 이 접근 방식은 방대한 양의 학습 데이터 없이도 텍스트 프롬프트를 기반으로 추론 에이전트를 사용하여 객체를 탐지합니다.

대규모 레이블링 데이터셋 없이 이미지와 영상에서 객체를 식별할 수 있는 능력은 더 스마트하고 유연한 computer vision 시스템을 향한 한 걸음입니다. 하지만 에이전트 비전 AI는 여전히 초기 단계에 머물러 있습니다.

이미지 속 사람이나 교통 표지판을 탐지하는 것과 같은 일반적인 작업을 처리할 수 있지만, 더 정밀한 컴퓨터 비전 애플리케이션은 여전히 전통적인 객체 탐지 모델에 의존합니다. 이러한 모델은 무엇을 찾아야 하는지, 객체가 어디에 위치하는지 정확히 학습하기 위해 크고 세심하게 레이블링된 데이터셋으로 학습됩니다.

그림 1. 객체 탐지의 예시. (Source)

전통적인 object detection은 객체가 무엇인지 확인하는 인식과 이미지 내 위치를 결정하는 로컬라이제이션(localization)을 모두 제공하므로 필수적입니다. 이러한 결합을 통해 자율 주행 차량부터 산업 자동화 및 의료 진단에 이르기까지 기계가 복잡한 실제 작업을 안정적으로 수행할 수 있게 됩니다.

기술 발전 덕분에 객체 탐지 모델은 계속해서 향상되고 있으며, 더 빠르고 정확해지며 실제 환경에 더 적합하게 변화하고 있습니다. 이 글에서는 오늘날 사용 가능한 최고의 객체 탐지 모델들을 살펴보겠습니다. 시작해 봅시다!

Link to this section객체 탐지의 필요성#

이미지 분류와 같은 Computer vision tasks는 이미지에 자동차, 사람 또는 다른 객체가 포함되어 있는지 확인하는 데 사용될 수 있습니다. 그러나 이러한 작업으로는 이미지 내 객체의 위치를 결정할 수 없습니다.

이때 객체 탐지가 유용할 수 있습니다. 객체 탐지 모델은 어떤 객체가 존재하는지 식별할 뿐만 아니라 그 정확한 위치를 찾아낼 수 있습니다. 로컬라이제이션이라고 알려진 이 과정을 통해 기계는 자율 주행 자동차를 멈추거나, 로봇 팔을 안내하거나, 의료 영상의 특정 영역을 강조 표시하는 등 장면을 더 정확하게 이해하고 적절하게 대응할 수 있습니다.

딥러닝의 부상은 객체 탐지를 변화시켰습니다. 수동으로 코딩된 규칙에 의존하는 대신, 현대 모델은 주석과 시각 데이터에서 직접 패턴을 학습합니다. 이러한 데이터셋은 모델에게 객체가 어떻게 생겼는지, 보통 어디에 나타나는지, 그리고 작은 객체나 복잡한 장면, 변하는 조명 상태와 같은 문제를 어떻게 처리해야 하는지 가르칩니다.

사실, 최첨단 객체 탐지 시스템은 한 번에 여러 객체를 정확하게 탐지할 수 있습니다. 이는 자율 주행, 로보틱스, 의료, 산업 자동화와 같은 애플리케이션에서 객체 탐지를 핵심 기술로 만듭니다.

Link to this section객체 탐지 작업의 작동 원리#

객체 탐지 모델에 입력되는 데이터는 카메라, 비디오 프레임 또는 의료 스캔 등에서 나올 수 있는 이미지입니다. 입력 이미지는 시각 데이터의 패턴을 인식하도록 학습된 합성곱 신경망(CNN)과 같은 신경망을 통해 처리됩니다.

네트워크 내부에서 이미지는 단계별로 분석됩니다. 탐지된 특징을 바탕으로 모델은 어떤 객체가 존재하고 어디에 나타나는지 예측합니다.

이러한 예측은 각 탐지된 객체 주위에 그려지는 사각형인 bbox(bounding box)를 사용하여 표현됩니다. 각 bbox마다 모델은 클래스 레이블(예: 자동차, 사람 또는 개)과 예측에 대한 확신을 나타내는 신뢰도 점수(확률로 간주될 수도 있음)를 할당합니다.

그림 2. 객체 탐지 예측은 bbox를 사용하여 시각화할 수 있습니다.

전체 과정은 특징 추출에 크게 의존합니다. 모델은 가장자리, 모양, 질감 및 기타 구별되는 특성과 같은 유용한 시각적 패턴을 식별하는 법을 배웁니다. 이러한 패턴은 네트워크가 다양한 수준의 세부 정보에서 이미지를 이해하도록 돕는 특징 맵(feature maps)으로 인코딩됩니다.

Link to this section객체 탐지: 2단계 및 1단계#

모델 아키텍처에 따라 객체 탐지기는 속도, 정확도 및 복잡성 간의 균형을 맞추기 위해 서로 다른 전략을 사용합니다.

많은 객체 탐지 모델, 특히 Faster R-CNN과 같은 2단계 탐지기는 관심 영역(ROIs)이라고 불리는 이미지의 특정 부분에 집중합니다. 이러한 영역에 집중함으로써 모델은 모든 픽셀을 동일하게 분석하는 대신 객체가 포함될 가능성이 높은 영역을 우선시합니다.

반면, 초기 YOLO 모델과 같은 1단계 모델은 2단계 모델처럼 특정 ROI를 선택하지 않습니다. 대신 이미지를 그리드로 나누고 앵커 박스(anchor boxes)라고 불리는 사전 정의된 박스와 특징 맵을 사용하여 한 번의 패스로 전체 이미지에 걸쳐 객체를 예측합니다.

오늘날 최첨단 객체 탐지 모델은 앵커 프리(anchor-free) 접근 방식을 탐구하고 있습니다. 사전 정의된 앵커 박스에 의존하는 전통적인 1단계 모델과 달리, 앵커 프리 모델은 특징 맵에서 직접 객체 위치와 크기를 예측합니다. 이는 아키텍처를 단순화하고 계산 오버헤드를 줄이며, 특히 다양한 모양과 크기의 객체를 탐지하는 데 있어 성능을 향상시킬 수 있습니다.

Link to this section최고의 객체 탐지 모델 살펴보기#

오늘날에는 각각 특정 목표를 염두에 두고 설계된 많은 객체 탐지 모델이 존재합니다. 일부는 실시간 성능에 최적화되어 있고, 다른 모델은 최고 수준의 정확도를 달성하는 데 집중합니다. 컴퓨터 비전 솔루션을 위해 올바른 모델을 선택하는 것은 종종 특정 사용 사례와 성능 요구 사항에 따라 달라집니다.

다음으로, 2026년 최고의 객체 탐지 모델들을 살펴보겠습니다.

Link to this sectionUltralytics YOLO 모델#

오늘날 가장 널리 사용되는 객체 탐지 모델 제품군 중 하나는 Ultralytics YOLO 모델 제품군입니다. 'You Only Look Once'의 약자인 YOLO는 빠르고 안정적이며 다루기 쉬우면서도 강력한 탐지 성능을 제공하기 때문에 여러 산업 분야에서 인기가 있습니다.

Ultralytics YOLO 제품군에는 Ultralytics YOLOv5, Ultralytics YOLOv8, Ultralytics YOLO11 및 곧 출시될 Ultralytics YOLO26이 포함되어 있으며, 다양한 성능 및 사용 사례 요구 사항에 맞는 옵션을 제공합니다. 가벼운 설계와 속도 최적화 덕분에 Ultralytics YOLO 모델은 실시간 탐지에 이상적이며 제한된 컴퓨팅 파워와 메모리를 가진 엣지 장치에 배포될 수 있습니다.

그림 3. 객체 탐지에 Ultralytics YOLO11 사용 (Source)

기본적인 객체 탐지를 넘어 이 모델들은 매우 다재다능합니다. 또한 픽셀 수준에서 객체의 외곽선을 따는 인스턴스 세그멘테이션과 사람이나 객체의 주요 지점을 식별하는 포즈 추정도 지원합니다. 이러한 유연성 덕분에 Ultralytics YOLO 모델은 농업과 물류에서 소매 및 제조에 이르기까지 광범위한 애플리케이션을 위한 최고의 선택이 되고 있습니다.

Ultralytics YOLO 모델이 인기 있는 또 다른 핵심 이유는 모델 학습, 파인 튜닝 및 배포를 위한 단순하고 사용자 친화적인 인터페이스를 제공하는 Ultralytics Python package 덕분입니다. 개발자는 사전 학습된 가중치로 시작하여 자신의 데이터셋에 맞춰 모델을 커스텀하고 단 몇 줄의 코드로 배포할 수 있습니다.

Link to this sectionRT-DETR 및 RT-DETRv2#

RT‑DETR(Real-Time Detection Transformer)과 최신 RT‑DETRv2는 실시간 사용을 위해 구축된 객체 탐지 모델입니다. 많은 전통적인 모델과 달리, 이 모델들은 이미지를 입력받아 NMS(non-maximum suppression)를 사용하지 않고도 최종 탐지 결과를 즉시 제공할 수 있습니다.

NMS는 모델이 동일한 객체를 두 번 이상 예측할 때 중복되는 추가 박스를 제거하는 단계입니다. NMS를 건너뛰면 탐지 과정이 더 간단하고 빨라집니다.

이 모델들은 CNN과 Transformer를 결합합니다. CNN은 가장자리와 모양 같은 시각적 세부 정보를 찾고, Transformer는 전체 이미지를 한 번에 보고 서로 다른 부분이 어떻게 연관되어 있는지 이해할 수 있는 신경망 유형입니다. 이러한 포괄적인 이해를 통해 모델은 서로 가깝거나 겹치는 객체를 탐지할 수 있습니다.

RT‑DETRv2는 작은 객체와 큰 객체를 모두 찾는 데 도움이 되는 다중 스케일 탐지와 같은 기능과 복잡한 장면을 더 잘 처리하는 기능을 통해 기존 모델을 개선했습니다. 이러한 변경 사항은 정확도를 향상시키면서도 모델의 속도를 빠르게 유지합니다.

Link to this sectionRF-DETR#

RF‑DETR은 Transformer 아키텍처의 정확도와 실제 애플리케이션에 필요한 속도를 결합하도록 설계된 실시간 Transformer 기반 모델입니다. RT‑DETR 및 RT‑DETRv2와 마찬가지로 Transformer를 사용하여 전체 이미지를 분석하고 CNN을 사용하여 가장자리, 모양, 질감과 같은 미세한 시각적 특징을 추출합니다.

이 모델은 입력 이미지에서 직접 객체를 예측하며, 앵커 박스와 NMS를 건너뛰어 탐지 과정을 단순화하고 추론 속도를 빠르게 유지합니다. 또한 RF‑DETR은 인스턴스 세그멘테이션을 지원하여 bbox 예측 외에도 픽셀 수준에서 객체의 외곽선을 그릴 수 있습니다.

Link to this sectionEfficientDet#

2019년 말에 출시된 EfficientDet은 효율적인 스케일링과 고성능을 위해 설계된 객체 탐지 모델입니다. EfficientDet을 차별화하는 점은 단 하나의 요소만 조정하는 대신 입력 해상도, 네트워크 깊이 및 네트워크 너비를 동시에 조정하는 방법인 복합 스케일링(compound scaling)입니다. 이 접근 방식은 고성능 작업을 위해 스케일 업되든 가벼운 배포를 위해 스케일 다운되든 상관없이 모델이 안정적인 정확도를 유지하도록 돕습니다.

EfficientDet의 또 다른 핵심 구성 요소는 모델이 여러 스케일에서 이미지를 분석할 수 있도록 하는 효율적인 특징 피라미드 네트워크(FPN)입니다. 이러한 다중 스케일 분석은 다양한 크기의 객체를 탐지하는 데 중요하며, 이를 통해 EfficientDet은 같은 이미지 내에서 작은 객체와 큰 객체를 모두 안정적으로 식별할 수 있습니다.

Link to this sectionPP-YOLOE+#

2022년에 출시된 PP-YOLOE+는 YOLO 스타일의 객체 탐지 모델로, 이미지를 한 번에 통과하여 객체를 탐지하고 분류합니다. 이러한 접근 방식은 높은 정확도를 유지하면서도 실시간 애플리케이션에 적합할 만큼 속도가 빠릅니다.

PP-YOLOE+의 핵심 개선 사항 중 하나는 모델의 신뢰도 점수가 객체 위치를 얼마나 정확하게 파악했는지를 반영하도록 돕는 작업 정렬 학습(task-aligned learning)입니다. 이는 특히 작거나 겹치는 객체를 탐지하는 데 유용합니다.

그림 4. PP-YOLOE+를 사용하여 객체 탐지 (Source)

또한 이 모델은 객체 위치 예측과 클래스 레이블 예측 작업을 분리하는 디커플드 헤드(decoupled head) 아키텍처를 사용합니다. 이를 통해 객체를 올바르게 분류하면서 bbox를 더 정밀하게 그릴 수 있습니다.

Link to this sectionGroundingDINO#

GroundingDINO는 시각과 언어를 결합한 Transformer 기반 객체 탐지 모델입니다. 고정된 카테고리 세트에 의존하는 대신, 사용자가 자연어 텍스트 프롬프트를 사용하여 객체를 탐지할 수 있도록 합니다.

이미지의 시각적 특징을 텍스트 설명과 일치시킴으로써 모델은 학습 데이터에 정확한 레이블이 없더라도 객체의 위치를 찾을 수 있습니다. 즉, "헬멧을 쓴 사람"이나 "건물 근처의 빨간 차"와 같은 설명으로 모델에 프롬프트를 입력하면 일치하는 객체 주위에 정확한 bbox를 생성합니다.

또한 제로샷 탐지를 지원함으로써 GroundingDINO는 각 새로운 사용 사례에 대해 모델을 재학습하거나 파인 튜닝할 필요성을 줄여주어 광범위한 애플리케이션에서 매우 유연하게 작동합니다. 언어 이해와 시각적 인식의 이러한 결합은 대화형 및 적응형 AI 시스템에 새로운 가능성을 열어줍니다.

Link to this section객체 탐지기 평가에 사용되는 일반적인 지표#

다양한 객체 탐지 모델을 비교하다 보면 실제로 어떤 것이 가장 뛰어난 성능을 발휘하는지 궁금할 수 있습니다. 이는 좋은 질문입니다. 모델 아키텍처와 데이터 품질 외에도 많은 요인이 성능에 영향을 줄 수 있기 때문입니다.

연구자들은 종종 공유된 벤치마크와 표준 성능 지표에 의존하여 모델을 일관되게 평가하고, 결과를 비교하며, 속도와 정확도 간의 트레이드오프를 이해합니다. 많은 객체 탐지 모델이 COCO 데이터셋과 같은 동일한 데이터셋에서 평가되기 때문에 표준 벤치마크는 특히 중요합니다.

Link to this section탐지 정확도 및 속도 측정#

객체 탐지 모델을 평가하는 데 사용되는 몇 가지 일반적인 지표를 자세히 살펴보겠습니다:

• IoU(Intersection over union): 이 지표는 예측된 bbox가 이미지 내 실제 객체와 얼마나 겹치는지를 측정합니다. 모델이 그린 박스와 데이터셋에 레이블링된 객체의 위치인 정답(ground-truth) 박스를 비교합니다. IoU는 두 박스의 겹치는 영역을 합집합 영역으로 나눈 값으로 계산됩니다. IoU가 높을수록 모델이 박스를 더 정확하게 배치하고 있음을 나타내며, IoU가 낮을수록 예측의 정밀도가 떨어짐을 의미합니다. 간단히 말해 IoU는 모델의 예측이 실제 객체 위치와 얼마나 일치하는지를 보여줍니다.
• Mean average precision (mAP): 이는 전체 객체 탐지 성능을 평가하는 데 사용되는 주요 지표입니다. 모델이 올바르게 탐지한 객체의 수와 다양한 신뢰도 수준 및 객체 카테고리에 걸친 해당 탐지의 정확도를 모두 고려합니다.
• Frames per second (FPS) 및 지연 시간: FPS는 모델이 1초 동안 처리할 수 있는 이미지나 비디오 프레임의 수를 보여줍니다. 예를 들어 30 FPS로 실행되는 모델은 매초 30프레임을 처리할 수 있습니다. FPS가 높을수록 시스템이 더 빠르게 반응할 수 있으며, 이는 라이브 비디오, 교통 모니터링 또는 로보틱스와 같은 사용 사례에 중요합니다. 반면 지연 시간은 수신된 순간부터 결과가 준비될 때까지 모델이 단일 이미지나 프레임을 처리하는 데 걸리는 시간을 측정합니다.

Link to this section객체 탐지 알고리즘 사용의 장단점#

실제 애플리케이션에서 객체 탐지 모델을 사용하는 주요 이점은 다음과 같습니다:

• 산업 전반의 확장성: 객체 탐지는 교통 모니터링 및 소매 분석에서 의료, 농업 및 제조에 이르기까지 광범위한 사용 사례에 적용될 수 있습니다.
• 수동 작업 감소: 시각적 검사 및 모니터링 작업을 자동화하면 지속적인 인간 감독의 필요성이 줄어들고 팀이 더 가치 있는 업무에 집중할 수 있도록 돕습니다.
• 오픈 소스 생태계의 이점: 활발한 오픈 소스 커뮤니티와 GitHub의 리소스를 통해 사전 학습된 모델에 쉽게 접근하고, 실험하며, 솔루션을 커스텀할 수 있습니다.

이러한 장점에도 불구하고 객체 탐지 모델의 성능에 영향을 줄 수 있는 실질적인 제한 사항이 있습니다. 고려해야 할 몇 가지 중요한 요소는 다음과 같습니다:

• 고품질 데이터 요구 사항: 객체 탐지 모델은 학습을 위해 크고 잘 주석이 달린 데이터셋에 의존합니다. 이러한 데이터를 만들고 유지 관리하는 것은 시간이 많이 걸리고 비용이 많이 들며 확장하기 어려울 수 있습니다.
• 컴퓨팅 요구 사항: 더 높은 탐지 정확도를 제공하는 모델은 종종 학습 및 실시간 배포 중에 상당한 처리 능력을 필요로 합니다. 이는 일반적으로 고성능 GPU를 사용해야 함을 의미하며, 이는 인프라 비용을 증가시킬 수 있습니다.
• 실제 조건에 대한 민감도: 조명, 카메라 각도, 날씨 및 혼잡한 장면의 변화는 탐지 성능에 영향을 줄 수 있으므로 지속적인 테스트와 튜닝이 필요합니다.

Link to this section핵심 요약#

귀하의 컴퓨터 비전 프로젝트에 가장 적합한 객체 탐지 모델은 사용 사례, 데이터 설정, 성능 요구 사항 및 하드웨어 제약 조건에 따라 달라집니다. 일부 모델은 속도에 최적화되어 있고, 다른 모델은 정확도에 중점을 두며, 대부분의 실제 애플리케이션은 두 가지의 균형을 필요로 합니다. 오픈 소스 프레임워크와 GitHub의 활발한 커뮤니티 덕분에 이러한 모델을 실제 사용을 위해 평가하고, 적응시키고, 배포하기가 더 쉬워지고 있습니다.

더 자세히 알아보려면 GitHub 저장소를 살펴보십시오. 커뮤니티에 참여하고 솔루션 페이지를 확인하여 의료 분야의 AI 및 자동차 산업의 컴퓨터 비전과 같은 애플리케이션에 대해 읽어보십시오. 비전 AI를 바로 시작하려면 라이선스 옵션을 확인하십시오.