최고의 객체 감지 모델

올해 초 AI 및 머신러닝 분야의 선구자인 Andrew Ng는 에이전틱 객체 탐지라는 개념을 소개했습니다. 이 접근 방식은 방대한 양의 학습 데이터 없이 텍스트 프롬프트를 기반으로 객체를 탐지하기 위해 추론 에이전트를 사용합니다.

대규모 라벨링 데이터셋 없이 이미지와 동영상에서 객체를 식별할 수 있다는 것은 더욱 스마트하고 유연한 컴퓨터 비전 시스템을 향한 중요한 단계입니다. 그러나 에이전틱 비전 AI는 아직 초기 단계에 있습니다.

이미지에서 사람이나 도로 표지판을 탐지하는 것과 같은 일반적인 작업은 처리할 수 있지만, 더욱 정밀한 컴퓨터 비전 애플리케이션은 여전히 기존 객체 탐지 모델에 의존합니다. 이러한 모델은 무엇을 탐지해야 하고 객체가 어디에 위치하는지 정확히 학습하기 위해 신중하게 라벨링된 대규모 데이터셋으로 학습됩니다.

그림 1. 객체 탐지 예시입니다. (출처)

기존 객체 탐지는 객체가 무엇인지 식별하는 인식과 이미지에서 객체가 정확히 어디에 있는지 판단하는 위치 추정을 모두 제공하므로 필수적입니다. 이러한 조합을 통해 자율주행 차량부터 산업 자동화와 의료 진단에 이르기까지 기계가 복잡한 실제 작업을 안정적으로 수행할 수 있습니다.

기술 발전에 힘입어 객체 탐지 모델은 계속 개선되고 있으며, 더욱 빠르고 정확해지고 실제 환경에 더 적합해지고 있습니다. 이 글에서는 현재 사용할 수 있는 최고의 객체 탐지 모델을 살펴보겠습니다. 시작해 보겠습니다!

객체 탐지의 필요성#

이미지 분류와 같은 컴퓨터 비전 작업을 사용하면 이미지에 자동차, 사람 또는 다른 객체가 포함되어 있는지 판별할 수 있습니다. 그러나 이미지 내에서 객체가 어디에 위치하는지는 확인할 수 없습니다.

이러한 상황에서 객체 탐지가 유용합니다. 객체 탐지 모델은 어떤 객체가 존재하는지 식별할 뿐 아니라 정확한 위치도 파악할 수 있습니다. 위치 추정이라고 하는 이 과정은 기계가 장면을 더 정확하게 이해하고 적절히 대응하도록 합니다. 예를 들어 자율주행 차량을 정지시키거나, 로봇 팔을 안내하거나, 의료 영상에서 특정 영역을 강조할 수 있습니다.

딥러닝의 발전은 객체 탐지를 혁신했습니다. 최신 모델은 사람이 직접 코딩한 규칙에 의존하는 대신 어노테이션과 시각 데이터에서 직접 패턴을 학습합니다. 이러한 데이터셋은 객체의 형태, 일반적인 위치, 작은 객체나 복잡한 장면, 다양한 조명 조건과 같은 문제를 처리하는 방법을 모델에 학습시킵니다.

실제로 최신 객체 탐지 시스템은 여러 객체를 동시에 정확하게 탐지할 수 있습니다. 따라서 객체 탐지는 자율주행, 로보틱스, 헬스케어, 산업 자동화와 같은 애플리케이션에서 핵심 기술로 활용됩니다.

객체 탐지 작업의 작동 방식#

객체 탐지 모델의 입력은 이미지이며, 카메라, 동영상 프레임 또는 의료 스캔에서 가져올 수 있습니다. 입력 이미지는 시각 데이터의 패턴을 인식하도록 학습된 신경망, 일반적으로 합성곱 신경망 (CNN)을 통해 처리됩니다.

네트워크 내부에서 이미지는 여러 단계에 걸쳐 분석됩니다. 모델은 탐지한 특징을 기반으로 어떤 객체가 존재하고 어디에 나타나는지 예측합니다.

이러한 예측은 탐지된 각 객체 주변에 그린 사각형인 바운딩 박스로 표현됩니다. 모델은 각 바운딩 박스에 클래스 라벨(예: 자동차, 사람 또는 개)과 예측에 대한 확신 정도를 나타내는 confidence score를 할당합니다(이를 확률로 생각할 수도 있습니다).

그림 2. 객체 탐지 예측은 바운딩 박스를 사용해 시각화할 수 있습니다.

전체 과정은 feature extraction에 크게 의존합니다. 모델은 에지, 형태, 텍스처 및 기타 식별 가능한 특성과 같은 유용한 시각적 패턴을 식별하는 방법을 학습합니다. 이러한 패턴은 feature map으로 인코딩되며, 네트워크가 여러 세부 수준에서 이미지를 이해하도록 돕습니다.

객체 탐지: 2단계 방식과 단일 단계 방식#

모델 아키텍처에 따라 객체 탐지기는 속도, 정확도, 복잡성 사이의 균형을 맞추며 객체를 찾기 위해 서로 다른 전략을 사용합니다.

많은 객체 탐지 모델, 특히 Faster R-CNN과 같은 2단계 탐지기는 관심 영역 (ROIs)이라고 하는 이미지의 특정 부분에 집중합니다. 모델은 이러한 영역에 집중함으로써 모든 픽셀을 동일하게 분석하는 대신 객체를 포함할 가능성이 높은 영역의 우선순위를 지정합니다.

반면 초기 YOLO 모델과 같은 단일 단계 모델은 2단계 모델처럼 특정 ROI를 선택하지 않습니다. 대신 이미지를 그리드로 나누고 앵커 박스라고 하는 사전 정의된 박스를 feature map과 함께 사용하여 한 번의 처리 과정으로 이미지 전체에서 객체를 예측합니다.

오늘날 최첨단 객체 탐지 모델은 앵커 프리 접근 방식을 탐구하고 있습니다. 사전 정의된 앵커 박스에 의존하는 기존 단일 단계 모델과 달리 앵커 프리 모델은 feature map에서 직접 객체의 위치와 크기를 예측합니다. 이를 통해 아키텍처를 단순화하고 연산 오버헤드를 줄이며, 특히 형태와 크기가 다양한 객체를 탐지할 때 성능을 향상할 수 있습니다.

최고의 객체 탐지 모델 살펴보기#

오늘날에는 다양한 객체 탐지 모델이 있으며, 각각 특정 목표를 염두에 두고 설계되었습니다. 일부는 실시간 성능에 최적화되어 있고, 다른 일부는 최고의 정확도 달성에 중점을 둡니다. 컴퓨터 비전 솔루션에 적합한 모델을 선택하는 일은 특정 사용 사례와 성능 요구 사항에 따라 결정되는 경우가 많습니다.

다음으로 2026년 최고의 객체 탐지 모델을 살펴보겠습니다.

1. Ultralytics YOLO 모델#

오늘날 가장 널리 사용되는 객체 탐지 모델 제품군 중 하나는 Ultralytics YOLO 모델 제품군입니다. YOLO는 한 번만 보면 된다는 의미로, 빠르고 안정적이며 사용하기 쉬우면서도 뛰어난 탐지 성능을 제공하기 때문에 다양한 산업 분야에서 인기가 높습니다.

Ultralytics YOLO 제품군에는 Ultralytics YOLOv5, Ultralytics YOLOv8, Ultralytics YOLO11, 그리고 곧 출시될 Ultralytics YOLO26이 포함되어 다양한 성능 및 사용 사례 요구 사항에 맞는 여러 옵션을 제공합니다. Ultralytics YOLO 모델은 경량 설계와 속도 최적화 덕분에 실시간 탐지에 적합하며, 컴퓨팅 성능과 메모리가 제한된 엣지 디바이스에도 배포할 수 있습니다.

그림 3. 객체 탐지에 Ultralytics YOLO11 사용 (출처)

이러한 모델은 기본적인 객체 탐지를 넘어 매우 다재다능합니다. 픽셀 수준에서 객체의 윤곽을 표시하는 인스턴스 세그멘테이션과 사람 또는 객체의 주요 지점을 식별하는 포즈 추정과 같은 작업도 지원합니다. 이러한 유연성 덕분에 Ultralytics YOLO 모델은 농업과 물류부터 소매 및 제조업에 이르기까지 광범위한 애플리케이션에서 가장 먼저 고려되는 옵션입니다.

Ultralytics YOLO 모델이 인기 있는 또 다른 주요 이유는 Ultralytics Python 패키지입니다. 이 패키지는 모델 학습, 파인튜닝, 배포를 위한 간단하고 사용자 친화적인 인터페이스를 제공합니다. 개발자는 사전 학습된 가중치로 시작하고, 자체 데이터셋에 맞게 모델을 커스터마이즈한 다음, 몇 줄의 코드만으로 배포할 수 있습니다.

2. RT-DETR 및 RT-DETRv2#

RT‑DETR (실시간 탐지 트랜스포머) 및 최신 RT‑DETRv2는 실시간 사용을 위해 설계된 객체 탐지 모델입니다. 많은 기존 모델과 달리 비최대 억제 (NMS)를 사용하지 않고 이미지에서 최종 탐지 결과를 직접 생성할 수 있습니다.

NMS는 모델이 동일한 객체를 두 번 이상 예측할 때 겹치는 불필요한 박스를 제거하는 단계입니다. NMS를 생략하면 탐지 과정이 더 단순하고 빨라집니다.

이러한 모델은 CNN과 Transformer를 결합합니다. CNN은 에지와 형태 같은 시각적 세부 정보를 찾고, Transformer는 이미지 전체를 한 번에 살펴보며 서로 다른 부분 간의 관계를 이해할 수 있는 신경망 유형입니다. 이러한 종합적인 이해를 통해 모델은 서로 가까이 있거나 겹쳐 있는 객체를 탐지할 수 있습니다.

RT‑DETRv2는 작은 객체와 큰 객체를 모두 찾는 데 도움이 되는 멀티스케일 탐지와 복잡한 장면을 더 효과적으로 처리하는 기능을 통해 기존 모델을 개선했습니다. 이러한 변경 사항은 모델의 속도를 유지하면서 정확도를 향상합니다.

3. RF-DETR#

RF‑DETR은 트랜스포머 아키텍처의 정확도와 실제 애플리케이션에 필요한 속도를 결합하도록 설계된 실시간 트랜스포머 기반 모델입니다. RT‑DETR 및 RT‑DETRv2와 마찬가지로 Transformer를 사용해 이미지 전체를 분석하고, CNN을 사용해 에지, 형태, 텍스처와 같은 세밀한 시각적 특징을 추출합니다.

이 모델은 입력 이미지에서 직접 객체를 예측하고 앵커 박스와 비최대 억제를 생략하여 탐지 과정을 단순화하고 빠른 추론 속도를 유지합니다. 또한 RF‑DETR은 인스턴스 세그멘테이션을 지원하므로 바운딩 박스를 예측하는 것뿐 아니라 픽셀 수준에서 객체의 윤곽을 표시할 수 있습니다.

4. EfficientDet#

2019년 말에 출시된 EfficientDet은 효율적인 스케일링과 높은 성능을 위해 설계된 객체 탐지 모델입니다. EfficientDet을 차별화하는 요소는 입력 해상도, 네트워크 깊이, 네트워크 너비를 하나의 요소만 조정하는 대신 동시에 확장하는 방법인 복합 스케일링입니다. 이 접근 방식은 고성능 작업을 위해 모델을 확장하거나 경량 배포를 위해 축소할 때 모델이 안정적인 정확도를 유지하도록 돕습니다.

EfficientDet의 또 다른 핵심 구성 요소는 효율적인 feature pyramid network (FPN)로, 이를 통해 모델이 여러 스케일에서 이미지를 분석할 수 있습니다. 이러한 멀티스케일 분석은 크기가 서로 다른 객체를 탐지하는 데 필수적이며, EfficientDet이 동일한 이미지 내의 작은 객체와 큰 객체를 모두 안정적으로 식별하도록 합니다.

5. PP-YOLOE+#

2022년에 출시된 PP-YOLOE+는 YOLO 스타일의 객체 탐지 모델로, 이미지 전체를 한 번에 처리하면서 객체를 탐지하고 분류합니다. 이 접근 방식은 높은 정확도를 유지하면서도 빠른 속도를 제공하므로 실시간 애플리케이션에 적합합니다.

PP-YOLOE+의 주요 개선 사항 중 하나는 모델의 confidence score가 객체 위치의 정확도를 반영하도록 돕는 task-aligned learning입니다. 이는 작거나 서로 겹치는 객체를 탐지할 때 특히 유용합니다.

그림 4. PP-YOLOE+를 사용한 객체 탐지 (출처)

이 모델은 객체 위치 예측과 클래스 라벨 예측 작업을 분리하는 decoupled head 아키텍처도 사용합니다. 이를 통해 객체를 정확하게 분류하면서 바운딩 박스를 더욱 정밀하게 그릴 수 있습니다.

6. GroundingDINO#

GroundingDINO는 비전과 언어를 결합한 트랜스포머 기반 객체 탐지 모델입니다. 고정된 카테고리 집합에 의존하는 대신 자연어 텍스트 프롬프트를 사용해 객체를 탐지할 수 있습니다.

이미지의 시각적 특징을 텍스트 설명과 정렬함으로써 모델은 해당 라벨이 학습 데이터에 정확히 포함되어 있지 않더라도 객체의 위치를 찾을 수 있습니다. 즉, “헬멧을 쓴 사람”이나 “건물 근처의 빨간 자동차”와 같은 설명으로 모델에 프롬프트를 입력하면, 일치하는 객체 주변에 정확한 바운딩 박스를 생성합니다.

또한 제로샷 탐지를 지원하므로 GroundingDINO는 새로운 사용 사례마다 모델을 재학습하거나 파인튜닝할 필요를 줄여 다양한 애플리케이션에서 높은 유연성을 제공합니다. 언어 이해와 시각적 인식의 결합은 대화형 및 적응형 AI 시스템을 위한 새로운 가능성을 열어줍니다.

객체 탐지기를 평가하는 데 사용되는 일반적인 지표#

다양한 객체 탐지 모델을 비교하다 보면 어떤 모델이 실제로 가장 뛰어난 성능을 내는지 판단하는 방법이 궁금할 수 있습니다. 모델 아키텍처와 데이터 품질 외에도 여러 요인이 성능에 영향을 미칠 수 있으므로 중요한 질문입니다.

연구자들은 모델을 일관되게 평가하고 결과를 비교하며 속도와 정확도 간의 트레이드오프를 이해하기 위해 공통 벤치마크와 표준 성능 지표를 사용하는 경우가 많습니다. 많은 객체 탐지 모델이 COCO 데이터셋과 같은 동일한 데이터셋에서 평가되므로 표준 벤치마크는 특히 중요합니다.

탐지 정확도와 속도 측정#

다음은 객체 탐지 모델을 평가하는 데 사용되는 몇 가지 일반적인 지표를 자세히 살펴본 내용입니다:

• Intersection over union (IoU): 이 지표는 예측된 바운딩 박스가 이미지의 실제 객체와 얼마나 겹치는지를 측정합니다. 모델이 그린 박스와 데이터셋에 라벨로 지정된 객체의 위치인 ground-truth 박스를 비교합니다. IoU는 두 박스의 교집합 영역을 합집합 영역으로 나누어 계산합니다. IoU가 높을수록 모델이 박스를 더 정확하게 배치했음을 의미하며, IoU가 낮으면 예측이 덜 정밀하다는 뜻입니다. 간단히 말해 IoU는 모델의 예측이 실제 객체 위치와 얼마나 일치하는지를 보여줍니다.
• Mean average precision (mAP): 전체 객체 탐지 성능을 평가하는 데 사용되는 주요 지표입니다. 다양한 confidence level과 객체 카테고리에서 모델이 정확하게 탐지한 객체 수와 탐지의 정확도를 모두 고려합니다.
• 초당 프레임 수 (FPS) 및 latency: FPS는 모델이 1초 동안 처리할 수 있는 이미지 또는 동영상 프레임 수를 나타냅니다. 예를 들어 30 FPS로 실행되는 모델은 매초 30개의 프레임을 처리할 수 있습니다. FPS가 높을수록 시스템이 더 빠르게 응답할 수 있으므로 라이브 동영상, 교통 모니터링, 로보틱스와 같은 사용 사례에서 중요합니다. 반면 latency는 모델이 단일 이미지 또는 프레임을 수신한 순간부터 결과를 준비할 때까지 처리하는 데 걸리는 시간을 측정합니다.

객체 탐지 알고리즘 사용의 장단점#

다음은 실제 애플리케이션에서 객체 탐지 모델을 사용할 때의 주요 장점입니다:

• 산업 전반으로 확장 가능: 객체 탐지는 교통 모니터링과 소매 분석부터 헬스케어, 농업, 제조업에 이르기까지 광범위한 사용 사례에 적용할 수 있습니다.
• 수작업을 줄여 줌: 시각적 검사와 모니터링 작업을 자동화하면 지속적인 사람의 감독 필요성이 줄어들고 팀이 더 높은 가치를 창출하는 업무에 집중할 수 있습니다.
• 오픈 소스 생태계의 이점: GitHub의 활발한 오픈 소스 커뮤니티와 리소스 덕분에 사전 학습된 모델에 액세스하고 솔루션을 실험하며 커스터마이즈하기가 쉬워집니다.

이러한 장점에도 불구하고 객체 탐지 모델의 성능에 영향을 줄 수 있는 실질적인 한계가 있습니다. 다음은 고려해야 할 중요한 요소입니다:

• 고품질 데이터 요구 사항: 객체 탐지 모델은 학습을 위해 대규모의 잘 어노테이션된 데이터셋에 의존합니다. 이러한 데이터를 생성하고 유지 관리하는 작업은 시간이 오래 걸리고 비용이 많이 들며 확장하기 어려울 수 있습니다.
• 높은 컴퓨팅 요구 사항: 더 높은 탐지 정확도를 제공하는 모델은 학습과 실시간 배포 과정에서 상당한 처리 성능을 필요로 하는 경우가 많습니다. 이는 일반적으로 고성능 GPU를 사용해야 한다는 뜻이며, 인프라 비용을 증가시킬 수 있습니다.
• 실제 환경 조건에 대한 민감성: 조명, 카메라 각도, 날씨, 혼잡한 장면의 변화가 탐지 성능에 영향을 미칠 수 있으므로 지속적인 테스트와 튜닝이 필요합니다.

핵심 요점#

컴퓨터 비전 프로젝트에 가장 적합한 객체 탐지 모델은 사용 사례, 데이터 구성, 성능 요구 사항, 하드웨어 제약 조건에 따라 달라집니다. 일부 모델은 속도에 최적화되어 있고 다른 모델은 정확도에 중점을 두지만, 대부분의 실제 애플리케이션에는 두 요소의 균형이 필요합니다. 오픈 소스 프레임워크와 GitHub의 활발한 커뮤니티 덕분에 이러한 모델을 실제 용도에 맞게 평가하고 조정하며 배포하기가 점점 쉬워지고 있습니다.

자세한 내용은 GitHub 저장소를 확인해 보세요. 커뮤니티에 참여하고 솔루션 페이지에서 헬스케어 분야의 AI 및 자동차 산업의 컴퓨터 비전과 같은 애플리케이션에 대해 알아보세요. 지금 바로 비전 AI를 시작할 수 있도록 라이선스 옵션을 확인해 보세요.