작은 객체에 대한 모델 mAP 개선 방법: 빠른 가이드

인공지능(AI), 머신러닝, 컴퓨터 비전 도입이 계속 확대됨에 따라 객체 탐지 시스템은 스마트 교통 카메라부터 드론, 소매 분석 도구에 이르기까지 다양한 곳에서 사용되고 있습니다. 이러한 시스템은 카메라 가까이에 있는 대형 트럭부터 멀리 떨어진 작은 보행자까지 모든 크기의 객체를 탐지해야 하는 경우가 많습니다.

일반적으로 크고 명확하게 보이는 객체를 찾는 일은 더 간단합니다. 반면 작은 객체를 탐지하는 일은 더 어렵습니다.

객체가 이미지에서 아주 작은 부분만 차지하면 활용할 수 있는 시각 정보가 매우 적습니다. 교통 영상에 포착된 멀리 있는 보행자나 항공 뷰로 촬영한 작은 차량은 픽셀 몇 개에 불과할 수 있지만, 그 픽셀에는 중요한 정보가 담겨 있을 수 있습니다.

컴퓨터 비전 모델과 같은 Ultralytics YOLO 모델은 시각적 패턴을 바탕으로 객체를 인식하며, 이러한 패턴이 제한적이거나 명확하지 않으면 성능이 저하됩니다. 처리 과정에서 중요한 세부 정보가 손실되어 예측이 위치 오차에 더 민감해질 수 있습니다. 바운딩 박스가 조금만 이동해도 올바른 탐지가 누락으로 바뀔 수 있습니다.

이러한 격차는 모델 성능을 살펴보면 분명해집니다. 대부분의 탐지 및 세그멘테이션 모델은 중간 크기와 큰 객체를 잘 처리하지만, 작은 객체는 전체 정확도를 떨어뜨리는 경우가 많습니다.

딥러닝 성능은 일반적으로 평균 정밀도, 즉 mAP로 측정합니다. 이 지표는 탐지가 얼마나 정확한지와 예측된 박스가 실제 객체와 얼마나 잘 일치하는지를 모두 반영합니다.

이 지표는 예측한 객체 중 얼마나 많은 객체가 올바른지를 나타내는 정밀도와 실제 객체 중 얼마나 많은 객체를 성공적으로 탐지했는지를 나타내는 재현율을 결합합니다. 또한 다양한 신뢰도 수준과 교집합 대비 합집합(Intersection over Union, IoU) 임계값(예측된 바운딩 박스가 정답 박스와 겹치는 정도를 측정하는 지표)을 기준으로 평가합니다.

이전에는 소형 객체 탐지와 컴퓨터 비전 모델에서 이 문제가 특히 어려운 이유를 살펴봤습니다. 이 글에서는 그 기반을 바탕으로 소형 객체가 포함된 경우 mAP를 개선하는 방법에 초점을 맞추겠습니다. 시작하겠습니다!

소형 객체는 왜 탐지하기 더 어려울까요?#

객체 탐지기를 사용하는 애플리케이션에서 소형 객체는 사람의 눈에 얼마나 작아 보이는지가 아니라 이미지에서 차지하는 공간의 크기로 정의합니다. 이미지에서 아주 작은 부분만 차지하면 시각 정보가 매우 적으므로 컴퓨터 비전 알고리즘이 정확하게 탐지하기 어렵습니다.

그림 1. 제한된 픽셀 영역을 차지하는 소형 객체를 보여주는 예시 이미지 (출처)

활용할 수 있는 픽셀이 적으면 가장자리, 형태, 질감과 같은 중요한 세부 정보가 불분명하거나 쉽게 손실될 수 있습니다. 모델이 이미지를 처리하는 동안 이미지는 유용한 패턴을 강조하도록 크기가 조정되고 단순화됩니다.

이 과정은 모델이 전체 장면을 이해하는 데 도움이 되지만, 미세한 세부 정보를 더욱 줄일 수도 있습니다. 소형 객체를 정확하게 탐지하려면 이러한 세부 정보가 필수적인 경우가 많습니다.

이러한 문제는 평가 지표를 살펴보면 더욱 분명해집니다. 소형 객체는 위치 오차에 특히 민감합니다. 바운딩 박스가 약간만 어긋나도 필요한 교집합 대비 합집합(Intersection over Union, IoU) 임계값을 충족하지 못할 수 있습니다.

이 경우 타당해 보이는 예측도 오답으로 처리될 수 있습니다. 그러면 정밀도와 재현율이 모두 낮아지고, 결국 평균 정밀도, 즉 mAP가 감소합니다.

이러한 요소들은 서로 밀접하게 연결되어 있으므로 성능을 개선하려면 전체 시스템을 고려해야 하는 경우가 많습니다. 즉, 소형 객체의 시각적 세부 정보가 더 잘 보존되고 해석될 수 있도록 이미지 해상도, 특징 추출, 모델 설계, 평가 설정 간의 균형을 신중하게 맞춰야 합니다.

데이터셋 품질과 어노테이션의 중요성#

소형 객체 탐지에서는 데이터셋 품질이 성능에 가장 큰 차이를 만드는 경우가 많습니다. 소형 객체는 이미지에서 아주 작은 부분만 차지하므로 모델이 학습할 수 있는 시각 정보가 매우 적습니다. 따라서 학습 데이터가 특히 중요합니다. 데이터셋에 명확하고 대표성 있는 예시가 충분하지 않으면 객체 탐지 모델은 일관된 패턴을 인식하는 데 어려움을 겪습니다.

소형 객체 탐지에 효과적인 데이터셋에는 일반적으로 고해상도 이미지, 소형 객체의 빈번한 등장, 일관된 시각적 조건이 포함됩니다. COCO 데이터셋과 같은 범용 데이터셋은 유용한 출발점이지만, 특정 실제 사용 사례의 규모, 밀도 또는 맥락과 일치하지 않는 경우가 많습니다. 이런 경우 모델 성능을 개선하려면 도메인별 학습 데이터를 수집해야 합니다.

어노테이션 품질도 중요한 역할을 합니다. 어노테이션은 모델이 예측하도록 학습하는 올바른 객체 레이블과 바운딩 박스 위치를 지정하여 정답 데이터를 구성합니다.

소형 객체의 바운딩 박스는 세심하고 일관되게 그려야 합니다. 소형 객체는 픽셀 단위의 이동에 매우 민감하므로 박스 위치가 조금만 달라져도 위치 정확도에 눈에 띄는 영향을 줄 수 있습니다.

부정확하거나 일관성이 없는 어노테이션은 mAP를 크게 낮출 수 있습니다. 객체에 잘못된 레이블을 지정하면 모델은 잘못된 패턴을 학습하고, 이로 인해 거짓 양성이 늘어날 수 있습니다.

객체가 이미지에 나타나지만 정답 데이터에서 누락되면 평가 과정에서 올바른 탐지가 거짓 양성으로 처리될 수 있습니다. 두 경우 모두 전체 성능을 떨어뜨립니다.

흥미롭게도 최근 연구에 따르면 표준 벤치마크에서 소형 객체의 평균 정밀도는 대체로 20%에서 40% 사이로 유지되며, 이는 대형 객체보다 훨씬 낮습니다. 이러한 격차는 전체 탐지 정확도에서 데이터셋 설계와 어노테이션 일관성이 얼마나 중요한지 보여줍니다.

데이터 증강은 정확도 개선에 중요한 역할을 할 수 있습니다#

데이터셋 품질과 어노테이션 일관성의 중요성을 이해했으니, 이제 객체 탐지 모델이 기존 데이터로 더 효과적으로 학습하는 방법을 살펴보겠습니다. 추가 이미지를 수집하기 어렵거나 비용이 많이 드는 경우에도 이미 확보한 데이터를 더 효과적으로 활용하여 성능을 높일 방법이 있습니다.

가장 실용적인 접근법 중 하나는 데이터 증강입니다. 소형 객체는 모델이 학습할 시각적 단서가 적기 때문에 데이터 증강은 소형 객체 탐지에서 특히 중요한 역할을 합니다. 학습 중에 제어된 변화를 적용하면 새로운 데이터를 수집하지 않고도 모델의 일반화 성능을 높일 수 있습니다.

효과적인 데이터 증강은 소형 객체가 명확하게 보이도록 유지하는 데 중점을 둡니다. 크기 조정, 가벼운 크롭, 이미지 타일링 등의 기법을 사용하면 형태와 외관을 유지하면서 소형 객체를 더 두드러지게 만들 수 있습니다. 목표는 실제 상황에서 객체의 외관을 바꾸지 않으면서 모델이 소형 객체를 더 자주, 조금씩 다른 조건에서 보도록 하는 것입니다.

하지만 증강은 신중하게 적용해야 합니다. 일부 변환은 소형 객체의 가시성을 낮추거나 실제 데이터에서는 발생하기 어려운 방식으로 외관을 바꿀 수 있습니다. 이런 경우 모델은 정확한 객체 경계를 학습하는 데 어려움을 겪을 수 있습니다.

생성형 AI를 활용한 더 스마트한 데이터 증강#

최근 인기를 얻고 있는 또 다른 흥미로운 데이터 증강 방법은 생성형 AI를 사용해 합성 학습 데이터를 만드는 것입니다. 팀은 직접 수집하고 레이블을 지정한 이미지에만 의존하는 대신 특정 환경, 객체 크기, 조명 조건, 배경 변화를 모사하는 현실적인 장면을 생성할 수 있습니다.

그림 2. 데이터 증강에 사용되는 합성 항공 이미지 (출처)

이 접근법은 실제 사례를 일관되게 포착하기 어려울 수 있는 소형 객체 탐지에 특히 유용합니다. 크기, 밀도, 배치 등을 조정해 합성 이미지에서 소형 객체가 나타나는 방식을 제어하면 모델을 더 폭넓은 학습 시나리오에 노출할 수 있습니다.

실제 데이터와 신중하게 결합하면 합성 데이터 증강으로 모델의 견고성을 높이고, 데이터 수집 비용을 줄이며, 목표에 맞춘 성능 개선을 지원할 수 있습니다.

소형 객체 mAP에 영향을 미칠 수 있는 모델 학습 선택 사항#

데이터셋 품질과 어노테이션 일관성 외에도 모델 학습 방식은 소형 객체 탐지 성능에 큰 영향을 미칩니다.

고려할 만한 주요 학습 전략은 다음과 같습니다.

• 사전 학습 모델로 시작합니다: Ultralytics YOLO26과 같은 사전 학습 모델은 이미 대규모 이미지 데이터셋에서 일반적인 시각 패턴을 학습했습니다. 처음부터 학습하는 대신 이를 강력한 출발점으로 활용할 수 있으며, 데이터가 제한된 상황에서 소형 객체를 탐지할 때 특히 유용합니다.
• 전이 학습을 전략적으로 활용합니다: 전이 학습은 사전 학습 모델을 특정 데이터셋에 맞게 조정하는 것을 의미합니다. 모델이 소형 객체에 집중하도록 돕고 과적합(일반적인 패턴을 학습하는 대신 학습 데이터를 암기하는 현상)을 줄입니다.
• 클래스 불균형에 대응합니다: 소형 객체가 대형 객체보다 적게 등장하면 모델은 대형 객체 학습을 우선시할 수 있습니다. 클래스 가중치 조정이나 샘플링 전략과 같은 기법을 사용하면 소형 객체가 무시되지 않도록 할 수 있습니다.
• 신뢰도 및 IoU 임계값을 조정합니다: 소형 객체는 작은 위치 오차에도 민감합니다. 이러한 임계값을 세밀하게 조정하면 검증과 추론 과정에서 소형 객체 성능을 더 잘 평가하고 해석할 수 있습니다.

소형 객체 탐지를 위한 모델 아키텍처 고려 사항#

소형 객체 작업에 일반 객체 탐지 모델을 사용할 수도 있지만, 소형 객체 탐지 성능을 높이도록 특별히 설계된 모델 아키텍처도 있습니다. 예를 들어, Ultralytics YOLOv8 모델의 P2 변형은 미세한 공간 정보를 보존하도록 최적화되어 있습니다.

Ultralytics YOLOv8은 이미지가 네트워크의 더 깊은 계층으로 이동하면서 점차 축소되는 방식으로 여러 스케일에서 이미지를 처리합니다. 이를 통해 모델이 전체 장면을 이해할 수 있지만, 미세한 세부 정보는 줄어듭니다.

객체가 이미 매우 작으면 이 과정에서 중요한 시각 정보가 사라질 수 있습니다. Ultralytics YOLOv8의 P2 변형은 특징 피라미드에 스트라이드 2를 사용해 이 문제에 대응합니다.

특징 피라미드는 모델이 여러 내부 해상도에서 이미지를 분석하여 다양한 크기의 객체를 탐지할 수 있도록 하는 부분입니다. 이 단계에서 스트라이드 2를 사용하면 이미지가 더 점진적으로 축소되어 원래 픽셀 수준의 세부 정보를 더 많이 보존할 수 있습니다.

공간 정보가 더 많이 보존되므로 소형 객체는 네트워크 내부에서 더 뚜렷한 구조를 유지합니다. 덕분에 모델은 몇 픽셀만 차지하는 객체도 더 쉽게 위치를 파악하고 탐지할 수 있으며, 소형 객체 mAP를 높이는 데 도움이 될 수 있습니다.

소형 객체 탐지를 위한 크기별 평가#

평균 정밀도는 전체 모델 성능을 요약하지만, 모델이 다양한 크기의 객체를 얼마나 잘 처리하는지 항상 보여주지는 않습니다. 소형 객체의 경우 성능은 분류만이 아니라 위치 정확도의 제약을 받는 경우가 많으므로 바운딩 박스가 조금만 이동해도 결과에 큰 영향을 줄 수 있습니다.

다시 말해, 모델이 객체의 클래스를 올바르게 식별하더라도 예측된 바운딩 박스가 조금만 어긋나면 탐지가 오답으로 처리될 수 있습니다. 소형 객체는 적은 수의 픽셀만 차지하므로 박스 위치가 조금만 이동해도 예측된 박스와 정답 박스 간의 겹침 정도가 크게 줄어들 수 있습니다. 따라서 객체를 올바르게 식별했더라도 평가 점수가 낮아질 수 있습니다.

그림 3. 소형 객체 탐지 평가는 까다로울 수 있습니다 (출처)

더 유용한 방법은 객체 크기별로 성능을 평가하는 것입니다. 널리 사용되는 대부분의 벤치마크는 소형, 중형, 대형 객체의 평균 정밀도를 각각 보고합니다.

크기별 세부 결과를 확인하면 모델이 잘 수행하는 부분과 어려움을 겪는 부분을 더 명확하게 파악할 수 있습니다. 실제로 소형 객체 AP는 전체 mAP보다 낮은 경우가 많으며, 이를 통해 종합 지표에서는 명확히 드러나지 않을 수 있는 위치 추정 문제를 확인할 수 있습니다.

배포 제약 조건과 실제 환경의 트레이드오프를 고려합니다#

통제된 테스트 환경에서 실제 운영 환경으로 전환하면 모델 성능이 달라지는 경우가 많습니다. 이미지 해상도, 처리 속도, 사용 가능한 하드웨어와 같은 요소는 소형 객체 탐지에 직접 영향을 미치는 트레이드오프를 만듭니다.

예를 들어 입력 해상도를 높이면 소형 객체가 더 많은 픽셀을 차지하고 세부 정보가 더 잘 보존되어 소형 객체 mAP가 향상될 수 있습니다. 하지만 해상도가 높아지면 메모리 사용량과 처리 시간도 증가합니다. 이로 인해 추론 속도가 느려지고 운영 비용이 높아질 수 있습니다.

그림 4. 소형 객체 탐지 배포의 과제. 이미지 제공: 저자.

하드웨어 선택은 이러한 트레이드오프를 관리하는 데 중요한 역할을 합니다. 더 강력한 GPU를 사용하면 대형 모델을 더 빠르게 처리할 수 있지만, 배포 환경, 특히 엣지 디바이스는 연산 및 메모리 자원이 제한적인 경우가 많습니다.

실시간 애플리케이션에는 또 다른 제약이 있습니다. 낮은 지연 시간을 유지하려면 모델 크기나 입력 해상도를 줄여야 할 수 있으며, 이는 소형 객체 재현율에 부정적인 영향을 줄 수 있습니다. 결국 배포 결정을 내릴 때는 탐지 성능과 하드웨어 한계, 속도 요구 사항, 전체 비용 간의 균형을 맞춰야 합니다.

종합 정리: 소형 객체의 모델 mAP 개선하기#

특히 실제 환경에서 작업할 때 소형 객체 탐지를 개선하려면 실용적이고 체계적인 접근이 필요합니다. 다음은 염두에 두어야 할 주요 단계입니다.

• 데이터셋 품질을 점검합니다: 데이터셋에 소형 객체 예시가 충분히 포함되어 있고, 가능하면 고해상도 이미지를 사용하며, 모델이 배포될 환경의 조건을 반영하는지 확인합니다.
• 어노테이션 일관성을 확인합니다: 바운딩 박스가 정확하고 완전하며 일관된 레이블을 사용하는지 확인합니다. 일관성 없는 어노테이션은 위치 추정 성능을 직접적으로 제한할 수 있습니다.
• 학습 설정을 신중하게 조정합니다: 학습 중 소형 객체가 적절히 반영되도록 배치 크기, 에포크 수, 최적화 설정을 신중하게 조정합니다.
• 단계적으로 반복 개선합니다: 통제된 방식으로 설정을 조정하고, 영향을 측정하며, 접근법을 개선합니다. 꾸준한 데이터 기반 반복 작업을 통해 시간이 지날수록 지속적으로 성능을 향상할 수 있습니다.

핵심 요점#

소형 객체의 mAP를 개선하려면 무작위로 설정을 바꾸기보다 체계적이고 데이터 기반으로 접근해야 합니다. 실제 성능 향상은 양질의 데이터, 일관된 어노테이션, 신중한 학습, 적절한 평가 방법을 결합할 때 이루어집니다. 실제 프로젝트에서는 지속적인 테스트와 측정 가능한 작은 변화가 시간이 지나면서 더 우수하고 신뢰할 수 있는 소형 객체 탐지로 이어집니다.

성장하는 커뮤니티에 참여하고, 실습에 활용할 수 있는 AI 리소스를 GitHub 리포지토리에서 살펴보세요. 지금 비전 AI를 활용해 개발하려면 라이선스 옵션을 확인하세요. 솔루션 페이지를 방문하여 농업 분야의 AI가 농업을 어떻게 변화시키고 있는지, 로보틱스 분야의 비전 AI가 미래를 어떻게 만들어 가는지 알아보세요.