작은 객체에 대한 모델 mAP 개선 방법: 빠른 가이드

인공지능(AI), 머신러닝, 그리고 컴퓨터 비전의 도입이 계속해서 증가함에 따라, 객체 검출 시스템은 스마트 교통 카메라부터 드론 및 소매 분석 도구에 이르기까지 모든 곳에서 사용되고 있습니다. 종종 이러한 시스템은 카메라에 가까운 대형 트럭이든 멀리 있는 아주 작은 보행자이든 상관없이 모든 크기의 객체를 검출할 것으로 기대됩니다.

일반적으로 크고 선명하게 보이는 객체를 찾는 것은 더 간단합니다. 반면 작은 객체를 탐지하는 것은 더 어려운 과제입니다.

객체가 이미지에서 아주 작은 부분만 차지할 때, 활용할 수 있는 시각적 정보는 매우 적습니다. 교통 영상의 멀리 있는 보행자나 항공 뷰로 캡처된 작은 차량은 몇 개의 픽셀만 포함할 수 있지만, 그 픽셀들은 결정적인 정보를 담고 있을 수 있습니다.

Ultralytics YOLO 모델과 같은 컴퓨터 비전 모델은 시각적 패턴에 의존하여 객체를 인식하며, 해당 패턴이 제한되거나 불명확할 경우 성능이 저하됩니다. 처리 과정에서 중요한 디테일이 손실될 수 있으며, 이로 인해 예측이 위치 지정 오류에 더 민감해집니다. 바운딩 박스가 아주 약간만 이동해도 올바른 검출이 누락된 검출로 바뀔 수 있습니다.

이러한 격차는 모델 성능을 살펴볼 때 분명하게 드러납니다. 대부분의 탐지 및 세그멘테이션 모델은 중간 크기와 큰 객체는 잘 처리하지만, 작은 객체는 종종 전반적인 정확도를 떨어뜨립니다.

딥러닝 성능은 일반적으로 평균 정밀도 평균(mean average precision), 즉 mAP를 사용하여 측정됩니다. 이 지표는 검출의 정확도와 예측된 박스가 실제 객체와 얼마나 잘 일치하는지를 모두 반영합니다.

이는 서로 다른 신뢰도 수준 및 IoU(Intersection over Union, 예측된 바운딩 박스가 정답 박스와 얼마나 겹치는지 측정하는 지표) 임계값 전반에 걸쳐 예측된 객체 중 몇 개가 올바른지를 나타내는 정밀도와, 실제 객체 중 몇 개가 성공적으로 탐지되었는지를 나타내는 재현율을 결합한 것입니다.

이전에 저희는 소형 객체 검출과 이것이 컴퓨터 비전 모델에 왜 그토록 어려운 문제인지 살펴보았습니다. 본 아티클에서는 이러한 기반을 바탕으로 소형 객체와 관련된 mAP를 개선하는 방법에 초점을 맞추겠습니다. 시작하겠습니다!

작은 객체는 왜 탐지하기 더 어려울까요?#

객체 탐지기를 포함하는 애플리케이션의 경우, 작은 객체는 사람의 눈에 얼마나 작게 보이는지가 아니라 이미지에서 얼마나 많은 공간을 차지하는지에 의해 정의됩니다. 이미지에서 아주 작은 부분만 차지한다면 컴퓨터 비전 알고리즘이 정확하게 탐지하기 어렵게 만드는 시각적 정보가 거의 포함되어 있지 않은 것입니다.

그림 1. 제한된 픽셀 영역을 차지하는 소형 객체를 보여주는 예시 이미지 (출처)

처리할 픽셀 수가 적으면 가장자리, 모양, 질감과 같은 중요한 세부 사항이 불분명하거나 쉽게 손실될 수 있습니다. 이미지가 모델에 의해 처리됨에 따라 유용한 패턴을 강조하기 위해 크기가 조정되고 단순화됩니다.

이는 모델이 전체적인 장면을 이해하는 데 도움을 주지만, 미세한 세부 사항을 더 감소시킬 수도 있습니다. 작은 객체의 경우, 이러한 세부 사항은 종종 올바른 탐지를 위해 필수적입니다.

평가 지표를 살펴보면 이러한 과제들이 더욱 명확해집니다. 소형 객체는 위치 지정 오류에 특히 민감합니다. 바운딩 박스의 정렬이 약간만 어긋나도 요구되는 Intersection over Union(IoU) 임계값 아래로 떨어질 수 있습니다.

그럴 경우, 그럴듯해 보이는 예측이 잘못된 것으로 간주될 수 있습니다. 이는 정밀도와 재현율을 모두 낮추어 결국 평균 정밀도(mAP)를 감소시킵니다.

이러한 요소들은 밀접하게 연결되어 있기 때문에, 성능을 향상시키려면 전체 시스템에 대해 고려해야 합니다. 즉, 작은 시각적 세부 사항이 더 잘 보존되고 해석되도록 이미지 해상도, 특징 추출, 모델 설계 및 평가 설정을 신중하게 균형을 맞춰야 한다는 의미입니다.

데이터셋 품질과 주석의 중요성#

작은 객체 탐지에 있어서 데이터셋의 품질은 종종 성능에 가장 큰 차이를 만듭니다. 작은 객체는 이미지의 극히 일부만 차지하므로 모델이 학습할 수 있는 시각적 정보가 거의 없다는 것을 의미합니다. 이 때문에 학습 데이터가 특히 중요해집니다. 데이터셋에 충분히 명확하고 대표적인 예시가 포함되어 있지 않으면, 객체 탐지 모델은 일관된 패턴을 인식하는 데 어려움을 겪을 것입니다.

소형 객체 검출에 잘 작동하는 데이터셋은 일반적으로 고해상도 이미지, 소형 타겟의 잦은 등장, 그리고 일관된 시각적 조건을 포함합니다. COCO dataset과 같은 범용 데이터셋은 유용한 시작점이 되지만, 구체적인 실제 사용 사례의 규모, 밀도, 맥락과 일치하지 않는 경우가 많습니다. 이러한 경우, 모델 성능을 향상시키기 위해 도메인 특화 학습 데이터를 수집하는 것이 필수적이 됩니다.

어노테이션 품질 또한 중요한 역할을 합니다. 어노테이션은 모델이 예측하도록 학습하는 올바른 객체 레이블과 바운딩 박스 위치를 지정함으로써 정답(Ground Truth)을 설정합니다.

작은 객체의 경우 바운딩 박스를 신중하고 일관되게 그려야 합니다. 작은 객체는 픽셀 단위의 변화에 매우 민감하기 때문에 박스 배치에 약간의 차이만 있어도 위치 정확도에 눈에 띄는 영향을 줄 수 있습니다.

질이 낮거나 일관되지 않은 주석은 mAP를 크게 떨어뜨릴 수 있습니다. 객체에 잘못된 라벨이 지정되면 모델이 잘못된 패턴을 학습하게 되어 오탐(false positive)이 증가할 수 있습니다.

이미지에 객체가 나타나지만 정답 데이터에 누락된 경우, 평가 과정에서 올바른 탐지가 오탐으로 간주될 수 있습니다. 두 상황 모두 전반적인 성능을 저하시킵니다.

흥미롭게도 최근 연구에 따르면 소형 객체 정밀도는 표준 벤치마크에서 종종 20%에서 40% 사이에 머물며, 이는 대형 객체에 비해 현저히 낮습니다. 이러한 격차는 전체 검출 정확도에서 데이터셋 설계와 어노테이션 일관성의 중요성을 강조합니다.

데이터 증강은 정확도 향상에 핵심적인 역할을 할 수 있습니다.#

데이터셋 품질과 주석 일관성의 중요성을 더 잘 이해했으니, 객체 탐지 모델이 기존 데이터로부터 더 효과적으로 학습할 수 있는 방법을 살펴보겠습니다. 추가 이미지를 수집하는 것이 어렵거나 비용이 많이 들 때도 이미 사용 가능한 데이터를 더 잘 활용하여 성능을 향상시킬 수 있는 방법은 있습니다.

가장 실용적인 접근 방식 중 하나는 데이터 증강입니다. 소형 객체는 모델이 학습할 수 있는 시각적 단서를 적게 제공하기 때문에 소형 객체 검출에서 특히 중요한 역할을 합니다. 학습 중에 제어된 변형을 도입함으로써 증강은 새로운 데이터 수집 없이도 모델이 더 잘 일반화되도록 돕습니다.

효과적인 데이터 증강은 작은 객체를 명확하게 보이게 유지하는 데 초점을 맞춥니다. 제어된 크기 조정, 가벼운 자르기, 이미지 타일링과 같은 기술은 작은 객체의 모양과 외관을 유지하면서도 더 두드러지게 만들 수 있습니다. 목표는 실제 상황에서의 모습은 변경하지 않으면서, 모델이 작은 객체를 더 자주 그리고 약간 다른 조건에서 보도록 돕는 것입니다.

하지만 증강은 신중하게 적용되어야 합니다. 일부 변환은 작은 객체의 가시성을 줄이거나 실제 데이터에서 발생할 가능성이 낮은 방식으로 외관을 변경할 수 있습니다. 이런 일이 발생하면 모델이 정확한 객체 경계를 학습하는 데 어려움을 겪을 수 있습니다.

생성형 AI를 이용한 스마트한 데이터 증강#

점점 더 인기를 얻고 있는 또 다른 흥미로운 데이터 증강 유형은 생성형 AI를 사용하여 합성 학습 데이터를 만드는 것입니다. 수동으로 수집하고 라벨링된 이미지에 의존하는 대신, 이제 팀들은 특정 환경, 객체 크기, 조명 조건 및 배경 변화를 시뮬레이션하는 사실적인 장면을 생성할 수 있습니다.

그림 2. 데이터 증강에 사용되는 합성 항공 이미지 살펴보기 (출처)

이 접근 방식은 실제 사례를 일관되게 캡처하기 어려울 수 있는 작은 객체 탐지에 특히 유용합니다. 합성 이미지에서 작은 객체가 나타나는 방식(예: 크기, 밀도 및 배치 조정)을 제어함으로써 모델을 더 넓은 범위의 학습 시나리오에 노출시킬 수 있습니다.

실제 데이터와 신중하게 결합되면, 합성 증강은 모델의 견고성을 향상시키고 데이터 수집 비용을 줄이며 더 목표 지향적인 성능 개선을 지원할 수 있습니다.

작은 객체 mAP에 영향을 미칠 수 있는 모델 학습 선택#

데이터셋 품질과 주석 일관성 외에도 모델 학습 선택 사항은 작은 객체 탐지 성능에 강력한 영향을 미칩니다.

고려해야 할 몇 가지 주요 학습 전략은 다음과 같습니다:

• 사전 학습된 모델로 시작하기: Ultralytics YOLO26과 같은 사전 학습된 모델은 이미 대규모 이미지 데이터셋에서 일반적인 시각적 패턴을 학습했습니다. 이는 처음부터 학습하는 것보다 강력한 시작점을 제공하며, 제한된 데이터로 소형 객체를 검출할 때 특히 유용합니다.
• 전이 학습 전략적 활용: 전이 학습은 사전 학습된 모델을 특정 데이터셋에 맞게 조정하는 것을 의미합니다. 이는 모델이 일반적인 패턴을 학습하는 대신 학습 데이터를 암기하는 과적합(overfitting)을 줄이면서 작은 객체에 집중하도록 돕습니다.
• 클래스 불균형 해결: 작은 객체가 큰 객체보다 덜 자주 나타나면, 모델은 더 큰 객체를 학습하는 것을 우선시할 수 있습니다. 클래스 가중치 부여나 샘플링 전략과 같은 기술은 작은 객체가 무시되지 않도록 하는 데 도움이 됩니다.
• 신뢰도 및 IoU 임계값 튜닝: 작은 객체는 작은 위치 오류에 민감합니다. 이러한 임계값을 미세 조정하면 검증 및 추론 중에 작은 객체 성능을 더 잘 평가하고 해석하는 데 도움이 됩니다.

작은 객체 탐지를 위한 모델 아키텍처 고려 사항#

소형 객체 작업에 일반 객체 검출 모델을 사용할 수도 있지만, 소형 객체 검출을 개선하기 위해 특별히 설계된 모델 아키텍처도 존재합니다. 예를 들어, 세밀한 공간적 디테일을 보존하도록 최적화된 Ultralytics YOLOv8 모델의 P2 모델 변형들이 있습니다.

Ultralytics YOLOv8은 이미지가 네트워크의 더 깊은 계층으로 이동함에 따라 점진적으로 축소하여 여러 스케일에서 이미지를 처리합니다. 이는 모델이 전체적인 장면을 이해하는 데 도움이 되지만, 세부적인 디테일은 감소시킵니다.

객체가 이미 매우 작으면 이 과정에서 중요한 시각적 정보가 사라질 수 있습니다. Ultralytics YOLOv8의 P2 변형은 특징 피라미드에서 스트라이드(stride) 2를 사용하여 이를 해결합니다.

특징 피라미드는 모델에서 다양한 크기의 객체를 탐지할 수 있도록 여러 내부 해상도에서 이미지를 분석하는 부분입니다. 스트라이드 2를 사용하면 이 단계에서 이미지가 더 점진적으로 축소되어 원래의 픽셀 수준 세부 사항을 더 많이 보존할 수 있습니다.

공간적 세부 사항이 더 많이 보존되기 때문에 작은 객체는 네트워크 내부에서 더 많은 시각적 구조를 유지합니다. 이를 통해 모델이 몇 개의 픽셀만 차지하는 객체를 더 쉽게 위치 파악하고 탐지할 수 있게 되어 작은 객체 mAP 향상에 도움이 될 수 있습니다.

작은 객체 탐지를 위한 크기 인식 평가#

평균 정밀도(mAP)는 전체적인 모델 성능을 요약하지만, 모델이 다양한 크기의 객체를 얼마나 잘 처리하는지 항상 보여주지는 않습니다. 작은 객체의 경우, 성능은 종종 분류 자체보다는 위치 정확도에 의해 제약되므로, 바운딩 박스가 조금만 이동해도 결과에 상당한 영향을 미칠 수 있습니다.

즉, 모델은 객체의 클래스를 올바르게 식별할 수 있지만, 예측된 바운딩 박스가 약간 어긋나면 탐지가 여전히 잘못된 것으로 간주될 수 있습니다. 작은 객체는 적은 수의 픽셀만 차지하기 때문에 박스 배치에 약간의 변화만 있어도 예측된 박스와 정답 박스 간의 겹침이 크게 줄어들 수 있습니다. 결과적으로 객체가 올바르게 식별되었더라도 평가 점수가 떨어질 수 있습니다.

그림 3. 소형 객체 검출 평가는 까다로울 수 있음 (출처)

더 유익한 접근 방식은 객체 크기별로 성능을 평가하는 것입니다. 널리 사용되는 대부분의 벤치마크는 작은 객체, 중간 객체, 큰 객체에 대한 평균 정밀도를 별도로 보고합니다.

이러한 크기별 세부 분석은 모델이 잘 수행하는 부분과 어려움을 겪는 부분을 더 명확하게 보여줍니다. 실제로 소형 객체 AP는 종종 전체 mAP보다 뒤처지며, 이는 종합된 지표에서는 명확히 드러나지 않을 수 있는 위치 지정 과제들을 강조합니다.

배포 제약 사항 및 실제 현장의 트레이드오프 고려#

모델 성능은 종종 통제된 테스트 환경에서 실제 배포 환경으로 이동할 때 변화합니다. 이미지 해상도, 처리 속도, 가용한 하드웨어와 같은 요소들은 작은 객체 탐지에 직접적인 영향을 미치는 트레이드오프를 초래합니다.

예를 들어, 입력 해상도를 높이면 작은 대상이 더 많은 픽셀을 차지하고 더 많은 세부 사항을 유지하기 때문에 작은 객체 mAP가 향상될 수 있습니다. 그러나 더 높은 해상도는 메모리 사용량과 처리 시간을 증가시킵니다. 이는 추론 속도를 늦추고 운영 비용을 상승시킬 수 있습니다.

그림 4. 작은 객체 탐지 배포의 도전 과제. 저자 작성 이미지.

하드웨어 선택은 이러한 트레이드오프를 관리하는 데 핵심적인 역할을 합니다. 더 강력한 GPU는 더 큰 모델과 더 빠른 처리를 허용하지만, 배포 환경, 특히 엣지 디바이스는 종종 제한된 컴퓨팅 및 메모리 자원을 가지고 있습니다.

실시간 애플리케이션은 또 다른 제약을 추가합니다. 낮은 지연 시간을 유지하려면 모델 크기나 입력 해상도를 줄여야 할 수 있으며, 이는 작은 객체 재현율에 부정적인 영향을 미칠 수 있습니다. 궁극적으로 배포 결정은 탐지 성능과 하드웨어 제한, 속도 요구 사항, 전체 비용 사이의 균형을 필요로 합니다.

정리: 작은 객체에 대한 모델 mAP 향상#

작은 객체 탐지를 향상시키는 것은 특히 실제 환경에서 작업할 때 실용적이고 구조화된 접근 방식이 필요합니다. 염두에 두어야 할 주요 단계에 대한 개요는 다음과 같습니다:

• 데이터셋 품질 감사: 데이터셋에 작은 객체의 충분한 예시가 포함되어 있고, 가능하면 고해상도 이미지를 사용하며, 모델이 배포될 환경의 조건을 반영하는지 확인하십시오.
• 주석 일관성 검증: 바운딩 박스가 정확하고 완전하며 일관되게 라벨링되었는지 확인하십시오. 일관되지 않은 주석은 직접적으로 위치 파악 성능을 제한할 수 있습니다.
• 학습 설정의 의도적 튜닝: 배치 크기, 에포크 수 및 최적화 설정을 신중하게 조정하여 학습 중에 작은 객체가 제대로 표현되도록 하십시오.
• 단계별 반복: 제어된 조정을 수행하고 영향을 측정하며 접근 방식을 개선하십시오. 꾸준하고 데이터 기반의 반복은 시간이 지남에 따라 일관된 향상을 이끕니다.

핵심 요약#

작은 객체에 대한 mAP를 향상시키는 것은 무작위적인 수정이 아닌 구조화되고 데이터 기반의 접근 방식을 필요로 합니다. 실제 개선은 좋은 데이터, 일관된 주석, 신중한 학습, 그리고 올바른 평가 방법을 결합함으로써 이루어집니다. 실제 프로젝트에서 꾸준한 테스트와 작고 측정 가능한 변경 사항이 시간이 지남에 따라 더 낫고 신뢰할 수 있는 작은 객체 탐지를 이끄는 원동력입니다.

성장하는 커뮤니티에 참여하고 실무 AI 리소스를 위해 GitHub 저장소를 탐색해 보세요. 지금 바로 비전 AI로 구축을 시작하려면 라이선스 옵션을 살펴보세요. 농업 분야의 AI가 농업을 어떻게 혁신하고 있는지, 그리고 로보틱스 분야의 비전 AI가 어떻게 미래를 만들어가고 있는지 솔루션 페이지를 방문하여 알아보세요.