Ultralytics YOLO11을 활용한 소형 객체 감지 살펴보기

비전 AI가 통합된 드론은 지상 수백 미터 상공을 비행하면서도 영상 피드에서 불과 몇 픽셀로 보이는 사람을 탐지해야 할 수 있습니다. 실제로 이는 로보틱스, 감시, 원격 감지와 같은 애플리케이션에서 흔히 발생하는 문제로, 시스템이 이미지 안의 매우 작은 객체를 식별해야 합니다.

하지만 기존 객체 탐지 모델은 이를 수행하는 데 어려움을 겪을 수 있습니다. 이미지와 동영상 속 소형 객체는 시각 정보가 매우 제한적입니다. 간단히 말해 모델이 이를 볼 때 학습하거나 인식할 수 있는 세부 정보가 많지 않습니다.

이러한 모델은 일반적으로 합성곱 신경망(CNN) 기반 아키텍처를 사용합니다. 이미지가 네트워크의 여러 레이어를 통과하면서 원시 픽셀 대신 관련 패턴을 강조하는 feature map 또는 단순화된 표현으로 변환됩니다.

이미지가 네트워크를 더 깊이 통과할수록 이러한 feature map은 작아집니다. 덕분에 연산은 빨라지지만 세밀한 정보가 사라질 수도 있습니다.

작은 객체에서는 이러한 세부 정보가 매우 중요합니다. 세부 정보가 사라지면 computer vision 모델이 객체를 탐지하기 어려워지고, 그 결과 bounding box의 정확도가 낮아지거나 일관성이 떨어질 수 있습니다.

실시간 end-to-end computer vision 시스템에서는 문제가 더욱 복잡해집니다. 고해상도 이미지는 세부 정보를 보존하는 데 도움이 되지만 inference 속도를 늦추고 더 많은 GPU 성능을 요구합니다. 낮은 해상도에서는 더 빠르게 실행되지만 소형 객체를 탐지하기가 더욱 어려워집니다.

속도, 정확도, 하드웨어 한계 사이에서 끊임없이 균형을 맞춰야 합니다. 최근 기술 발전에 힘입어 Ultralytics YOLO11과 출시 예정인 Ultralytics YOLO26과 같은 computer vision 모델은 이러한 절충을 더욱 효과적으로 관리하도록 설계되었습니다.

그림 1. 항공 이미지에서 소형 객체를 탐지하는 YOLO11(출처)

이 글에서는 소형 객체 탐지가 어려운 이유와 Ultralytics YOLO11이 이를 더 쉽게 수행하는 방법을 살펴보겠습니다. 시작하겠습니다!

소형 객체 탐지란 무엇이며 왜 중요한가요?#

소형 객체 탐지는 AI의 한 분야인 computer vision에서 이미지의 매우 작은 부분을 차지하는 객체를 식별하고 위치를 찾는 작업입니다. 이러한 객체는 디지털 이미지를 구성하는 가장 작은 단위인 픽셀을 제한된 수만큼 사용해 이미지에 표현되는 경우가 많습니다. 따라서 더 크고 선명한 대상(대개 더 많은 픽셀을 포함함)보다 탐지하기 어렵습니다.

예를 들어 항공 이미지 속 차량, 공장 바닥의 도구, 광각 감시 카메라로 촬영한 사람은 모두 이미지에서 소형 객체로 나타날 수 있습니다. 이들을 탐지하는 것은 중요합니다. 이러한 객체가 중요한 정보를 담고 있는 경우가 많으며, 감시와 같은 다양한 실제 애플리케이션이 올바르게 작동하려면 이러한 탐지 결과에 의존하기 때문입니다.

소형 객체를 놓치면 시스템 성능과 의사 결정에 영향을 줄 수 있습니다. 무인 항공기(UAV) 모니터링이 좋은 예입니다. 지상의 작은 움직이는 객체를 놓치면 내비게이션 또는 추적 정확도에 영향을 줄 수 있습니다.

소형 객체 탐지와 관련된 과제#

초기 시스템은 사람이 직접 설계한 feature와 기존 computer vision 방법을 사용했으며, 복잡하거나 다양한 장면에서 어려움을 겪었습니다. 오늘날에도 deep learning 모델의 성능이 훨씬 향상되었지만, 대상이 이미지에서 극히 작은 부분만 차지하면 소형 대상의 탐지는 여전히 어렵습니다.

이제 소형 객체를 탐지할 때 다양한 실제 시나리오에서 공통적으로 나타나는 몇 가지 과제를 살펴보겠습니다.

크기, 픽셀, 정보 손실#

소형 객체는 픽셀 수가 매우 적기 때문에 feature extraction과 같은 단계에서 모델이 학습할 수 있는 시각적 세부 정보의 양이 제한됩니다. 그 결과 모서리, 형태, 텍스처와 같은 패턴을 탐지하기가 어려워지고, 소형 객체가 배경에 섞일 가능성이 커집니다.

이미지가 신경망의 convolutional layer를 통과하면 픽셀의 시각 정보는 feature map으로 점차 압축됩니다. 이는 모델의 효율적인 실행에 도움이 되지만 세밀한 정보가 점차 희미해진다는 의미이기도 합니다.

그림 2. Feature map은 이미지의 시각적 패턴을 나타냅니다(출처).

소형 대상의 경우 detection network가 작동할 기회를 얻기 전에 중요한 단서가 사라질 수 있습니다. 이렇게 되면 localization의 신뢰도가 낮아지고 bounding box가 이동하거나 겹치거나 대상 객체를 완전히 놓칠 수 있습니다.

가림, 스케일 변화, 컨텍스트#

크기와 관련된 문제는 가림으로 인해 더욱 자주 발생합니다. 가림은 장면의 다른 객체가 객체, 특히 소형 객체를 부분적으로 가릴 때 발생합니다.

이로 인해 대상의 가시 영역이 줄어들고 object detector가 활용할 수 있는 정보가 제한됩니다. 특히 저해상도 입력과 결합되면 작은 가림만으로도 detection network가 혼동될 수 있습니다. 이러한 현상은 VisDrone과 같은 UAV 데이터셋에서 확인할 수 있습니다. 보행자, 자전거 또는 차량이 건물, 나무 또는 다른 움직이는 객체에 의해 부분적으로 가려질 수 있습니다.

그림 3. 소형 객체를 보여 주는 VisDrone 데이터셋의 예시(출처)

마찬가지로 스케일 변화는 거리와 카메라 위치에 따라 동일한 객체가 매우 작거나 상대적으로 크게 나타날 때 또 다른 어려움을 만듭니다. 이러한 문제에도 불구하고 detection algorithm은 정확도를 잃지 않으면서 다양한 스케일의 소형 객체를 인식해야 합니다.

컨텍스트도 탐지에서 중요한 역할을 합니다. 예를 들어 큰 객체는 일반적으로 유용한 시각적 단서를 제공하는 명확한 주변 환경과 함께 나타납니다. 반면 소형 대상에는 이러한 컨텍스트 정보가 부족한 경우가 많아 패턴 인식이 더 어려워집니다.

소형 객체 탐지에 숨겨진 metric 문제#

Intersection over Union(IoU)와 같은 일반적인 평가 metric은 예측 bounding box가 ground-truth box와 얼마나 잘 겹치는지 측정합니다. IoU는 큰 객체에서 잘 작동하지만 소형 객체에서는 동작이 상당히 다릅니다.

소형 객체는 몇 개의 픽셀만 차지하므로 예측 box가 조금만 이동해도 비례 오차가 크게 발생하고 IoU 점수가 급격히 낮아질 수 있습니다. 따라서 이미지에서 객체가 보이더라도 소형 객체는 예측을 올바른 것으로 판정하는 데 사용되는 표준 IoU threshold를 충족하지 못하는 경우가 많습니다.

그 결과 localization 오류가 false positive 또는 false negative로 분류될 가능성이 커집니다. 이러한 한계로 인해 연구자들은 객체 탐지 시스템이 작고 탐지하기 어려운 대상을 평가하고 처리하는 방식을 재고하게 되었습니다.

Multi-scale feature: 실시간 소형 객체 탐지의 핵심#

연구자들이 소형 객체 탐지를 개선하기 위해 노력하면서 여러 스케일에 걸쳐 시각 정보를 보존하고 표현하는 것이 필수적이라는 점이 분명해졌습니다. 이러한 통찰은 최근 arXiv 연구와 IEEE 국제 학회 및 유럽 컴퓨터 비전 협회(ECCV)와 같은 학술 행사에서 발표된 논문에서도 확인됩니다.

이미지가 신경망을 더 깊이 통과하면 소형 객체가 세부 정보를 잃거나 완전히 사라질 수 있습니다. 이러한 이유로 Ultralytics YOLO11과 같은 최신 computer vision 모델은 더 나은 feature extraction에 중점을 둡니다. 이제 feature map과 feature pyramid network의 핵심 개념을 살펴보며 이를 더 잘 이해해 보겠습니다.

Feature map과 스케일 표현#

원격 감지 이미지와 같은 입력 이미지가 신경망에 들어가면 점차 feature map으로 변환됩니다. 이는 모서리, 형태, 텍스처와 같은 시각적 패턴을 강조하는 이미지의 단순화된 표현입니다.

네트워크가 더 깊어질수록 이러한 feature map의 공간적 크기는 작아집니다. 이러한 축소는 모델을 효율적으로 실행하고 high-level 정보에 집중하는 데 도움이 됩니다. 그러나 feature map을 축소하고 깊게 만들면 공간적 세부 정보도 줄어듭니다.

그림 4. 소형 객체 탐지의 핵심인 feature extraction(출처).

큰 객체는 정확한 탐지에 충분한 시각 정보를 유지하지만 소형 대상은 네트워크 레이어를 몇 개만 통과해도 중요한 세부 정보를 잃을 수 있습니다. 이렇게 되면 모델은 소형 객체가 존재한다는 사실조차 인식하기 어려워질 수 있습니다. 이것이 deep object detection 모델에서 소형 객체를 놓치는 주요 이유 중 하나입니다.

Feature pyramid network와 multi-scale learning#

Feature pyramid network는 흔히 FPN이라고 불리며 공간적 세부 정보 손실을 해결하기 위해 도입되었습니다. 이는 여러 레이어의 정보를 결합하는 지원 모듈로 작동하여 모델이 소형 객체를 더욱 효과적으로 탐지할 수 있도록 합니다. 이 과정은 feature aggregation 및 feature fusion이라고도 합니다.

얕은 레이어는 세밀한 공간 정보를 제공하고 깊은 레이어는 semantic context를 추가하므로 효과적인 multi-scale feature learning이 가능합니다. Feature map을 단순히 확대하는 naive upsampling과 달리 FPN은 의미 있는 정보를 보존하고 소형 객체 탐지를 개선합니다.

최신 접근 방식은 adaptive feature fusion과 context-aware 설계를 사용해 이 아이디어를 확장하고 소형 대상의 탐지 성능을 더욱 향상합니다. 즉, FPN은 모델이 큰 그림과 작은 세부 정보를 동시에 볼 수 있도록 돕습니다. 객체가 작을 때 이러한 최적화는 필수적입니다.

소형 객체를 처리하기 위한 객체 탐지 모델의 발전 과정#

다음은 매우 작은 객체를 포함해 다양한 크기의 객체를 더 잘 탐지하기 위해 객체 탐지 모델이 시간이 지나면서 어떻게 발전하고 고도화되었는지 간략히 보여 줍니다.

• 초기 탐지 방법: 초기 객체 탐지 방식은 고전적인 이미지 처리에 기반한 수작업 feature와 rule-based algorithm에 의존했습니다. 이러한 feature는 고정되어 있었기 때문에 이미지가 달라지면 성능이 저하되었습니다.
• machine learning과 deep learning의 도입: machine learning과 deep learning의 도입은 객체 탐지 연구에 큰 변화를 가져왔습니다. 신경망은 미리 정의된 규칙에 의존하는 대신 학습 데이터에서 시각적 표현을 직접 학습하여 다양한 객체 크기와 장면에 대한 적응성을 향상했습니다.
• Convolutional network: 이러한 신경망은 이미지의 패턴을 보는 방법을 학습합니다. 각 레이어는 서로 다른 세부 정보를 포착하며, 단순한 모서리와 색상에서 시작해 형태를 거쳐 최종적으로 전체 객체를 인식하므로 최신 computer vision에 필수적입니다.
• Two-stage object detector: Girshick과 Ren이 소개한 Faster R-CNN과 같은 two-stage detector는 먼저 후보 영역을 생성한 다음 이를 분류했습니다. 이 접근 방식은 소형 객체의 정확도를 향상했지만 연산 비용을 증가시키고 실시간 성능을 낮췄습니다.
• One-stage object detector: SSD(단일 샷 검출기)와 YOLO(한 번만 보면 됩니다) 계열에 속하는 YOLOv3, Ultralytics YOLOv5, 이후의 Ultralytics YOLOv8과 같은 one-stage detector는 한 번의 pass로 탐지를 수행합니다. 이 설계는 경쟁력 있는 정확도를 유지하면서 inference 속도를 크게 향상합니다.
• 최신 state-of-the-art 모델: 최신 객체 탐지 모델은 실시간 성능과 edge deployment에 더욱 중점을 둡니다. Ultralytics YOLO11과 출시 예정인 Ultralytics YOLO26을 비롯한 최근 Ultralytics YOLO 모델 릴리스는 높은 정확도와 낮은 latency inference의 균형을 맞추도록 설계되어, 제한된 연산 성능을 가진 디바이스에서 소형 대상을 포함한 모든 크기의 객체를 탐지하는 데 적합합니다.

소형 객체 탐지 사용 사례에 Ultralytics YOLO11 활용하기#

이제 소형 객체 탐지의 작동 방식을 더 잘 이해했으므로 Ultralytics YOLO11을 적용할 수 있는 실제 애플리케이션 두 가지를 살펴보겠습니다.

UAV 및 항공 영상#

붐비는 도시 도로 위를 높이 비행하는 드론을 상상해 보세요. 그 높이에서는 자동차, 자전거, 심지어 사람도 화면에서 불과 몇 픽셀로 작아집니다.

UAV 및 항공 영상 모듈은 이처럼 관심 객체가 작고 복잡한 배경에 둘러싸인 장면을 자주 촬영하므로 computer vision 모델이 탐지하기 어렵습니다.

이러한 시나리오에서는 Ultralytics YOLO11이 이상적인 모델 선택이 될 수 있습니다. 예를 들어 YOLO11과 같은 모델을 탑재한 드론은 실시간으로 교통을 모니터링하면서 장면 속 차량, 자전거 이용자, 보행자의 움직임을 탐지할 수 있습니다. 각 객체가 이미지에서 작은 부분만 차지하는 경우에도 가능합니다. 이를 통해 교통 관리, 공공 안전, 도시 계획과 같은 애플리케이션에서 더 빠른 의사 결정과 정확한 인사이트를 얻을 수 있습니다.

로보틱스 및 자동화#

로봇은 정확도와 타이밍이 중요한 환경에서 자주 사용됩니다. 창고, 공장, 농장과 같은 환경에서 로봇은 조립 라인의 부품, 포장지의 라벨, 밭의 작은 식물 싹과 같은 매우 작은 객체를 인식하고 신속하게 대응해야 할 수 있습니다.

이러한 크기의 객체를 탐지하는 일은 특히 카메라 피드에서 불과 몇 픽셀로 나타나거나 다른 객체에 의해 부분적으로 가려질 때 복잡할 수 있습니다. 이러한 작은 세부 정보를 놓치면 자동화 속도가 느려지거나 로봇의 작업 완료 능력에 영향을 줄 수 있습니다.

Ultralytics YOLO11은 이러한 상황에서 차이를 만들어 낼 수 있습니다. 향상된 feature extraction과 빠른 inference를 통해 로봇이 소형 객체를 실시간으로 탐지하고 즉시 조치를 취할 수 있습니다.

Ultralytics YOLO11은 instance segmentation도 지원하므로 일반적인 bounding box의 위치만 찾는 대신 로봇이 객체의 경계와 grasp point를 더욱 정확하게 파악할 수 있습니다. 예를 들어 YOLO11이 통합된 robotic arm은 컨베이어 벨트 위의 작은 부품을 찾아 정확한 형태를 segmentation하고, 손이 닿지 않는 곳으로 이동하기 전에 집어 올릴 수 있어 시스템의 효율성과 안정성 유지에 도움이 됩니다.

Ultralytics YOLO11이 소형 객체 탐지에 효과적인 이유#

오늘날 사용할 수 있는 computer vision 모델이 매우 많은데, 무엇이 Ultralytics YOLO11을 차별화하는지 궁금하실 수 있습니다.

소형 객체를 탐지해야 하는 애플리케이션에서 Ultralytics YOLO11이 훌륭한 선택지인 몇 가지 이유는 다음과 같습니다.

• 향상된 feature extraction: YOLO11은 개선된 backbone 및 neck 아키텍처를 사용해 feature extraction을 강화하고 더욱 정밀한 객체 탐지를 가능하게 합니다.
• 생태계 및 편의성: Ultralytics Python package는 YOLO11과 같은 모델을 로드, 학습, 검증, 배포할 수 있는 내장 함수를 제공하는 라이브러리입니다. 이러한 workflow에는 몇 줄의 코드만 필요하므로 팀은 소형 객체 탐지 모델을 빠르게 실험하고 fine-tuning할 수 있습니다.
• Edge deployment에 최적화: Ultralytics YOLO11은 NVIDIA Jetson, Raspberry Pi, 산업용 카메라 시스템과 같은 edge device에서 효율적으로 실행할 수 있습니다. 간단히 말해 디바이스에서 직접 실시간 vision AI 작업을 수행할 수 있습니다.

Ultralytics YOLO11로 소형 객체를 탐지할 때 활용할 수 있는 실용적인 전략#

Ultralytics YOLO11과 같은 모델을 사용하는 것 외에도 annotation 준비 방식, 전체 데이터셋, 모델 학습 절차가 탐지 성능에 큰 차이를 만들 수 있습니다.

중점적으로 살펴볼 사항을 간략히 정리하면 다음과 같습니다.

• 적절한 data augmentation: scaling이나 cropping과 같은 가벼운 data augmentation은 모델이 새로운 이미지에 일반화하는 데 도움이 될 수 있습니다. 그러나 지나치게 강한 대규모 augmentation은 소형 객체를 왜곡하거나 제거하여 모델이 학습하기 어렵게 만들 수 있습니다.
• 실패 사례 분석: 모델이 객체를 놓치거나 잘못 식별하는 지점을 분석하면 기준선을 만들고 문제가 데이터셋에서 비롯된 것인지, feature extraction 중 정보가 손실된 것인지, 또는 학습 설정을 조정해야 하는지 파악하는 데 도움이 됩니다.
• 데이터셋 구성: 데이터셋에는 모델이 의미 있는 패턴을 학습할 수 있도록 소형 객체의 예시가 충분히 포함되어야 하며, 학습 중 큰 객체가 작은 객체를 가리지 않도록 균형을 유지해야 합니다.

핵심 요점#

소형 객체 탐지가 어려운 이유는 이미지가 computer vision 모델을 통과하면서 작은 대상이 세부 정보를 잃기 때문입니다. Ultralytics YOLO11은 이러한 세부 정보가 보존되는 방식을 개선하여 실시간 성능을 희생하지 않고도 소형 객체 탐지의 신뢰도를 높입니다. 이러한 균형을 통해 YOLO11은 실제 애플리케이션에서 정확하고 효율적인 탐지를 지원할 수 있습니다.

성장하는 커뮤니티에 참여해 보세요! GitHub 리포지토리를 살펴보고 AI에 대해 자세히 알아보세요. 솔루션 페이지를 방문하여 리테일 분야의 컴퓨터 비전 및 자동차 산업의 AI와 같은 혁신 사례를 확인해 보세요. 지금 바로 컴퓨터 비전 개발을 시작하려면 라이선스 옵션을 확인해 보세요.