Non-Maximum Suppression (NMS)

Non-Maximum Suppression (NMS)는 모델이 생성한 원시 예측을 정제하기 위해 object detection에서 사용되는 후처리 기법입니다. 객체 검출 모델이 이미지를 분석할 때, 단일 객체에 대해 각각 연관된 confidence score를 가진 여러 개의 겹치는 bounding boxes를 생성하는 경우가 많습니다. 이러한 중복 예측은 모델이 약간 다른 크기나 위치에서 동일한 특징을 검출할 수 있기 때문에 발생합니다. NMS는 각 객체에 대해 가장 정확한 bounding box만 유지하고 나머지는 폐기하여 이 출력을 필터링함으로써 최종 출력이 깨끗하고 정밀하며 중복이 없도록 보장합니다.

Non-Maximum Suppression의 작동 원리#

NMS 알고리즘은 후보 경계 상자 목록과 그에 해당하는 신뢰도 점수를 기반으로 작동합니다. 목표는 객체에 대한 최적의 상자를 선택하고, 이와 상당 부분 겹치는 다른 상자들은 동일한 객체에 대한 중복 탐지로 간주하여 억제(제거)하는 것입니다. 이 과정은 일반적으로 다음 단계를 따릅니다:

1. 필터링: 신뢰도 점수가 특정 임계값(예: 0.25) 미만인 모든 경계 상자를 제거하여 낮은 품질의 예측을 즉시 배제합니다.

2. 정렬: 나머지 상자들을 신뢰도 점수에 따라 내림차순으로 정렬합니다.

3. 선택: 가장 높은 신뢰도 점수를 가진 상자를 유효한 탐지 결과로 선택합니다.

4. Comparison: 두 박스 간의 겹침을 측정하는 지표인 Intersection over Union (IoU)를 사용하여 이 선택된 박스를 다른 모든 남은 박스와 비교합니다.

5. 억제: 선택된 상자와 다른 상자 간의 IoU가 미리 정의된 임계값(예: 0.45)을 초과하면, 더 낮은 점수를 가진 상자를 중복으로 간주하여 제거합니다.

6. 반복: 아직 억제되거나 선택되지 않은 상자 중 신뢰도 점수가 가장 높은 상자를 대상으로 모든 상자가 처리될 때까지 이 과정을 반복합니다.

실제 애플리케이션 사례#

NMS는 정밀도가 매우 중요하고 중복 탐지가 하위 시스템에 혼란을 줄 수 있는 시나리오에서 필수적입니다.

• 자율 주행: 자율 주행 자동차 시스템에서 카메라는 보행자, 다른 차량, 교통 표지판을 감지합니다. 모델이 단일 보행자에 대해 약간씩 다른 세 개의 상자를 예측할 수 있는데, NMS는 차량의 경로 계획 시스템이 해당 보행자에 대해 단 하나의 좌표만 수신하도록 하여 "유령" 장애물로 인한 급제동이나 경로 계획 오류를 방지합니다.
• Retail Inventory Management: computer vision을 사용하여 선반 위의 제품을 셀 때, 아이템들은 종종 밀접하게 배치되어 있습니다. NMS가 없으면 겹치는 예측으로 인해 단일 캔 음료가 두 번 카운트되어 부정확한 재고 수준으로 이어질 수 있습니다. NMS는 이러한 검출 결과를 정제하여 재고 수량이 실제와 일치하도록 보장합니다.

PyTorch를 이용한 NMS 구현#

많은 최신 프레임워크가 내부적으로 NMS를 처리하지만, 구현 방식을 이해하는 것은 매개변수 튜닝에 도움이 됩니다. 다음 예제는 PyTorch library를 사용하여 NMS를 적용하는 방법을 보여줍니다:

import torch
import torchvision.ops as ops

# Example bounding boxes: [x1, y1, x2, y2]
boxes = torch.tensor(
    [
        [100, 100, 200, 200],  # Box A
        [105, 105, 195, 195],  # Box B (High overlap with A)
        [300, 300, 400, 400],  # Box C (Distinct object)
    ],
    dtype=torch.float32,
)

# Confidence scores for each box
scores = torch.tensor([0.9, 0.8, 0.95], dtype=torch.float32)

# Apply NMS with an IoU threshold of 0.5
# Boxes with IoU > 0.5 relative to the highest scoring box are suppressed
keep_indices = ops.nms(boxes, scores, iou_threshold=0.5)

print(f"Indices to keep: {keep_indices.tolist()}")
# Output will likely be [2, 0] corresponding to Box C (0.95) and Box A (0.9),
# while Box B (0.8) is suppressed due to overlap with A.

NMS와 엔드투엔드 탐지 비교#

전통적으로 NMS는 메인 신경망 외부에 위치하여 inference latency를 추가하는 필수적인 "정리(clean-up)" 단계였습니다. 그러나 이 분야는 엔드투엔드(end-to-end) 아키텍처를 향해 진화하고 있습니다.

• Standard NMS: IoU 임계값의 수동 튜닝이 필요한 휴리스틱 프로세스입니다. 임계값이 너무 낮으면 서로 가까운 유효한 객체를 놓칠 수 있고(낮은 recall), 너무 높으면 중복이 남게 됩니다(낮은 precision).
• End-to-End Models: YOLO26과 같은 차세대 모델은 네이티브 엔드투엔드로 설계되었습니다. 이들은 훈련 중에 객체당 정확히 하나의 박스를 예측하는 법을 학습하여 NMS 프로세스를 효과적으로 내면화합니다. 이는 외부 후처리의 필요성을 없애주어, Ultralytics Platform에서 더 빠른 추론 속도와 더 단순한 배포 파이프라인을 제공합니다.

관련 개념#

• Soft-NMS: 겹치는 박스를 엄격하게 제거하는 대신 confidence score를 낮추는 변형 기법입니다. 이를 통해 감쇄 후에도 점수가 충분히 높다면, 다소 겹치는 객체들(군중 속 사람들 등)도 여전히 검출될 수 있습니다.
• Anchor Boxes: 객체 크기를 추정하기 위해 많은 검출기에서 사용하는 미리 정의된 박스 모양입니다. NMS는 이러한 앵커에서 정제된 최종 예측에 적용됩니다.
• Intersection over Union (IoU): 두 박스가 얼마나 겹치는지를 결정하기 위해 NMS에서 사용하는 수학적 공식으로, 억제를 위한 결정 임계값 역할을 합니다.