Non-Maximum Suppression (NMS)

Non-maximum suppression (NMS) là bước hậu xử lý biến các dự đoán thô chồng lấp của detector thành một bounding box cho mỗi đối tượng. Model phát hiện đối tượng dày đặc chấm điểm hàng nghìn bounding box ứng viên trên mỗi ảnh; thường có một số ứng viên lân cận cùng kích hoạt trên một đối tượng với vị trí và điểm số hơi khác nhau. NMS giữ lại bounding box có độ tin cậy cao nhất trong mỗi cụm chồng lấp và loại bỏ các bounding box còn lại, dùng intersection over union (IoU) để quyết định mức độ chồng lấp nào đủ lớn để xem là trùng lặp.

Cách hoạt động của Non-Maximum Suppression#

Greedy NMS, phiên bản tiêu chuẩn, trước tiên loại bỏ các ứng viên thấp hơn ngưỡng độ tin cậy rồi sắp xếp những ứng viên còn lại theo điểm số. Sau đó, thuật toán giữ bounding box đứng đầu, loại bỏ mọi bounding box còn lại có IoU với bounding box đó vượt ngưỡng IoU, rồi lặp lại với bounding box có điểm số cao nhất còn lại cho đến khi không còn bounding box nào. Detector thường chạy NMS riêng cho từng lớp, vì vậy bounding box người không bao giờ loại bỏ bounding box xe đạp chồng lấp.

nms của torchvision triển khai greedy NMS cho một lớp và trả về chỉ số của các bounding box được giữ lại, theo thứ tự điểm số.

import torch
from torchvision.ops import nms

# Các bounding box ứng viên ở dạng [x1, y1, x2, y2], mỗi box có một điểm độ tin cậy
boxes = torch.tensor(
    [
        [100, 100, 200, 200],  # A
        [105, 105, 195, 195],  # B: gần trùng với A (IoU 0.81)
        [300, 300, 400, 400],  # C: một đối tượng riêng biệt
    ],
    dtype=torch.float32,
)
scores = torch.tensor([0.90, 0.80, 0.95])

# Loại bỏ mọi bounding box có IoU với một bounding box được giữ lại có điểm số cao hơn vượt quá 0.5
keep = nms(boxes, scores, iou_threshold=0.5)
print(keep.tolist())

Đầu ra là [2, 0]: bounding box C được giữ lại trước vì có điểm số cao nhất; bounding box A được giữ lại vì không chồng lấp với C; bounding box B bị loại bỏ vì IoU với A là 0.81.

Điều chỉnh các ngưỡng#

Ngưỡng độ tin cậy loại bỏ các ứng viên yếu trước khi bắt đầu suppression. Ngưỡng IoU xác định mức độ chồng lấp nào được xem là trùng lặp. Nếu ngưỡng quá thấp, hai đối tượng thực đứng gần nhau, chẳng hạn người trong đám đông, có thể bị gộp thành một detection và recall giảm. Nếu ngưỡng quá cao, các bounding box trùng lặp vẫn được giữ lại và precision giảm. NMS không phụ thuộc lớp cho phép bất kỳ bounding box nào loại bỏ bounding box khác, bất kể lớp, nhờ đó xóa các nhãn kép khi model gán cho một đối tượng hai lớp tương tự nhau, chẳng hạn “xe hơi” và “xe tải”.

Hạn chế của NMS#

• Cảnh đông đúc: một ngưỡng IoU cố định không thể phân biệt bounding box trùng lặp với đối tượng thứ hai thực sự chồng lấp đối tượng đầu tiên, vì vậy các đối tượng bị che khuất nhiều sẽ bị loại bỏ.
• Heuristic cố định: ngưỡng được chọn thủ công, nằm bên ngoài mạng đã huấn luyện và không được học từ dữ liệu.
• Độ trễ và triển khai: vòng lặp greedy chạy sau mạng và chi phí tăng theo số lượng ứng viên, làm tăng độ trễ suy luận. Các định dạng export không thể nhúng NMS vào đồ thị model sẽ xuất các ứng viên thô, và ứng dụng phải tự chạy NMS.

Các biến thể NMS và phát hiện không dùng NMS#

Soft-NMS giảm điểm số của các bounding box chồng lấp theo mức độ chồng lấp thay vì xóa chúng, nhờ đó khôi phục được nhiều đối tượng hơn trong đám đông. DIoU-NMS, được đề xuất cùng với loss Distance-IoU, cũng xét khoảng cách giữa tâm các bounding box, vì vậy hai bounding box có tâm cách xa nhau ít có khả năng bị loại bỏ hơn.

Bộ phát hiện đầu-cuối loại bỏ hoàn toàn bước này. DETR được huấn luyện bằng phép ghép Hungarian một-một giữa dự đoán và nhãn, nhờ đó mỗi đối tượng nhận đúng một dự đoán; YOLOv10 đưa head một-một vào các model YOLO thời gian thực. YOLO26 huấn luyện cả hai loại head và mặc định áp dụng NMS, vì head một-nhiều đạt điểm nhỉnh hơn: 40.9 so với 40.1 mAP_50-95 trên COCO với YOLO26n. Truyền nms=False sẽ chọn head một-một, xuất tối đa 300 hộp cuối cùng cho mỗi ảnh mà không cần bước NMS, như hướng dẫn phát hiện đầu-cuối trình bày cho dự đoán và export.