Độ chính xác trung bình (mAP)

Độ chính xác trung bình (Mean Average Precision - mAP) là một chỉ số đánh giá quan trọng được sử dụng rộng rãi trong thị giác máy tính, đặc biệt đối với các tác vụ phát hiện đối tượng. Nó cung cấp một điểm số duy nhất, toàn diện, tóm tắt hiệu suất của một mô hình bằng cách đo lường độ chính xác của các dự đoán trên tất cả các danh mục đối tượng. Điểm số mAP tính đến cả tính chính xác của phân loại (đối tượng có đúng như mô hình nhận định không?) và chất lượng của bản địa hóa (mức độ phù hợp của khung giới hạn dự đoán với vị trí thực tế của đối tượng?). Vì nó cung cấp một đánh giá cân bằng, mAP đã trở thành thước đo tiêu chuẩn để so sánh hiệu suất của các mô hình phát hiện đối tượng khác nhau như Ultralytics YOLO.

Cách thức hoạt động của mAP

Để hiểu mAP, trước tiên bạn nên nắm bắt các thành phần cốt lõi của nó: Độ chính xác (Precision), Độ phủ (Recall) và Intersection over Union (IoU).

• Độ chính xác (Precision): Đo lường mức độ chính xác của các dự đoán của mô hình. Nó trả lời câu hỏi: "Trong tất cả các đối tượng mà mô hình phát hiện, tỷ lệ nào là chính xác?"
• Recall (Độ phủ): Đo lường mức độ mô hình tìm thấy tất cả các đối tượng thực tế. Nó trả lời câu hỏi: "Trong tất cả các đối tượng thực có trong ảnh, mô hình đã phát hiện thành công bao nhiêu phần?"
• Intersection over Union (IoU): Một số liệu định lượng mức độ hộp giới hạn được dự đoán chồng lên hộp giới hạn ground-truth (được gắn nhãn thủ công). Một phát hiện thường được coi là true positive nếu IoU vượt quá một ngưỡng nhất định (ví dụ: 0,5).

Tính toán mAP tổng hợp các khái niệm này. Đối với mỗi lớp đối tượng, một đường cong Precision-Recall được tạo bằng cách vẽ độ chính xác so với độ phủ ở các ngưỡng điểm tin cậy khác nhau. Độ chính xác trung bình (AP) cho lớp đó là diện tích dưới đường cong này, cung cấp một con số duy nhất thể hiện hiệu suất của mô hình trên lớp cụ thể đó. Cuối cùng, mAP được tính bằng cách lấy giá trị trung bình của các điểm AP trên tất cả các lớp đối tượng. Một số sơ đồ đánh giá, như sơ đồ dành cho tập dữ liệu COCO phổ biến, tiến thêm một bước bằng cách tính trung bình mAP trên nhiều ngưỡng IoU để cung cấp một đánh giá thậm chí mạnh mẽ hơn.

Phân biệt mAP với các số liệu khác

Mặc dù liên quan đến các metrics đánh giá (evaluation metrics) khác, mAP có một mục đích riêng biệt.

• Độ chính xác (Accuracy): Độ chính xác đo lường tỷ lệ dự đoán đúng trên tổng số dự đoán. Nó thường được sử dụng cho các tác vụ phân loại và không phù hợp cho việc phát hiện đối tượng, trong đó một dự đoán phải được phân loại và định vị chính xác.
• F1-Score: F1-score là trung bình điều hòa của Precision (Độ chính xác) và Recall (Độ phủ). Mặc dù hữu ích, nhưng nó thường được tính toán tại một ngưỡng tin cậy duy nhất. Ngược lại, mAP cung cấp một đánh giá toàn diện hơn bằng cách tính trung bình hiệu suất trên tất cả các ngưỡng.
• Confidence (Độ tin cậy): Đây không phải là một số liệu đánh giá cho toàn bộ mô hình mà là một điểm số được gán cho mỗi dự đoán riêng lẻ, cho biết mô hình chắc chắn như thế nào về một phát hiện đó. Tính toán mAP sử dụng các điểm tin cậy này để tạo ra đường cong Precision-Recall.

Công cụ và Điểm chuẩn

Các tập dữ liệu chuẩn rất quan trọng để thúc đẩy lĩnh vực object detection (phát hiện đối tượng). Các tập dữ liệu như PASCAL VOC và COCO sử dụng mAP làm thước đo chính để xếp hạng các bài nộp trên bảng xếp hạng công khai. Điều này cho phép các nhà nghiên cứu và người thực hành so sánh một cách khách quan các mô hình khác nhau, chẳng hạn như YOLOv8 và YOLO11.

Các nền tảng như Ultralytics HUB nổi bật với mAP để giúp người dùng theo dõi hiệu suất trong quá trình huấn luyện mô hình và xác thực. Các framework học sâu cơ bản cung cấp sức mạnh cho các mô hình này, chẳng hạn như PyTorch và TensorFlow, cung cấp các công cụ cần thiết để xây dựng và huấn luyện các mô hình mà cuối cùng được đánh giá bằng mAP.

Các Ứng dụng Thực tế

Số liệu mAP là nền tảng trong việc phát triển các hệ thống AI đáng tin cậy.

1. Xe tự hành: Trong AI cho xe tự lái, một mô hình nhận thức phải phát hiện chính xác các đối tượng khác nhau như ô tô, người đi bộ, người đi xe đạp và biển báo giao thông. Điểm mAP cao trên một bộ dữ liệu đầy thách thức như Argoverse chỉ ra rằng mô hình này mạnh mẽ và đáng tin cậy trên tất cả các lớp quan trọng, điều này rất cần thiết để đảm bảo an toàn. Các công ty hàng đầu trong lĩnh vực này, chẳng hạn như Waymo, phụ thuộc rất nhiều vào các đánh giá nghiêm ngặt bằng cách sử dụng các số liệu như mAP.
2. Phân tích hình ảnh y tế: Khi huấn luyện một mô hình để phát hiện các bất thường như khối u hoặc tổn thương từ ảnh chụp bằng cách sử dụng một tập dữ liệu như tập dữ liệu Brain Tumor, mAP được sử dụng để đánh giá độ chính xác chẩn đoán tổng thể của nó. mAP cao đảm bảo rằng mô hình không chỉ giỏi phát hiện loại dị thường phổ biến nhất mà còn hiệu quả trong việc xác định các tình trạng hiếm gặp hơn, nhưng cũng quan trọng không kém. Đánh giá toàn diện này là một bước quan trọng trước khi một mô hình có thể được xem xét để triển khai trong môi trường chăm sóc sức khỏe.