Mean Average Precision (mAP) trong phát hiện đối tượng

Việc ứng dụng AI đang phát triển nhanh chóng và AI được tích hợp vào nhiều đổi mới khác nhau, từ ô tô tự lái đến các hệ thống bán lẻ có thể nhận diện sản phẩm trên kệ. Những công nghệ này dựa trên thị giác máy tính, một nhánh của trí tuệ nhân tạo (AI) cho phép máy móc phân tích dữ liệu hình ảnh.

Một metric đánh giá quan trọng được dùng để đo độ chính xác của các hệ thống và thuật toán thị giác máy tính là độ chính xác trung bình (mAP). Metric mAP cho biết mức độ dự đoán của model AI thị giác khớp với kết quả trong thực tế.

Một tác vụ thị giác máy tính phổ biến là phát hiện đối tượng, trong đó model xác định nhiều đối tượng trong một hình ảnh và vẽ các bounding box xung quanh chúng. mAP là metric tiêu chuẩn để đánh giá hiệu năng của các model phát hiện đối tượng và được sử dụng rộng rãi để benchmark các model deep learning như Ultralytics YOLO11.

Trong bài viết này, chúng ta sẽ tìm hiểu cách tính độ chính xác trung bình và lý do metric này thiết yếu đối với bất kỳ ai huấn luyện hoặc đánh giá model phát hiện đối tượng. Hãy bắt đầu!

Độ chính xác trung bình (mAP) là gì?#

Độ chính xác trung bình là một điểm số thể hiện mức độ chính xác của một model deep learning trong các tác vụ liên quan đến truy xuất thông tin hình ảnh, chẳng hạn như phát hiện và xác định các đối tượng khác nhau trong một hình ảnh. Ví dụ, hãy xem xét một model phát hiện đối tượng đang phân tích một bức ảnh có chó, mèo và ô tô. Một model đáng tin cậy có thể thực hiện phát hiện đối tượng bằng cách nhận diện từng đối tượng rồi vẽ bounding box và label xung quanh chúng, làm nổi bật vị trí và loại đối tượng.

mAP cho biết model thực hiện tác vụ này tốt đến đâu trên nhiều hình ảnh và các loại đối tượng khác nhau. Metric này kiểm tra xem model có xác định chính xác từng đối tượng và vị trí của đối tượng trong hình ảnh hay không. Điểm số nằm trong khoảng từ 0 đến 1, trong đó 1 nghĩa là model tìm thấy mọi thứ một cách hoàn hảo, còn 0 nghĩa là model không phát hiện được đối tượng nào.

Các khái niệm chính về độ chính xác trung bình (mAP)#

Trước khi tìm hiểu các khái niệm đằng sau độ chính xác trung bình trong machine learning, hãy cùng hiểu rõ hơn hai thuật ngữ cơ bản: ground truth và predictions.

Ground truth là dữ liệu tham chiếu chính xác, trong đó các đối tượng và vị trí của chúng trong hình ảnh được con người gán nhãn cẩn thận thông qua một quy trình gọi là annotation. Trong khi đó, predictions là kết quả do các model AI đưa ra sau khi phân tích một hình ảnh. Bằng cách so sánh predictions của model AI với ground truth, chúng ta có thể đo mức độ gần với kết quả chính xác của model.

Hình 1. Bounding box prediction của model và ground truth. Hình ảnh do tác giả cung cấp.

Ma trận nhầm lẫn#

Ma trận nhầm lẫn thường được dùng để hiểu độ chính xác của một model phát hiện đối tượng. Đây là một bảng cho thấy predictions của model khớp với các đáp án đúng thực tế (ground truth) như thế nào. Từ bảng này, chúng ta có thể phân tích bốn thành phần hoặc kết quả chính: true positives, false positives, false negatives và true negatives.

Các thành phần này trong ma trận nhầm lẫn có ý nghĩa như sau:

• True positive (TP): Model phát hiện chính xác một đối tượng và vị trí của đối tượng đó.
• False positive (FP): Model thực hiện một detection nhưng kết quả không chính xác.
• False negative (FN): Một đối tượng thực sự xuất hiện trong hình ảnh nhưng model không phát hiện được.
• True negative (TN): True negatives xảy ra khi model xác định chính xác rằng một đối tượng không xuất hiện.

True negatives không thường được sử dụng trong phát hiện đối tượng vì chúng ta thường bỏ qua nhiều vùng trống trong một hình ảnh. Tuy nhiên, thành phần này thiết yếu trong các tác vụ thị giác máy tính khác, chẳng hạn như phân loại hình ảnh, trong đó model gán một label cho hình ảnh. Ví dụ, nếu tác vụ là phát hiện xem một hình ảnh có chứa mèo hay không, và model xác định chính xác “không có mèo” khi hình ảnh không chứa mèo, thì đó là true negative.

Hình 2. Các kết quả phân loại trong ma trận nhầm lẫn. Hình ảnh do tác giả cung cấp.

Intersection over Union (IoU)#

Một metric quan trọng khác trong việc đánh giá các model phát hiện đối tượng là Intersection over Union (IoU). Đối với các model AI thị giác như vậy, chỉ phát hiện sự hiện diện của một đối tượng trong hình ảnh là chưa đủ; model cũng cần xác định vị trí của đối tượng để vẽ bounding box.

Metric IoU đo mức độ bounding box được dự đoán bởi model khớp với bounding box thực tế, chính xác (ground truth) như thế nào. Điểm số nằm trong khoảng từ 0 đến 1, trong đó 1 nghĩa là khớp hoàn hảo và 0 nghĩa là hoàn toàn không chồng lấp.

Ví dụ, IoU cao hơn (như 0.80 hoặc 0.85) nghĩa là bounding box được dự đoán gần khớp với bounding box ground truth, cho thấy khả năng định vị chính xác. IoU thấp hơn (như 0.30 hoặc 0.25) nghĩa là model không định vị đối tượng chính xác.

Để xác định một detection có thành công hay không, chúng ta sử dụng các threshold khác nhau. Một IoU threshold phổ biến là 0.5, nghĩa là bounding box được dự đoán phải chồng lấp với bounding box ground truth ít nhất 50% để được tính là true positive. Mọi mức chồng lấp dưới threshold này đều được xem là false positive.

Hình 3. Tìm hiểu về Intersection over Union. Hình ảnh do tác giả cung cấp.

Precision và recall#

Cho đến nay, chúng ta đã tìm hiểu một số metric đánh giá cơ bản để hiểu hiệu năng của các model phát hiện đối tượng. Dựa trên đó, hai metric quan trọng nhất là precision và recall. Chúng cung cấp một bức tranh rõ ràng về độ chính xác của các detection do model thực hiện. Hãy cùng xem chúng là gì.

Giá trị precision cho biết có bao nhiêu predictions của model thực sự chính xác. Nó trả lời câu hỏi: trong tất cả các đối tượng mà model tuyên bố đã phát hiện, có bao nhiêu đối tượng thực sự tồn tại?

Mặt khác, giá trị recall đo lường mức độ model tìm thấy tất cả các đối tượng thực tế xuất hiện trong hình ảnh. Nó trả lời câu hỏi: trong tất cả các đối tượng thực sự tồn tại, model đã phát hiện chính xác bao nhiêu đối tượng?

Kết hợp với nhau, precision và recall cung cấp bức tranh rõ hơn về hiệu năng của model. Ví dụ, nếu một model dự đoán 10 ô tô trong một hình ảnh và 9 trong số đó thực sự là ô tô, model có precision 90% (positive prediction).

Hai metric đánh giá này thường có sự đánh đổi: model có thể đạt precision cao bằng cách chỉ đưa ra những predictions mà model hoàn toàn tự tin, nhưng điều này có thể khiến model bỏ sót nhiều đối tượng, làm giảm recall. Ngược lại, model cũng có thể đạt recall rất cao bằng cách dự đoán một bounding box gần như ở mọi nơi, nhưng điều này sẽ làm giảm precision.

Hình 4. Precision và recall. Hình ảnh do tác giả cung cấp.

Độ chính xác trung bình#

Trong khi precision và recall giúp chúng ta hiểu cách model hoạt động trên từng prediction riêng lẻ, độ chính xác trung bình (AP) cung cấp góc nhìn tổng quát hơn. Metric này minh họa cách precision của model thay đổi khi model cố gắng phát hiện nhiều đối tượng hơn, đồng thời tóm tắt hiệu năng thành một con số duy nhất.

Để tính điểm độ chính xác trung bình, trước tiên chúng ta có thể tạo một metric dạng đồ thị kết hợp gọi là đường cong precision-recall (hoặc đường cong PR) cho từng loại đối tượng. Đường cong này cho thấy điều gì xảy ra khi model đưa ra nhiều predictions hơn.

Hãy xem xét tình huống model bắt đầu bằng việc chỉ phát hiện những đối tượng dễ nhất hoặc rõ ràng nhất. Ở giai đoạn này, precision cao vì hầu hết predictions đều chính xác, nhưng recall thấp vì nhiều đối tượng vẫn bị bỏ sót. Khi model cố gắng phát hiện nhiều đối tượng hơn, bao gồm cả những đối tượng khó hoặc hiếm hơn, model thường tạo ra nhiều lỗi hơn. Điều này khiến precision giảm trong khi recall tăng.

Độ chính xác trung bình là diện tích dưới đường cong (AUC của đường cong PR). Diện tích càng lớn nghĩa là model càng giỏi duy trì độ chính xác của predictions, ngay cả khi phát hiện nhiều đối tượng hơn. AP được tính riêng cho từng class label.

Ví dụ, với một model có thể phát hiện ô tô, xe đạp và người đi bộ, chúng ta có thể tính riêng giá trị AP cho từng trong ba category này. Điều này giúp chúng ta thấy model phát hiện tốt những đối tượng nào và những phần nào vẫn cần cải thiện.

Hình 5. Đường cong PR cho năm class khác nhau. (Nguồn)

Độ chính xác trung bình mean average precision#

Sau khi tính độ chính xác trung bình cho từng class đối tượng, chúng ta vẫn cần một điểm số duy nhất phản ánh hiệu năng tổng thể của model trên tất cả các class. Có thể đạt được điều này bằng công thức độ chính xác trung bình. Công thức này lấy trung bình các điểm AP của mọi category.

Ví dụ, giả sử một model thị giác máy tính như Ultralytics YOLO11 đạt AP lần lượt là 0.827 cho ô tô, 0.679 cho xe máy, 0.355 cho xe tải, 0.863 cho xe buýt và 0.982 cho xe đạp. Sử dụng công thức mAP, chúng ta có thể cộng các số này rồi chia cho tổng số class như sau:

mAP = (0.827 + 0.679 + 0.355 + 0.863 + 0.982) ÷ 5 = 0.7432 ≈ 0.743

Điểm mAP 0.743 cung cấp một cách đơn giản để đánh giá model hoạt động tốt đến đâu trên tất cả các class đối tượng. Giá trị gần 1 nghĩa là model chính xác đối với hầu hết category, trong khi giá trị thấp hơn cho thấy model gặp khó khăn với một số category.

Ý nghĩa của AP và mAP trong thị giác máy tính#

Giờ đây, khi đã hiểu rõ hơn cách tính AP và mAP cũng như các thành phần của chúng, dưới đây là tổng quan về ý nghĩa của các metric này trong thị giác máy tính:

• AP thấp đối với một class cụ thể: AP thấp đối với một class đơn lẻ thường có nghĩa là model gặp khó khăn với class đối tượng cụ thể đó. Nguyên nhân có thể là dữ liệu huấn luyện không đủ hoặc các thách thức về hình ảnh, chẳng hạn như hiện tượng che khuất.

• Lỗi định vị: Giá trị mAP cao hơn tại IoU threshold thấp (chẳng hạn mAP@0.50), kết hợp với mức giảm đáng kể tại IoU threshold cao hơn (chẳng hạn mAP@0.75), cho thấy model có thể phát hiện đối tượng nhưng gặp khó khăn trong việc định vị chúng một cách chính xác.

• Overfitting: Giá trị mAP cao hơn trên dataset huấn luyện nhưng thấp hơn trên validation dataset là dấu hiệu của overfitting, khiến model không đáng tin cậy khi xử lý các hình ảnh mới.

Các ứng dụng thực tế của độ chính xác trung bình#

Tiếp theo, hãy cùng khám phá cách các metric quan trọng như mAP có thể hỗ trợ khi xây dựng các use case thị giác máy tính trong thực tế.

Xe tự hành: Vì sao giá trị mAP cao hơn đồng nghĩa với đường phố an toàn hơn#

Đối với ô tô tự lái, phát hiện đối tượng đóng vai trò quan trọng trong việc xác định người đi bộ, biển báo giao thông, người đi xe đạp và vạch làn đường. Ví dụ, nếu một đứa trẻ bất ngờ chạy qua đường, ô tô chỉ có vài giây để phát hiện đối tượng (đứa trẻ), xác định vị trí, theo dõi chuyển động và thực hiện hành động cần thiết (đạp phanh).

Các model như Ultralytics YOLO11 được thiết kế để phát hiện đối tượng theo thời gian thực trong những tình huống có rủi ro cao như vậy. Trong các trường hợp này, mAP trở thành một thước đo an toàn quan trọng.

Điểm mAP cao đảm bảo hệ thống phát hiện đứa trẻ nhanh chóng, định vị chính xác và kích hoạt phanh với độ trễ tối thiểu. mAP thấp có thể dẫn đến detection bị bỏ sót hoặc phân loại sai nguy hiểm, chẳng hạn như nhầm đứa trẻ với một vật thể nhỏ khác.

Hình 6. Ví dụ về việc sử dụng YOLO11 để phát hiện người đi bộ trên đường. (Nguồn)

Sử dụng mAP để phát hiện sản phẩm chính xác#

Tương tự, trong lĩnh vực bán lẻ, các model phát hiện đối tượng có thể được sử dụng để tự động hóa những tác vụ như giám sát hàng tồn kho và quy trình thanh toán. Khi khách hàng quét một sản phẩm tại quầy tự thanh toán, lỗi detection có thể gây khó chịu.

Điểm mAP cao đảm bảo model phân biệt chính xác giữa các sản phẩm tương tự và vẽ bounding box chính xác, ngay cả khi các mặt hàng được xếp sát nhau. Điểm mAP thấp có thể dẫn đến nhầm lẫn. Ví dụ, nếu model nhầm chai nước cam với chai nước táo có hình thức tương tự, điều này có thể dẫn đến tính tiền sai và báo cáo tồn kho không chính xác.

Các hệ thống bán lẻ tích hợp những model như Ultralytics YOLO11 có thể phát hiện sản phẩm theo thời gian thực, đối chiếu chúng với hàng tồn kho và cập nhật hệ thống backend ngay lập tức. Trong môi trường bán lẻ có nhịp độ nhanh, mAP đóng vai trò quan trọng trong việc duy trì hoạt động chính xác và đáng tin cậy.

Nâng cao độ chính xác chẩn đoán trong chăm sóc sức khỏe với mAP cao#

Cải thiện độ chính xác chẩn đoán trong chăm sóc sức khỏe bắt đầu từ việc phát hiện chính xác trong hình ảnh y tế. Các model như YOLO11 có thể hỗ trợ bác sĩ X-quang phát hiện khối u, chỗ gãy xương hoặc các bất thường khác từ những ảnh chụp y tế này. Trong trường hợp này, độ chính xác trung bình là một metric thiết yếu để đánh giá độ tin cậy lâm sàng của model.

mAP cao cho thấy model đạt cả recall cao (xác định phần lớn các vấn đề thực tế) và precision cao (tránh cảnh báo giả), điều này rất quan trọng trong quá trình ra quyết định lâm sàng. Ngoài ra, IoU threshold trong lĩnh vực chăm sóc sức khỏe thường được đặt rất cao (0.85 hoặc 0.90) để đảm bảo detection cực kỳ chính xác.

Tuy nhiên, điểm mAP thấp có thể gây lo ngại. Giả sử model bỏ sót một khối u; điều này có thể làm chậm quá trình chẩn đoán hoặc dẫn đến điều trị không chính xác.

Ưu và nhược điểm của việc sử dụng mAP#

Dưới đây là những ưu điểm chính của việc sử dụng độ chính xác trung bình để đánh giá các model phát hiện đối tượng:

• Metric được tiêu chuẩn hóa: mAP là tiêu chuẩn ngành để đánh giá các model phát hiện đối tượng. Giá trị mAP cho phép so sánh công bằng và nhất quán giữa các model khác nhau.

• Phản ánh hiệu năng thực tế: mAP cao cho thấy model xuất sắc trong việc phát hiện nhiều class đối tượng khác nhau và duy trì hiệu năng tốt trong các tình huống phức tạp ngoài thực tế.

• Chẩn đoán theo class: Điểm mAP đánh giá hiệu năng detection riêng cho từng class. Điều này giúp dễ dàng xác định các category hoạt động kém (như xe đạp hoặc biển báo đường phố) và tinh chỉnh model tương ứng.

Mặc dù metric mAP mang lại nhiều lợi ích, vẫn có một số hạn chế cần cân nhắc. Dưới đây là một vài yếu tố cần lưu ý:

• Khó hiểu đối với các bên liên quan không chuyên về công nghệ: Các team kinh doanh hoặc lâm sàng có thể thấy giá trị mAP trừu tượng, không trực quan và dễ hiểu như những metric khác.

• Không phản ánh các ràng buộc thời gian thực: mAP không tính đến tốc độ inference hoặc độ trễ, vốn rất quan trọng khi triển khai trong các ứng dụng nhạy cảm về thời gian.

Những điểm chính#

Chúng ta đã thấy rằng độ chính xác trung bình không chỉ là một điểm số kỹ thuật mà còn phản ánh tiềm năng hoạt động thực tế của model. Dù trong hệ thống xe tự hành hay tại quầy thanh toán bán lẻ, điểm mAP cao là chỉ báo đáng tin cậy về hiệu năng và mức độ sẵn sàng ứng dụng thực tế của model.

Mặc dù mAP là một metric thiết yếu và có ảnh hưởng lớn, metric này nên được xem là một phần trong chiến lược đánh giá toàn diện. Đối với các ứng dụng quan trọng như chăm sóc sức khỏe và lái xe tự hành, chỉ dựa vào mAP là chưa đủ.

Các yếu tố bổ sung như tốc độ inference (model đưa ra predictions nhanh đến đâu), kích thước model (ảnh hưởng đến việc triển khai trên các thiết bị edge) và phân tích lỗi định tính (tìm hiểu các loại lỗi model mắc phải) cũng phải được xem xét để đảm bảo hệ thống an toàn, hiệu quả và thực sự phù hợp với mục đích sử dụng.

Tham gia community đang phát triển của chúng tôi và repository GitHub để tìm hiểu thêm về thị giác máy tính. Khám phá các trang giải pháp của chúng tôi để tìm hiểu về những ứng dụng của thị giác máy tính trong nông nghiệp và AI trong logistics. Xem các tùy chọn cấp phép để bắt đầu xây dựng model thị giác máy tính của riêng bạn ngay hôm nay!