Mean average precision (mAP) trong object detection

Việc áp dụng AI đang phát triển nhanh chóng và AI đang được tích hợp vào nhiều đổi mới khác nhau, từ xe tự lái đến các hệ thống bán lẻ có khả năng nhận diện sản phẩm trên kệ. Những công nghệ này dựa trên thị giác máy tính, một nhánh của trí tuệ nhân tạo (AI) cho phép máy móc phân tích dữ liệu hình ảnh.

Một chỉ số đánh giá quan trọng được sử dụng để đo lường độ chính xác của các hệ thống và thuật toán thị giác máy tính là độ chính xác trung bình (mAP). Chỉ số mAP cho biết dự đoán của một model AI thị giác khớp với kết quả thực tế đến mức nào.

Một tác vụ thị giác máy tính phổ biến là nhận diện đối tượng, trong đó một model xác định nhiều đối tượng trong hình ảnh và vẽ các khung bao (bounding box) xung quanh chúng. mAP là chỉ số tiêu chuẩn được sử dụng để đánh giá hiệu suất của các model nhận diện đối tượng và được sử dụng rộng rãi để làm chuẩn so sánh cho các model học sâu như Ultralytics YOLO11.

Trong bài viết này, chúng ta sẽ tìm hiểu cách tính độ chính xác trung bình và lý do tại sao nó lại cần thiết cho bất kỳ ai đang huấn luyện hoặc đánh giá các model nhận diện đối tượng. Hãy cùng bắt đầu!

Link to this sectionĐộ chính xác trung bình (mAP) là gì?#

Độ chính xác trung bình là một điểm số thể hiện mức độ chính xác của một model học sâu đối với các tác vụ liên quan đến truy xuất thông tin hình ảnh, như phát hiện và xác định các đối tượng khác nhau trong một hình ảnh. Ví dụ, hãy xem xét một model nhận diện đối tượng đang phân tích một bức ảnh chứa một con chó, một con mèo và một chiếc ô tô. Một model đáng tin cậy có thể thực hiện nhận diện đối tượng bằng cách nhận diện từng đối tượng và vẽ các bounding box cùng nhãn xung quanh chúng, làm nổi bật vị trí và đối tượng đó là gì.

mAP cho biết model thực hiện tác vụ này tốt như thế nào trên nhiều hình ảnh và các loại đối tượng khác nhau. Nó kiểm tra xem model có xác định chính xác từng đối tượng và vị trí của chúng trong hình ảnh hay không. Điểm số dao động từ 0 đến 1, trong đó 1 nghĩa là model tìm thấy mọi thứ hoàn hảo, và 0 nghĩa là nó không phát hiện được đối tượng nào.

Link to this sectionCác khái niệm chính trong độ chính xác trung bình (mAP)#

Trước khi khám phá các khái niệm đằng sau độ chính xác trung bình trong học máy, hãy hiểu rõ hơn về hai thuật ngữ cơ bản: ground truth và dự đoán.

Ground truth đề cập đến dữ liệu tham chiếu chính xác, nơi các đối tượng và vị trí của chúng trong hình ảnh được con người dán nhãn cẩn thận thông qua một quy trình gọi là gán nhãn (annotation). Trong khi đó, dự đoán là kết quả mà các model AI đưa ra sau khi phân tích một hình ảnh. Bằng cách so sánh các dự đoán của model AI với ground truth, chúng ta có thể đo lường mức độ gần gũi của kết quả mà model đạt được so với kết quả chính xác.

Hình 1. Các bounding box dự đoán của model và ground truth. Hình ảnh của tác giả.

Link to this sectionMa trận nhầm lẫn (Confusion matrix)#

Một ma trận nhầm lẫn thường được sử dụng để hiểu model nhận diện đối tượng chính xác đến mức nào. Đây là một bảng cho thấy dự đoán của model khớp với các câu trả lời đúng thực tế (ground truth) ra sao. Từ bảng này, chúng ta có thể phân tích bốn thành phần hoặc kết quả chính: true positive, false positive, false negative và true negative.

Dưới đây là ý nghĩa của các thành phần này trong ma trận nhầm lẫn:

• True positive (TP): Một đối tượng và vị trí của nó được model phát hiện chính xác.
• False positive (FP): Model đã đưa ra một phát hiện, nhưng nó không chính xác.
• False negative (FN): Một đối tượng thực sự có mặt trong hình ảnh, nhưng model không phát hiện ra nó.
• True negative (TN): True negative xảy ra khi model xác định chính xác sự vắng mặt của một đối tượng.

True negative thường không được sử dụng trong nhận diện đối tượng, vì chúng ta thường bỏ qua nhiều vùng trống trong hình ảnh. Tuy nhiên, nó rất cần thiết trong các tác vụ thị giác máy tính khác, chẳng hạn như phân loại hình ảnh, nơi model gán một nhãn cho hình ảnh. Ví dụ, nếu tác vụ là phát hiện xem một hình ảnh có chứa mèo hay không, và model xác định chính xác là "không có mèo" khi hình ảnh đó không chứa con mèo nào, thì đó là một true negative.

Hình 2. Các kết quả phân loại trong ma trận nhầm lẫn. Hình ảnh của tác giả.

Link to this sectionIntersection over Union (IoU)#

Một chỉ số quan trọng khác trong việc đánh giá các model nhận diện đối tượng là Intersection over Union (IoU). Đối với các model AI thị giác như vậy, việc chỉ phát hiện sự hiện diện của một đối tượng trong hình ảnh là chưa đủ; nó còn cần xác định vị trí của đối tượng đó trong hình ảnh để vẽ các bounding box.

Chỉ số IoU đo lường mức độ khớp của khung hình dự đoán của model với khung hình đúng thực tế (ground truth). Điểm số nằm trong khoảng từ 0 đến 1, trong đó 1 nghĩa là khớp hoàn hảo và 0 nghĩa là không có sự chồng lấp nào.

Ví dụ, IoU cao hơn (như 0,80 hoặc 0,85) nghĩa là khung hình dự đoán khớp gần đúng với khung hình ground-truth, cho thấy việc định vị chính xác. IoU thấp hơn (như 0,30 hoặc 0,25) nghĩa là model không định vị chính xác đối tượng.

Để xác định xem một phát hiện có thành công hay không, chúng ta sử dụng các ngưỡng (threshold) khác nhau. Ngưỡng IoU phổ biến là 0,5, nghĩa là một khung hình dự đoán phải chồng lấp với khung hình ground-truth ít nhất 50% để được tính là một true positive. Bất kỳ sự chồng lấp nào dưới ngưỡng này đều được coi là một false positive.

Hình 3. Tìm hiểu về Intersection over Union. Hình ảnh của tác giả.

Link to this sectionPrecision và recall#

Cho đến nay, chúng ta đã khám phá một số chỉ số đánh giá cơ bản để hiểu về hiệu suất của các model nhận diện đối tượng. Dựa trên cơ sở này, hai trong số các chỉ số quan trọng nhất là precision và recall. Chúng cung cấp cho chúng ta cái nhìn rõ ràng về độ chính xác của các phát hiện từ model. Hãy cùng xem chúng là gì.

Các giá trị precision cho biết bao nhiêu trong số các dự đoán của model thực sự chính xác. Nó trả lời cho câu hỏi: trong tất cả các đối tượng mà model tuyên bố đã phát hiện, bao nhiêu là thực sự có mặt ở đó?

Mặt khác, các giá trị recall đo lường mức độ hiệu quả của model trong việc tìm thấy tất cả các đối tượng thực tế hiện diện trong hình ảnh. Nó trả lời cho câu hỏi: trong tất cả các đối tượng thực tế hiện diện, bao nhiêu đối tượng đã được model phát hiện chính xác?

Cùng với nhau, precision và recall mang lại cho chúng ta cái nhìn rõ ràng hơn về hiệu suất của một model. Ví dụ, nếu một model dự đoán có 10 chiếc xe trong một hình ảnh và 9 trong số đó thực sự là xe, thì nó có precision là 90% (một dự đoán dương tính).

Hai chỉ số đánh giá này thường đi kèm với sự đánh đổi: một model có thể đạt được giá trị precision cao bằng cách chỉ thực hiện các dự đoán mà nó hoàn toàn tự tin, nhưng điều này có thể khiến nó bỏ lỡ nhiều đối tượng, làm giảm mức recall. Trong khi đó, nó cũng có thể đạt được recall rất cao bằng cách dự đoán một bounding box ở gần như mọi nơi, nhưng điều này sẽ làm giảm precision.

Hình 4. Precision và recall. Hình ảnh của tác giả.

Link to this sectionAverage precision (AP)#

Trong khi precision và recall giúp chúng ta hiểu cách một model thực hiện các dự đoán riêng lẻ, thì average precision (AP) có thể cung cấp một cái nhìn rộng hơn. Nó minh họa cách precision của model thay đổi khi nó cố gắng phát hiện nhiều đối tượng hơn và tóm tắt hiệu suất của nó thành một con số duy nhất.

Để tính điểm số average precision, trước tiên chúng ta có thể tạo ra một chỉ số kết hợp dạng đồ thị gọi là đường cong precision-recall (hay PR curve) cho từng loại đối tượng. Đường cong này cho thấy điều gì xảy ra khi model thực hiện nhiều dự đoán hơn.

Hãy xem xét một kịch bản nơi model bắt đầu bằng cách chỉ phát hiện những đối tượng dễ nhất hoặc rõ ràng nhất. Ở giai đoạn này, precision cao vì hầu hết các dự đoán đều chính xác, nhưng recall thấp vì nhiều đối tượng vẫn bị bỏ sót. Khi model cố gắng phát hiện nhiều đối tượng hơn, bao gồm cả những đối tượng khó hoặc hiếm hơn, nó thường gây ra nhiều lỗi hơn. Điều này khiến precision giảm trong khi recall tăng lên.

Average precision là diện tích dưới đường cong (AUC của PR curve). Diện tích càng lớn nghĩa là model càng tốt trong việc duy trì độ chính xác cho các dự đoán, ngay cả khi nó phát hiện nhiều đối tượng hơn. AP được tính riêng cho từng nhãn lớp (class label).

Ví dụ, trong một model có thể phát hiện ô tô, xe đạp và người đi bộ, chúng ta có thể tính các giá trị AP riêng lẻ cho từng hạng mục trong số ba hạng mục đó. Điều này giúp chúng ta thấy được những đối tượng nào mà model thực hiện tốt và nơi nào nó có thể cần cải thiện thêm.

Hình 5. Đường cong PR cho năm lớp khác nhau. (Nguồn)

Link to this sectionMean average precision#

Sau khi tính average precision cho từng lớp đối tượng, chúng ta vẫn cần một điểm số duy nhất phản ánh hiệu suất tổng thể của model trên tất cả các lớp. Điều này có thể đạt được bằng cách sử dụng công thức mean average precision. Nó tính trung bình các điểm số AP cho mọi hạng mục.

Ví dụ, giả sử một model thị giác máy tính như YOLO11 đạt AP là 0,827 cho ô tô, 0,679 cho xe máy, 0,355 cho xe tải, 0,863 cho xe buýt và 0,982 cho xe đạp. Sử dụng công thức mAP, chúng ta có thể cộng các con số này và chia cho tổng số lớp như sau:

mAP = (0,827 + 0,679 + 0,355 + 0,863 + 0,982) ÷ 5 = 0,7432 ≈ 0,743

Điểm mAP 0,743 cung cấp một giải pháp đơn giản để đánh giá hiệu suất của model trên tất cả các lớp đối tượng. Giá trị gần bằng 1 nghĩa là model chính xác cho hầu hết các hạng mục, trong khi giá trị thấp hơn cho thấy nó gặp khó khăn với một số hạng mục.

Link to this sectionÝ nghĩa của AP và mAP trong thị giác máy tính#

Giờ đây, khi chúng ta đã hiểu rõ hơn về cách tính AP và mAP cũng như các thành phần của chúng, dưới đây là tổng quan về ý nghĩa của chúng trong thị giác máy tính:

• AP thấp cho một lớp cụ thể: AP thấp cho một lớp đối tượng đơn lẻ thường có nghĩa là model gặp khó khăn với lớp đối tượng cụ thể đó. Điều này có thể do dữ liệu huấn luyện không đầy đủ hoặc các thách thức về hình ảnh, như hiện tượng che khuất.

• Lỗi định vị: Giá trị mAP cao hơn ở ngưỡng IoU thấp hơn (như mAP@0.50) kết hợp với sự sụt giảm đáng kể ở ngưỡng IoU cao hơn (như mAP@0.75) cho thấy model có thể phát hiện các đối tượng nhưng gặp khó khăn trong việc định vị chúng một cách chính xác.

• Overfitting: Giá trị mAP cao hơn trên tập dữ liệu huấn luyện nhưng giá trị mAP thấp hơn trên tập dữ liệu kiểm thử (validation) là dấu hiệu của overfitting, khiến model không đáng tin cậy đối với các hình ảnh mới.

Link to this sectionCác ứng dụng thực tế của mean average precision#

Tiếp theo, hãy cùng khám phá cách các chỉ số quan trọng như mAP có thể hỗ trợ khi xây dựng các trường hợp sử dụng thị giác máy tính trong thực tế.

Link to this sectionXe tự lái: Tại sao giá trị mAP cao hơn lại đồng nghĩa với đường phố an toàn hơn#

Khi nói đến xe tự lái, nhận diện đối tượng là yếu tố quan trọng để xác định người đi bộ, biển báo giao thông, người đi xe đạp và vạch kẻ đường. Ví dụ, nếu một đứa trẻ bất ngờ chạy băng qua đường, chiếc xe có vài giây để phát hiện đối tượng (đứa trẻ), xác định vị trí, theo dõi chuyển động và thực hiện hành động cần thiết (phanh xe).

Các model như YOLO11 được thiết kế để nhận diện đối tượng theo thời gian thực trong các tình huống rủi ro cao như vậy. Trong những trường hợp này, mAP trở thành một thước đo an toàn quan trọng.

Điểm mAP cao đảm bảo hệ thống phát hiện đứa trẻ nhanh chóng, định vị chính xác và kích hoạt phanh với độ trễ tối thiểu. mAP thấp có thể dẫn đến bỏ lỡ các phát hiện hoặc phân loại sai nguy hiểm, chẳng hạn như nhầm lẫn đứa trẻ với một đối tượng nhỏ khác.

Hình 6. Một ví dụ về việc sử dụng YOLO11 để phát hiện người đi bộ trên đường. (Nguồn)

Link to this sectionSử dụng mAP để nhận diện sản phẩm chính xác#

Tương tự, trong bán lẻ, các model nhận diện đối tượng có thể được sử dụng để tự động hóa các tác vụ như giám sát kho hàng và quy trình thanh toán. Khi khách hàng quét sản phẩm tại quầy tự thanh toán, một lỗi trong nhận diện có thể gây ra sự thất vọng.

Điểm mAP cao đảm bảo model phân biệt chính xác giữa các sản phẩm tương tự và vẽ các bounding box chính xác, ngay cả khi các mặt hàng được đặt sát nhau. Điểm mAP thấp có thể dẫn đến nhầm lẫn. Ví dụ, nếu model nhầm lẫn chai nước cam với chai nước táo có hình thức tương tự, nó có thể dẫn đến việc tính tiền sai và báo cáo hàng tồn kho không chính xác.

Các hệ thống bán lẻ được tích hợp các model như YOLO11 có thể phát hiện sản phẩm theo thời gian thực, đối chiếu với hàng tồn kho và cập nhật ngay lập tức các hệ thống backend. Trong môi trường bán lẻ nhịp độ nhanh, mAP đóng vai trò quan trọng trong việc giữ cho các hoạt động chính xác và đáng tin cậy.

Link to this sectionNâng cao độ chính xác chẩn đoán với mAP cao trong chăm sóc sức khỏe#

Cải thiện độ chính xác chẩn đoán trong chăm sóc sức khỏe bắt đầu bằng việc phát hiện chính xác trong chẩn đoán hình ảnh y tế. Các model như YOLO11 có thể giúp bác sĩ chẩn đoán hình ảnh phát hiện khối u, vết nứt hoặc các bất thường khác từ những hình ảnh y tế đó. Tại đây, mean average precision là một chỉ số cần thiết để đánh giá độ tin cậy lâm sàng của một model.

mAP cao cho thấy model đạt được cả recall cao (xác định hầu hết các vấn đề thực tế) và precision cao (tránh các báo động giả), điều này rất quan trọng trong việc ra quyết định lâm sàng. Ngoài ra, ngưỡng IoU trong chăm sóc sức khỏe thường được đặt rất cao (0,85 hoặc 0,90) để đảm bảo phát hiện cực kỳ chính xác.

Tuy nhiên, điểm mAP thấp có thể làm dấy lên những lo ngại. Giả sử một model bỏ lỡ một khối u; điều đó có thể làm chậm quá trình chẩn đoán hoặc dẫn đến điều trị sai cách.

Link to this sectionƯu điểm và nhược điểm của việc sử dụng mAP#

Dưới đây là những ưu điểm chính của việc sử dụng mean average precision để đánh giá các model nhận diện đối tượng:

• Chỉ số chuẩn hóa: mAP là tiêu chuẩn công nghiệp để đánh giá các model nhận diện đối tượng. Giá trị mAP cho phép so sánh công bằng và nhất quán giữa các model khác nhau.

• Phản ánh hiệu suất thực tế: mAP cao cho thấy model vượt trội trong việc phát hiện nhiều lớp đối tượng khác nhau và duy trì hiệu suất mạnh mẽ trong các kịch bản thực tế phức tạp.

• Chẩn đoán theo từng lớp: Điểm mAP đánh giá hiệu suất phát hiện cho từng lớp một cách riêng biệt. Điều này giúp dễ dàng xác định các hạng mục hoạt động kém hiệu quả (như xe đạp hoặc biển báo đường phố) và tinh chỉnh model cho phù hợp.

Mặc dù có nhiều lợi ích khi sử dụng chỉ số mAP, nhưng vẫn có một số hạn chế cần xem xét. Dưới đây là một vài yếu tố cần lưu ý:

• Khó hiểu đối với các bên liên quan không chuyên kỹ thuật: Các nhóm kinh doanh hoặc nhóm lâm sàng có thể thấy các giá trị mAP là trừu tượng, không giống như các chỉ số trực quan và dễ hiểu hơn.

• Không phản ánh các hạn chế thời gian thực: mAP không tính đến tốc độ suy luận (inference speed) hoặc độ trễ, vốn là những yếu tố quan trọng đối với việc triển khai trong các ứng dụng nhạy cảm về thời gian.

Link to this sectionCác điểm chính cần lưu ý#

Chúng ta đã thấy rằng mean average precision không chỉ là một điểm số kỹ thuật mà còn là sự phản ánh tiềm năng hiệu suất thực tế của một model. Dù trong hệ thống xe tự lái hay quầy thanh toán bán lẻ, điểm mAP cao đóng vai trò là chỉ báo đáng tin cậy về hiệu suất và khả năng sẵn sàng thực tế của model.

Trong khi mAP là một chỉ số thiết yếu và có tác động mạnh mẽ, nó nên được coi là một phần của chiến lược đánh giá toàn diện. Đối với các ứng dụng quan trọng như chăm sóc sức khỏe và lái xe tự động, chỉ dựa vào mAP là chưa đủ.

Các yếu tố bổ sung như tốc độ suy luận (tốc độ model đưa ra dự đoán), kích thước model (ảnh hưởng đến việc triển khai trên các thiết bị biên) và phân tích lỗi định tính (hiểu các loại lỗi mà model mắc phải) cũng phải được cân nhắc để đảm bảo hệ thống an toàn, hiệu quả và thực sự phù hợp với mục đích sử dụng dự kiến.

Hãy tham gia cộng đồng đang ngày càng lớn mạnh của chúng tôi và kho lưu trữ GitHub để tìm hiểu thêm về thị giác máy tính. Khám phá các trang giải pháp của chúng tôi để tìm hiểu về các ứng dụng của thị giác máy tính trong nông nghiệp và AI trong logistics. Xem các tùy chọn cấp phép của chúng tôi để bắt đầu với model thị giác máy tính của riêng bạn ngay hôm nay!