Mean average precision (mAP) trong object detection

Việc ứng dụng AI đang phát triển nhanh chóng và AI đang được tích hợp vào nhiều đổi mới khác nhau, từ xe tự hành đến các hệ thống bán lẻ có thể nhận dạng sản phẩm trên kệ. Các công nghệ này dựa vào computer vision, một nhánh của trí tuệ nhân tạo (AI) giúp máy móc phân tích dữ liệu trực quan.

Một chỉ số đánh giá quan trọng được sử dụng để đo lường độ chính xác của các hệ thống và thuật toán thị giác máy tính là độ chính xác trung bình (mAP). Chỉ số mAP cho biết dự đoán của một model AI thị giác khớp với kết quả thực tế đến mức nào.

Một tác vụ computer vision phổ biến là object detection, trong đó một model xác định nhiều đối tượng trong một hình ảnh và vẽ các bounding box xung quanh chúng. mAP là metric tiêu chuẩn được sử dụng để đánh giá hiệu suất của các model object detection và được sử dụng rộng rãi để đánh giá điểm chuẩn cho các deep learning model như Ultralytics YOLO11.

Trong bài viết này, chúng ta sẽ tìm hiểu cách tính độ chính xác trung bình và lý do tại sao nó lại cần thiết cho bất kỳ ai đang huấn luyện hoặc đánh giá các model nhận diện đối tượng. Hãy cùng bắt đầu!

Độ chính xác trung bình (mAP) là gì?#

Mean average precision là một điểm số thể hiện mức độ chính xác của một deep learning model khi thực hiện các tác vụ liên quan đến truy xuất thông tin trực quan, chẳng hạn như phát hiện và nhận dạng các đối tượng khác nhau trong một hình ảnh. Ví dụ, hãy xem xét một model object detection đang phân tích một bức ảnh chứa chó, mèo và ô tô. Một model đáng tin cậy có thể thực hiện object detection bằng cách nhận diện từng đối tượng và vẽ các bounding box cũng như nhãn xung quanh đối tượng đó, làm nổi bật vị trí và bản chất của nó.

mAP cho biết model thực hiện tác vụ này tốt như thế nào trên nhiều hình ảnh và các loại đối tượng khác nhau. Nó kiểm tra xem model có xác định chính xác từng đối tượng và vị trí của chúng trong hình ảnh hay không. Điểm số dao động từ 0 đến 1, trong đó 1 nghĩa là model tìm thấy mọi thứ hoàn hảo, và 0 nghĩa là nó không phát hiện được đối tượng nào.

Các khái niệm chính trong độ chính xác trung bình (mAP)#

Trước khi khám phá các khái niệm đằng sau độ chính xác trung bình trong học máy, hãy hiểu rõ hơn về hai thuật ngữ cơ bản: ground truth và dự đoán.

Ground truth đề cập đến dữ liệu tham chiếu chính xác, nơi các đối tượng và vị trí của chúng trong hình ảnh được con người dán nhãn cẩn thận thông qua một quy trình gọi là gán nhãn (annotation). Trong khi đó, dự đoán là kết quả mà các model AI đưa ra sau khi phân tích một hình ảnh. Bằng cách so sánh các dự đoán của model AI với ground truth, chúng ta có thể đo lường mức độ gần gũi của kết quả mà model đạt được so với kết quả chính xác.

Hình 1. Các bounding box dự đoán của model và ground truth. Hình ảnh của tác giả.

Ma trận nhầm lẫn (Confusion matrix)#

Một confusion matrix thường được sử dụng để hiểu mức độ chính xác của một model object detection. Đó là một bảng hiển thị cách các dự đoán của model khớp với các câu trả lời đúng thực tế (ground truth). Từ bảng này, chúng ta có thể nhận được phân tích chi tiết về bốn thành phần hoặc kết quả chính: true positive, false positive, false negative và true negative.

Dưới đây là ý nghĩa của các thành phần này trong ma trận nhầm lẫn:

• True positive (TP): Một đối tượng và vị trí của nó được model phát hiện chính xác.
• False positive (FP): Model đã đưa ra một phát hiện, nhưng nó không chính xác.
• False negative (FN): Một đối tượng thực sự có mặt trong hình ảnh, nhưng model không phát hiện ra nó.
• True negative (TN): True negative xảy ra khi model xác định chính xác sự vắng mặt của một đối tượng.

True negative không thường được sử dụng trong object detection, vì chúng ta thường bỏ qua nhiều vùng trống trong hình ảnh. Tuy nhiên, chúng rất cần thiết trong các tác vụ computer vision khác, chẳng hạn như image classification, nơi model gán nhãn cho hình ảnh. Ví dụ: nếu tác vụ là phát hiện xem một hình ảnh có chứa mèo hay không và model xác định chính xác là "không có mèo" khi hình ảnh đó không chứa mèo, thì đó là một true negative.

Hình 2. Các kết quả phân loại trong ma trận nhầm lẫn. Hình ảnh của tác giả.

Intersection over Union (IoU)#

Một metric quan trọng khác trong việc đánh giá các model object detection là Intersection over Union (IoU). Đối với các vision AI model như vậy, việc chỉ phát hiện sự hiện diện của một đối tượng trong hình ảnh là chưa đủ; nó cũng cần xác định vị trí của đối tượng đó trong hình ảnh để vẽ các bounding box.

Chỉ số IoU đo lường mức độ khớp của khung hình dự đoán của model với khung hình đúng thực tế (ground truth). Điểm số nằm trong khoảng từ 0 đến 1, trong đó 1 nghĩa là khớp hoàn hảo và 0 nghĩa là không có sự chồng lấp nào.

Ví dụ, IoU cao hơn (như 0,80 hoặc 0,85) nghĩa là khung hình dự đoán khớp gần đúng với khung hình ground-truth, cho thấy việc định vị chính xác. IoU thấp hơn (như 0,30 hoặc 0,25) nghĩa là model không định vị chính xác đối tượng.

Để xác định xem một phát hiện có thành công hay không, chúng ta sử dụng các ngưỡng (threshold) khác nhau. Ngưỡng IoU phổ biến là 0,5, nghĩa là một khung hình dự đoán phải chồng lấp với khung hình ground-truth ít nhất 50% để được tính là một true positive. Bất kỳ sự chồng lấp nào dưới ngưỡng này đều được coi là một false positive.

Hình 3. Tìm hiểu về Intersection over Union. Hình ảnh của tác giả.

Precision và recall#

Cho đến nay, chúng ta đã khám phá một số metric đánh giá cơ bản để hiểu hiệu suất của các model object detection. Dựa trên điều đó, hai trong số các metric quan trọng nhất là precision và recall. Chúng cung cấp cho chúng ta bức tranh rõ ràng về độ chính xác của các phát hiện từ model. Hãy cùng xem chúng là gì.

Các giá trị precision cho biết bao nhiêu trong số các dự đoán của model thực sự chính xác. Nó trả lời cho câu hỏi: trong tất cả các đối tượng mà model tuyên bố đã phát hiện, bao nhiêu là thực sự có mặt ở đó?

Mặt khác, các giá trị recall đo lường mức độ hiệu quả của model trong việc tìm thấy tất cả các đối tượng thực tế hiện diện trong hình ảnh. Nó trả lời cho câu hỏi: trong tất cả các đối tượng thực tế hiện diện, bao nhiêu đối tượng đã được model phát hiện chính xác?

Cùng với nhau, precision và recall mang lại cho chúng ta cái nhìn rõ ràng hơn về hiệu suất của một model. Ví dụ, nếu một model dự đoán có 10 chiếc xe trong một hình ảnh và 9 trong số đó thực sự là xe, thì nó có precision là 90% (một dự đoán dương tính).

Hai chỉ số đánh giá này thường đi kèm với sự đánh đổi: một model có thể đạt được giá trị precision cao bằng cách chỉ thực hiện các dự đoán mà nó hoàn toàn tự tin, nhưng điều này có thể khiến nó bỏ lỡ nhiều đối tượng, làm giảm mức recall. Trong khi đó, nó cũng có thể đạt được recall rất cao bằng cách dự đoán một bounding box ở gần như mọi nơi, nhưng điều này sẽ làm giảm precision.

Hình 4. Precision và recall. Hình ảnh của tác giả.

Average precision (AP)#

Trong khi precision và recall giúp chúng ta hiểu cách một model thực hiện các dự đoán riêng lẻ, thì average precision (AP) có thể cung cấp một cái nhìn rộng hơn. Nó minh họa cách precision của model thay đổi khi nó cố gắng phát hiện nhiều đối tượng hơn và tóm tắt hiệu suất của nó thành một con số duy nhất.

Để tính điểm số average precision, trước tiên chúng ta có thể tạo ra một chỉ số kết hợp dạng đồ thị gọi là đường cong precision-recall (hay PR curve) cho từng loại đối tượng. Đường cong này cho thấy điều gì xảy ra khi model thực hiện nhiều dự đoán hơn.

Hãy xem xét một kịch bản nơi model bắt đầu bằng cách chỉ phát hiện những đối tượng dễ nhất hoặc rõ ràng nhất. Ở giai đoạn này, precision cao vì hầu hết các dự đoán đều chính xác, nhưng recall thấp vì nhiều đối tượng vẫn bị bỏ sót. Khi model cố gắng phát hiện nhiều đối tượng hơn, bao gồm cả những đối tượng khó hoặc hiếm hơn, nó thường gây ra nhiều lỗi hơn. Điều này khiến precision giảm trong khi recall tăng lên.

Average precision là diện tích dưới đường cong (AUC của PR curve). Diện tích càng lớn nghĩa là model càng tốt trong việc duy trì độ chính xác cho các dự đoán, ngay cả khi nó phát hiện nhiều đối tượng hơn. AP được tính riêng cho từng nhãn lớp (class label).

Ví dụ, trong một model có thể phát hiện ô tô, xe đạp và người đi bộ, chúng ta có thể tính các giá trị AP riêng lẻ cho từng hạng mục trong số ba hạng mục đó. Điều này giúp chúng ta thấy được những đối tượng nào mà model thực hiện tốt và nơi nào nó có thể cần cải thiện thêm.

Hình 5. Đường cong PR cho năm class khác nhau. (Nguồn)

Mean average precision#

Sau khi tính toán average precision cho từng object class, chúng ta vẫn cần một điểm số duy nhất phản ánh hiệu suất tổng thể của model trên tất cả các class. Điều này có thể đạt được bằng cách sử dụng công thức mean average precision. Công thức này tính trung bình các điểm số AP cho mọi danh mục.

Chẳng hạn, giả sử một model computer vision như Ultralytics YOLO11 đạt chỉ số AP là 0,827 cho ô tô, 0,679 cho xe máy, 0,355 cho xe tải, 0,863 cho xe buýt và 0,982 cho xe đạp. Sử dụng công thức mAP, chúng ta có thể cộng các số này lại và chia cho tổng số class như sau:

mAP = (0,827 + 0,679 + 0,355 + 0,863 + 0,982) ÷ 5 = 0,7432 ≈ 0,743

Điểm mAP 0,743 cung cấp một giải pháp đơn giản để đánh giá hiệu suất của model trên tất cả các lớp đối tượng. Giá trị gần bằng 1 nghĩa là model chính xác cho hầu hết các hạng mục, trong khi giá trị thấp hơn cho thấy nó gặp khó khăn với một số hạng mục.

Ý nghĩa của AP và mAP trong thị giác máy tính#

Giờ đây, khi chúng ta đã hiểu rõ hơn về cách tính AP và mAP cũng như các thành phần của chúng, dưới đây là tổng quan về ý nghĩa của chúng trong thị giác máy tính:

• AP thấp cho một lớp cụ thể: AP thấp cho một lớp đối tượng đơn lẻ thường có nghĩa là model gặp khó khăn với lớp đối tượng cụ thể đó. Điều này có thể do dữ liệu huấn luyện không đầy đủ hoặc các thách thức về hình ảnh, như hiện tượng che khuất.

• Lỗi định vị: Giá trị mAP cao hơn ở ngưỡng IoU thấp hơn (như mAP@0.50) kết hợp với sự sụt giảm đáng kể ở ngưỡng IoU cao hơn (như mAP@0.75) cho thấy model có thể phát hiện các đối tượng nhưng gặp khó khăn trong việc định vị chúng một cách chính xác.

• Overfitting: Giá trị mAP cao hơn trên dataset huấn luyện nhưng giá trị mAP thấp hơn trên validation dataset là dấu hiệu của hiện tượng overfitting, khiến cho model kém tin cậy đối với các hình ảnh mới.

Các ứng dụng thực tế của mean average precision#

Tiếp theo, hãy cùng khám phá cách các chỉ số quan trọng như mAP có thể hỗ trợ khi xây dựng các trường hợp sử dụng thị giác máy tính trong thực tế.

Xe tự lái: Tại sao giá trị mAP cao hơn lại đồng nghĩa với đường phố an toàn hơn#

Khi nói đến self-driving cars, object detection đóng vai trò quan trọng trong việc nhận diện người đi bộ, biển báo giao thông, người đi xe đạp và vạch kẻ đường. Ví dụ, nếu một đứa trẻ bất ngờ chạy băng qua đường, chiếc xe có vài giây để phát hiện đối tượng (đứa trẻ), xác định vị trí của nó, theo dõi chuyển động của nó và thực hiện hành động cần thiết (phanh xe).

Các model như Ultralytics YOLO11 được thiết kế để thực hiện object detection thời gian thực trong các tình huống đòi hỏi độ chính xác cao như vậy. Trong những trường hợp này, mAP trở thành một thước đo quan trọng về độ an toàn.

Điểm mAP cao đảm bảo hệ thống phát hiện đứa trẻ nhanh chóng, định vị chính xác và kích hoạt phanh với độ trễ tối thiểu. mAP thấp có thể dẫn đến bỏ lỡ các phát hiện hoặc phân loại sai nguy hiểm, chẳng hạn như nhầm lẫn đứa trẻ với một đối tượng nhỏ khác.

Hình 6. Ví dụ về việc sử dụng YOLO11 để phát hiện người đi bộ trên đường. (Nguồn)

Sử dụng mAP để nhận diện sản phẩm chính xác#

Tương tự, trong lĩnh vực retail, các model object detection có thể được sử dụng để tự động hóa các tác vụ như giám sát hàng tồn kho và quy trình thanh toán. Khi khách hàng quét sản phẩm tại quầy tự thanh toán, lỗi phát hiện có thể gây ra sự phiền toái.

Điểm mAP cao đảm bảo model phân biệt chính xác giữa các sản phẩm tương tự và vẽ các bounding box chính xác, ngay cả khi các mặt hàng được đặt sát nhau. Điểm mAP thấp có thể dẫn đến nhầm lẫn. Ví dụ, nếu model nhầm lẫn chai nước cam với chai nước táo có hình thức tương tự, nó có thể dẫn đến việc tính tiền sai và báo cáo hàng tồn kho không chính xác.

Các hệ thống bán lẻ tích hợp với các model như Ultralytics YOLO11 có thể phát hiện sản phẩm theo thời gian thực, đối chiếu với kho hàng và cập nhật các hệ thống backend ngay lập tức. Trong môi trường bán lẻ nhịp độ nhanh, mAP đóng vai trò cốt lõi trong việc duy trì tính chính xác và độ tin cậy của hoạt động.

Nâng cao độ chính xác chẩn đoán với mAP cao trong chăm sóc sức khỏe#

Việc cải thiện độ chính xác chẩn đoán trong chăm sóc sức khỏe bắt đầu từ việc phát hiện chính xác trong medical imaging. Các model như YOLO11 có thể giúp các bác sĩ quang tuyến phát hiện khối u, vết gãy xương hoặc các bất thường khác từ các bản quét y tế đó. Tại đây, mean average precision là một metric thiết yếu để đánh giá độ tin cậy về mặt lâm sàng của model.

mAP cao cho thấy model đạt được cả recall cao (xác định hầu hết các vấn đề thực tế) và precision cao (tránh các báo động giả), điều này rất quan trọng trong việc ra quyết định lâm sàng. Ngoài ra, ngưỡng IoU trong chăm sóc sức khỏe thường được đặt rất cao (0,85 hoặc 0,90) để đảm bảo phát hiện cực kỳ chính xác.

Tuy nhiên, điểm mAP thấp có thể làm dấy lên những lo ngại. Giả sử một model bỏ lỡ một khối u; điều đó có thể làm chậm quá trình chẩn đoán hoặc dẫn đến điều trị sai cách.

Ưu điểm và nhược điểm của việc sử dụng mAP#

Dưới đây là những ưu điểm chính của việc sử dụng mean average precision để đánh giá các model nhận diện đối tượng:

• Chỉ số chuẩn hóa: mAP là tiêu chuẩn công nghiệp để đánh giá các model nhận diện đối tượng. Giá trị mAP cho phép so sánh công bằng và nhất quán giữa các model khác nhau.

• Phản ánh hiệu suất thực tế: mAP cao cho thấy model vượt trội trong việc phát hiện nhiều lớp đối tượng khác nhau và duy trì hiệu suất mạnh mẽ trong các kịch bản thực tế phức tạp.

• Chẩn đoán theo từng lớp: Điểm mAP đánh giá hiệu suất phát hiện cho từng lớp một cách riêng biệt. Điều này giúp dễ dàng xác định các hạng mục hoạt động kém hiệu quả (như xe đạp hoặc biển báo đường phố) và tinh chỉnh model cho phù hợp.

Mặc dù có nhiều lợi ích khi sử dụng chỉ số mAP, nhưng vẫn có một số hạn chế cần xem xét. Dưới đây là một vài yếu tố cần lưu ý:

• Khó hiểu đối với các bên liên quan không chuyên kỹ thuật: Các nhóm kinh doanh hoặc nhóm lâm sàng có thể thấy các giá trị mAP là trừu tượng, không giống như các chỉ số trực quan và dễ hiểu hơn.

• Không phản ánh các hạn chế thời gian thực: mAP không tính đến tốc độ suy luận (inference speed) hoặc độ trễ, vốn là những yếu tố quan trọng đối với việc triển khai trong các ứng dụng nhạy cảm về thời gian.

Các điểm chính cần lưu ý#

Chúng ta đã thấy rằng mean average precision không chỉ là một điểm số kỹ thuật mà còn là sự phản ánh tiềm năng hiệu suất thực tế của một model. Dù trong hệ thống xe tự lái hay quầy thanh toán bán lẻ, điểm mAP cao đóng vai trò là chỉ báo đáng tin cậy về hiệu suất và khả năng sẵn sàng thực tế của model.

Trong khi mAP là một chỉ số thiết yếu và có tác động mạnh mẽ, nó nên được coi là một phần của chiến lược đánh giá toàn diện. Đối với các ứng dụng quan trọng như chăm sóc sức khỏe và lái xe tự động, chỉ dựa vào mAP là chưa đủ.

Các yếu tố bổ sung như tốc độ suy luận (tốc độ model đưa ra dự đoán), kích thước model (ảnh hưởng đến việc triển khai trên các thiết bị biên) và phân tích lỗi định tính (hiểu các loại lỗi mà model mắc phải) cũng phải được cân nhắc để đảm bảo hệ thống an toàn, hiệu quả và thực sự phù hợp với mục đích sử dụng dự kiến.

Hãy tham gia cộng đồng đang phát triển của chúng tôi và GitHub repository để tìm hiểu thêm về computer vision. Khám phá các trang giải pháp của chúng tôi để tìm hiểu về các ứng dụng của computer vision trong nông nghiệp và AI trong lĩnh vực hậu cần. Hãy xem các tùy chọn cấp phép của chúng tôi để bắt đầu với computer vision model của riêng bạn ngay hôm nay!