Mean average precision (mAP) trong phát hiện đối tượng

Việc ứng dụng AI đang tăng nhanh, và AI được tích hợp vào nhiều đổi mới khác nhau, từ ô tô tự lái đến các hệ thống bán lẻ có thể nhận diện sản phẩm trên kệ. Những công nghệ này dựa vào thị giác máy tính, một nhánh của trí tuệ nhân tạo (AI) cho phép máy móc phân tích dữ liệu hình ảnh.

Một chỉ số đánh giá quan trọng được dùng để đo độ chính xác của các hệ thống và thuật toán thị giác máy tính là độ chính xác trung bình trung bình (mAP). Chỉ số mAP cho biết mức độ gần khớp giữa dự đoán của model AI thị giác và kết quả thực tế.

Một tác vụ thị giác máy tính phổ biến là phát hiện đối tượng, trong đó model xác định nhiều đối tượng trong một hình ảnh và vẽ các hộp giới hạn xung quanh chúng. mAP là chỉ số tiêu chuẩn được dùng để đánh giá hiệu suất của các model phát hiện đối tượng và được sử dụng rộng rãi để đánh giá chuẩn các model deep learning như Ultralytics YOLO11.

Trong bài viết này, chúng ta sẽ tìm hiểu cách tính độ chính xác trung bình trung bình và lý do chỉ số này thiết yếu đối với bất kỳ ai huấn luyện hoặc đánh giá model phát hiện đối tượng.

Độ chính xác trung bình (mAP) là gì?#

Độ chính xác trung bình là một điểm số thể hiện độ chính xác của model deep learning đối với các tác vụ truy xuất thông tin hình ảnh, chẳng hạn như phát hiện và nhận diện các đối tượng khác nhau trong một hình ảnh. Ví dụ, hãy xét một model phát hiện đối tượng phân tích ảnh có một con chó, một con mèo và một chiếc ô tô. Một model đáng tin cậy có thể phát hiện đối tượng bằng cách nhận diện từng đối tượng và vẽ bounding box cùng nhãn quanh chúng, làm rõ vị trí và danh tính của từng đối tượng.

mAP cho biết model thực hiện tác vụ này tốt như thế nào trên nhiều hình ảnh và các loại đối tượng khác nhau. Metric này kiểm tra xem model có nhận diện chính xác từng đối tượng và vị trí của đối tượng trong ảnh hay không. Điểm số nằm trong khoảng từ 0 đến 1, trong đó 1 nghĩa là model tìm thấy mọi thứ hoàn hảo, còn 0 nghĩa là model không phát hiện được đối tượng nào.

Các khái niệm chính về độ chính xác trung bình (mAP)#

Trước khi tìm hiểu các khái niệm đằng sau độ chính xác trung bình trong machine learning, hãy tìm hiểu rõ hơn hai thuật ngữ cơ bản: ground truth và dự đoán.

Ground truth là dữ liệu tham chiếu chính xác, trong đó các đối tượng và vị trí của chúng trong ảnh được con người gán nhãn cẩn thận qua một quy trình gọi là annotation. Trong khi đó, dự đoán là kết quả mà model AI đưa ra sau khi phân tích ảnh. Bằng cách so sánh dự đoán của model AI với ground truth, chúng ta có thể đo lường mức độ gần với kết quả chính xác của model.

Hình 1. Dự đoán của model và các bounding box ground truth. Hình ảnh của tác giả.

Ma trận nhầm lẫn#

Ma trận nhầm lẫn thường được dùng để hiểu độ chính xác của model phát hiện đối tượng. Đây là bảng thể hiện mức độ khớp giữa dự đoán của model và đáp án đúng thực tế (ground truth). Từ bảng này, chúng ta có thể phân tích bốn thành phần hoặc kết quả chính: dương tính thật, dương tính giả, âm tính giả và âm tính thật.

Dưới đây là ý nghĩa của các thành phần này trong ma trận nhầm lẫn:

• Dương tính thật (TP): Model phát hiện chính xác một đối tượng và vị trí của đối tượng đó.
• Dương tính giả (FP): Model đưa ra một kết quả phát hiện nhưng kết quả đó không chính xác.
• Âm tính giả (FN): Đối tượng thực sự có trong ảnh nhưng model không phát hiện được.
• Âm tính thật (TN): Âm tính thật xảy ra khi model xác định chính xác rằng không có đối tượng.

Âm tính thật không thường được dùng trong phát hiện đối tượng, vì chúng ta thường bỏ qua nhiều vùng trống trong ảnh. Tuy nhiên, âm tính thật rất cần thiết trong các tác vụ thị giác máy tính khác, chẳng hạn như phân loại ảnh, trong đó model gán nhãn cho ảnh. Ví dụ, nếu tác vụ là xác định ảnh có chứa mèo hay không và model xác định chính xác "không có mèo" khi ảnh không chứa mèo, thì đó là âm tính thật.

Hình 2. Các kết quả phân loại trong ma trận nhầm lẫn. Hình ảnh của tác giả.

Intersection over Union (IoU)#

Một metric quan trọng khác để đánh giá model phát hiện đối tượng là Intersection over Union (IoU). Với các model AI thị giác như vậy, chỉ phát hiện sự hiện diện của một đối tượng trong ảnh là chưa đủ; model cũng cần xác định vị trí của đối tượng trong ảnh để vẽ bounding box.

Metric IoU đo mức độ khớp giữa box dự đoán của model và box đúng thực tế (ground truth). Điểm số nằm trong khoảng từ 0 đến 1, trong đó 1 nghĩa là khớp hoàn toàn còn 0 nghĩa là hoàn toàn không chồng lấp.

Ví dụ, IoU cao hơn (như 0.80 hoặc 0.85) nghĩa là box dự đoán gần khớp với box ground truth, cho thấy vị trí được xác định chính xác. IoU thấp hơn (như 0.30 hoặc 0.25) nghĩa là model không xác định chính xác vị trí của đối tượng.

Để xác định một kết quả phát hiện có thành công hay không, chúng ta sử dụng các ngưỡng khác nhau. Ngưỡng IoU phổ biến là 0.5, nghĩa là box dự đoán phải chồng lấp với box ground truth ít nhất 50% để được tính là dương tính thật. Mọi mức chồng lấp thấp hơn ngưỡng này đều được xem là dương tính giả.

Hình 3. Tìm hiểu Intersection over Union. Hình ảnh của tác giả.

Precision và recall#

Đến đây, chúng ta đã tìm hiểu một số metric đánh giá cơ bản để hiểu hiệu suất của các model phát hiện đối tượng. Tiếp nối những nội dung này, hai metric quan trọng nhất là precision và recall. Chúng cho chúng ta cái nhìn rõ ràng về độ chính xác trong kết quả phát hiện của model. Hãy cùng tìm hiểu hai metric này.

Giá trị precision cho biết có bao nhiêu dự đoán của model thực sự chính xác. Metric này trả lời câu hỏi: trong tất cả đối tượng mà model cho là đã phát hiện, có bao nhiêu đối tượng thực sự tồn tại?

Ngược lại, giá trị recall đo lường mức độ model tìm được tất cả đối tượng thực sự có trong ảnh. Metric này trả lời câu hỏi: trong tất cả đối tượng thực tế, model phát hiện chính xác được bao nhiêu?

Kết hợp lại, precision và recall giúp chúng ta đánh giá rõ hơn hiệu suất của model. Ví dụ, nếu model dự đoán có 10 chiếc ô tô trong một hình ảnh và 9 trong số đó đúng là ô tô, thì precision đạt 90%.

Hai metric đánh giá này thường có sự đánh đổi: model có thể đạt precision cao bằng cách chỉ đưa ra những dự đoán mà model hoàn toàn tự tin, nhưng điều này có thể khiến model bỏ sót nhiều đối tượng và làm giảm recall. Trong khi đó, model cũng có thể đạt recall rất cao bằng cách dự đoán bounding box ở gần như mọi nơi, nhưng điều này sẽ làm giảm precision.

Hình 4. Precision và recall. Hình ảnh của tác giả.

Độ chính xác trung bình#

Trong khi precision và recall giúp chúng ta hiểu cách model hoạt động trên từng dự đoán riêng lẻ, độ chính xác trung bình (AP) cung cấp cái nhìn bao quát hơn. AP minh họa cách precision của model thay đổi khi model cố gắng phát hiện thêm đối tượng, đồng thời tóm tắt hiệu suất của model thành một con số duy nhất.

Để tính điểm độ chính xác trung bình, trước tiên chúng ta có thể tạo một metric dạng đồ thị tổng hợp gọi là đường cong precision-recall (hay đường cong PR) cho từng loại đối tượng. Đường cong này thể hiện điều xảy ra khi model đưa ra nhiều dự đoán hơn.

Hãy xem xét tình huống model bắt đầu bằng cách chỉ phát hiện những đối tượng dễ nhất hoặc rõ ràng nhất. Ở giai đoạn này, precision cao vì hầu hết dự đoán đều chính xác, nhưng recall thấp vì model vẫn bỏ sót nhiều đối tượng. Khi model cố phát hiện thêm đối tượng, bao gồm cả những đối tượng khó hơn hoặc hiếm gặp hơn, model thường mắc thêm nhiều lỗi. Điều này khiến precision giảm trong khi recall tăng.

Độ chính xác trung bình là diện tích dưới đường cong (AUC) của đường cong PR. Diện tích càng lớn thì model càng duy trì độ chính xác của các dự đoán tốt hơn, ngay cả khi phát hiện nhiều đối tượng hơn. AP được tính riêng cho từng nhãn lớp.

Ví dụ, với một model có thể phát hiện ô tô, xe đạp và người đi bộ, chúng ta có thể tính riêng giá trị AP cho từng loại trong ba nhóm đó. Điều này giúp chúng ta thấy model phát hiện tốt những đối tượng nào và những đối tượng nào còn cần được cải thiện.

Hình 5. Đường cong PR cho năm lớp khác nhau. (Nguồn)

Độ chính xác trung bình#

Sau khi tính độ chính xác trung bình cho từng lớp đối tượng, chúng ta vẫn cần một điểm số duy nhất thể hiện hiệu suất tổng thể của model trên tất cả các lớp. Có thể tính điểm này bằng công thức độ chính xác trung bình trung bình. Công thức lấy trung bình các điểm AP của mọi danh mục.

Ví dụ, giả sử một model thị giác máy tính như Ultralytics YOLO11 đạt AP lần lượt là 0.827 cho ô tô, 0.679 cho xe máy, 0.355 cho xe tải, 0.863 cho xe buýt và 0.982 cho xe đạp. Sử dụng công thức mAP, chúng ta có thể cộng các giá trị này rồi chia cho tổng số lớp như sau:

mAP = (0.827 + 0.679 + 0.355 + 0.863 + 0.982) ÷ 5 = 0.7412 ≈ 0.741

Điểm mAP 0.741 giúp đánh giá đơn giản hiệu suất của model trên tất cả các lớp đối tượng. Giá trị gần 1 nghĩa là model chính xác với hầu hết danh mục, trong khi giá trị thấp hơn cho thấy model gặp khó khăn với một số danh mục.

Ý nghĩa của AP và mAP trong thị giác máy tính#

Giờ đây, khi đã hiểu rõ hơn cách tính AP và mAP cũng như các thành phần của chúng, dưới đây là tổng quan về ý nghĩa của hai metric này trong thị giác máy tính:

• AP thấp ở một lớp cụ thể: AP thấp ở một lớp riêng lẻ thường có nghĩa là model gặp khó khăn với lớp đối tượng cụ thể đó. Nguyên nhân có thể là dữ liệu huấn luyện không đủ hoặc các thách thức về mặt hình ảnh, chẳng hạn như vật thể bị che khuất.
• Lỗi định vị: Giá trị mAP cao hơn ở ngưỡng IoU thấp (chẳng hạn mAP₅₀) nhưng giảm đáng kể ở ngưỡng IoU cao hơn (chẳng hạn mAP₇₅) cho thấy model có thể phát hiện đối tượng nhưng gặp khó khăn khi định vị chính xác.
• Overfitting: Giá trị mAP cao hơn trên dataset huấn luyện nhưng thấp hơn trên dataset validation là dấu hiệu của overfitting, khiến model không đáng tin cậy với ảnh mới.

Các ứng dụng thực tế của độ chính xác trung bình#

Tiếp theo, hãy cùng tìm hiểu cách các metric quan trọng như mAP có thể hỗ trợ xây dựng các ứng dụng thị giác máy tính trong thực tế.

Phương tiện tự hành: Vì sao mAP cao hơn đồng nghĩa với đường sá an toàn hơn#

Đối với ô tô tự lái, phát hiện đối tượng đóng vai trò quan trọng trong việc nhận diện người đi bộ, biển báo giao thông, người đi xe đạp và vạch kẻ làn đường. Ví dụ, nếu một đứa trẻ bất ngờ chạy qua đường, ô tô chỉ có vài giây để phát hiện đối tượng (đứa trẻ), xác định vị trí của đối tượng, theo dõi chuyển động và thực hiện hành động cần thiết (đạp phanh).

Các model như Ultralytics YOLO11 được thiết kế để phát hiện vật thể theo thời gian thực trong những tình huống có rủi ro cao như vậy. Trong các trường hợp này, mAP trở thành thước đo an toàn then chốt.

Điểm mAP cao nghĩa là hệ thống có khả năng phát hiện trẻ em và xác định chính xác vị trí của các em cao hơn, nhờ đó có thể kích hoạt phanh với độ trễ tối thiểu. mAP thấp có thể đồng nghĩa với việc bỏ sót đối tượng hoặc phân loại sai nguy hiểm, chẳng hạn nhầm trẻ em với một vật thể nhỏ khác.

Hình 6. Ví dụ về cách YOLO11 được sử dụng để phát hiện người đi bộ trên đường. (Nguồn)

Sử dụng mAP để phát hiện sản phẩm chính xác#

Tương tự, trong lĩnh vực bán lẻ, các model phát hiện vật thể có thể được dùng để tự động hóa những tác vụ như theo dõi hàng tồn kho và quy trình thanh toán. Khi khách hàng quét sản phẩm tại quầy tự thanh toán, lỗi phát hiện có thể gây khó chịu.

Điểm mAP cao giúp model phân biệt chính xác các sản phẩm tương tự và vẽ bounding box chính xác, ngay cả khi các mặt hàng được xếp sát nhau. Điểm mAP thấp có thể dẫn đến nhầm lẫn. Chẳng hạn, nếu model nhầm chai nước cam với chai nước ép táo trông tương tự, điều đó có thể dẫn đến tính tiền sai và báo cáo tồn kho không chính xác.

Các hệ thống bán lẻ tích hợp model như Ultralytics YOLO11 có thể phát hiện sản phẩm theo thời gian thực, đối chiếu sản phẩm với hàng tồn kho và cập nhật ngay lập tức các hệ thống backend. Trong môi trường bán lẻ nhịp độ nhanh, mAP đóng vai trò quan trọng trong việc duy trì độ chính xác và tin cậy của hoạt động.

Nâng cao độ chính xác chẩn đoán trong chăm sóc sức khỏe với mAP cao#

Nâng cao độ chính xác chẩn đoán trong chăm sóc sức khỏe bắt đầu từ việc phát hiện chính xác trong chẩn đoán hình ảnh. Các model như YOLO11 có thể giúp bác sĩ chẩn đoán hình ảnh phát hiện khối u, vết gãy xương hoặc những bất thường khác từ ảnh y khoa. Trong lĩnh vực này, độ chính xác trung bình là một metric thiết yếu để đánh giá độ tin cậy lâm sàng của model.

mAP cao cho thấy model đạt cả recall cao (nhận diện được hầu hết vấn đề thực tế) lẫn precision cao (tránh cảnh báo giả), điều rất quan trọng trong quá trình ra quyết định lâm sàng.

Tuy nhiên, điểm mAP thấp có thể làm dấy lên lo ngại. Ví dụ, nếu model bỏ sót một khối u, việc chẩn đoán có thể bị trì hoãn hoặc dẫn đến điều trị không phù hợp.

Ưu và nhược điểm khi sử dụng mAP#

Dưới đây là những ưu điểm chính của việc sử dụng độ chính xác trung bình để đánh giá các model phát hiện vật thể:

• Chỉ số tiêu chuẩn hóa: mAP là tiêu chuẩn ngành để đánh giá các model phát hiện đối tượng. Giá trị mAP cho phép so sánh công bằng và nhất quán giữa các model khác nhau.
• Phản ánh hiệu suất trong thực tế: mAP cao cho thấy model phát hiện tốt nhiều lớp vật thể và duy trì hiệu suất mạnh mẽ trong các tình huống phức tạp ngoài đời thực.
• Chẩn đoán theo lớp: mAP được tính từ các điểm AP riêng theo từng lớp, giúp dễ dàng xác định các danh mục có hiệu suất thấp (như xe đạp hoặc biển báo giao thông) và tinh chỉnh model phù hợp.

Mặc dù metric mAP có nhiều lợi ích, vẫn có một số hạn chế cần cân nhắc. Dưới đây là một vài yếu tố cần lưu ý:

• Khó hiểu với các bên liên quan không chuyên về công nghệ: Các nhóm kinh doanh hoặc lâm sàng có thể thấy giá trị mAP trừu tượng, không trực quan và dễ hiểu như những metric khác.
• Không phản ánh các ràng buộc thời gian thực: mAP không tính đến tốc độ suy luận hoặc độ trễ, vốn rất quan trọng khi triển khai trong các ứng dụng nhạy cảm về thời gian.

Điểm chính cần ghi nhớ#

Chúng ta đã thấy độ chính xác trung bình không chỉ là một điểm số kỹ thuật mà còn phản ánh tiềm năng hoạt động của model trong thực tế. Dù là trong hệ thống xe tự hành hay quầy thanh toán bán lẻ, điểm mAP cao là chỉ báo đáng tin cậy về hiệu suất và mức độ sẵn sàng ứng dụng thực tế của model.

Mặc dù mAP là một chỉ số thiết yếu và có ý nghĩa quan trọng, cần xem đây là một phần của chiến lược đánh giá toàn diện. Với các ứng dụng trọng yếu như chăm sóc sức khỏe và lái xe tự hành, chỉ dựa vào mAP là chưa đủ.

Cũng cần xem xét các yếu tố bổ sung như tốc độ suy luận (tốc độ model đưa ra dự đoán), kích thước model (ảnh hưởng đến việc triển khai trên thiết bị biên) và phân tích lỗi định tính (tìm hiểu các loại lỗi mà model mắc phải) để đảm bảo hệ thống an toàn, hiệu quả và thực sự phù hợp với mục đích sử dụng.

Tham gia cộng đồng đang phát triển và khám phá repository GitHub của chúng tôi để tìm hiểu thêm về thị giác máy tính. Khám phá các trang giải pháp để tìm hiểu về ứng dụng của thị giác máy tính trong nông nghiệp và AI trong logistics. Xem các tùy chọn cấp phép để bắt đầu xây dựng model thị giác máy tính của riêng bạn ngay hôm nay!