So sánh accuracy, precision và recall trong machine learning

Học máy (ML) là một nhánh của trí tuệ nhân tạo (AI), tập trung vào việc tạo ra các hệ thống học từ dữ liệu. Học máy đóng vai trò trung tâm trong nhiều lĩnh vực AI khác, bao gồm thị giác máy tính, nơi máy móc diễn giải hình ảnh, và xử lý ngôn ngữ tự nhiên, nơi máy móc hiểu và tạo ra ngôn ngữ của con người.

Các model AI như vậy thường sử dụng kỹ thuật học sâu để đưa ra dự đoán từ dữ liệu. Những hệ thống này có thể rất hiệu quả, nhưng không phải lúc nào cũng đưa ra dự đoán chính xác. Một số kết quả có thể đúng, trong khi những kết quả khác không đạt yêu cầu.

Hiểu cách các lỗi này xảy ra là một phần quan trọng trong việc đánh giá hiệu suất của model. Để đo lường hiệu suất, chúng ta có thể sử dụng các metric đánh giá model.

Các metric đánh giá phổ biến gồm accuracy (độ chính xác tổng thể), precision (độ tin cậy của các dự đoán dương tính) và recall (khả năng model xác định các trường hợp dương tính thực tế). Ban đầu, các metric này có vẻ giống nhau, nhưng mỗi metric tập trung vào một khía cạnh khác nhau trong hành vi của model.

Trong bài viết này, chúng ta sẽ tìm hiểu kỹ hơn từng chỉ số đánh giá hiệu năng model AI. Đồng thời, chúng ta sẽ xem xét mối liên hệ giữa các chỉ số và cách chọn chỉ số phù hợp cho trường hợp sử dụng của bạn.

Các metric đánh giá model rất quan trọng trong học máy#

Ban đầu, một model machine learning có thể trông như đang hoạt động tốt. Nhưng nếu không có các metric đánh giá phù hợp, sẽ khó xác định mức độ chính xác của kết quả. Các metric này tạo cơ sở cho việc đánh giá model và giúp trả lời một câu hỏi quan trọng: Các dự đoán của model có hữu ích và đáng tin cậy đối với tác vụ cụ thể không?

Các metric như accuracy, precision và recall giúp nhà phát triển AI có cách rõ ràng để đo lường mức độ hoạt động của model. Ví dụ, khi so sánh các model khác nhau, những metric này cho phép xác định model nào hoạt động tốt nhất cho một tác vụ cụ thể. Chúng giúp đánh giá hiệu suất và định hướng lựa chọn model phù hợp nhất với mục tiêu của dự án AI.

Hình 1. Quy trình huấn luyện và đánh giá model (Nguồn)

Các metric này cũng giúp việc so sánh hiệu suất khách quan hơn. Thay vì dựa vào phỏng đoán hoặc quan sát chưa đầy đủ, chúng cung cấp thông tin chi tiết có thể đo lường về cách model hoạt động trong những tình huống khác nhau. Qua đó, chúng làm nổi bật những khía cạnh hiệu suất quan trọng nhất trong từng bối cảnh.

Ví dụ, việc lựa chọn metric thường phụ thuộc vào ứng dụng. Trong các ứng dụng AI trong chăm sóc sức khỏe, recall rất quan trọng vì mục tiêu là xác định càng nhiều trường hợp dương tính càng tốt, ngay cả khi một số trường hợp âm tính bị gắn cờ nhầm. Ngược lại, bộ lọc thư rác có thể ưu tiên precision để tránh đánh dấu nhầm email hợp lệ là thư rác.

Ma trận nhầm lẫn: Nền tảng của các metric phân loại#

Trong bài toán phân loại nhị phân, ma trận nhầm lẫn là bảng hai nhân hai, đóng vai trò nền tảng trong việc đánh giá model AI. Ma trận này phân loại dự đoán thành bốn nhóm bằng cách so sánh kết quả thực tế với kết quả dự đoán (câu trả lời do model đưa ra).

Phép so sánh này cung cấp cái nhìn chi tiết về hiệu suất của model. Đây là cơ sở cho các metric đánh giá quan trọng như precision và recall, vốn được tính trực tiếp từ các giá trị trong ma trận.

Các hàng của bảng biểu thị lớp thực tế, còn các cột biểu thị lớp được dự đoán. Mỗi ô cho biết số lượng kết quả thuộc nhóm đó. Nói đơn giản, bảng cho thấy có bao nhiêu dự đoán chính xác và model mắc những loại lỗi nào.

Ma trận nhầm lẫn đặc biệt hữu ích khi dữ liệu mất cân bằng, nghĩa là một số nhóm có nhiều ví dụ hơn hẳn các nhóm khác. Ma trận này cũng hữu ích khi các loại lỗi khác nhau gây ra mức thiệt hại khác nhau.

Ví dụ, trong phát hiện gian lận, việc phát hiện hoạt động gian lận là rất quan trọng, nhưng đánh dấu nhầm giao dịch hợp lệ cũng có thể gây ra vấn đề. Ma trận cho biết rõ tần suất xảy ra của từng loại lỗi.

Các thành phần của ma trận nhầm lẫn#

Dưới đây là tổng quan về các thành phần khác nhau trong ma trận nhầm lẫn:

• Dương tính thật (TP): Khi model dự đoán chính xác một trường hợp dương tính, trường hợp đó được ghi nhận là dương tính thật. Ví dụ, một model thị giác máy tính phân loại chính xác một phương tiện trong ảnh.
• Âm tính thật (TN): Âm tính thật xảy ra khi model xác định chính xác một trường hợp âm tính. Chẳng hạn, bộ phân loại email đánh dấu một thư bình thường là không phải thư rác.
• Dương tính giả (FP): Model tạo ra kết quả dương tính giả khi dự đoán sai một trường hợp thực tế là âm tính thành dương tính. Lỗi này còn được gọi là lỗi Loại I; ví dụ, hệ thống phát hiện gian lận gắn cờ nhầm một giao dịch hợp lệ là gian lận.
• Âm tính giả (FN): Âm tính giả được ghi nhận khi model không phát hiện được một trường hợp dương tính và dự đoán nhầm trường hợp đó là âm tính. Lỗi này còn được gọi là lỗi Loại II; ví dụ, công cụ chẩn đoán bỏ sót bệnh ở một bệnh nhân thực sự mắc bệnh.

Hình 2. Các thành phần của ma trận nhầm lẫn (Nguồn)

Biểu diễn trực quan và diễn giải ma trận nhầm lẫn#

Ma trận nhầm lẫn được hiển thị dưới dạng lưới. Trục dọc thể hiện các lớp thực tế, còn trục ngang thể hiện các lớp được dự đoán. Các dự đoán chính xác nằm trên đường chéo, biểu thị dương tính thật và âm tính thật.

Các lỗi nằm ngoài đường chéo, bao gồm dương tính giả và âm tính giả. Cấu trúc này giúp dễ dàng nhận ra điểm mạnh và điểm yếu.

Accuracy trong học máy là gì?#

Accuracy là một trong những metric được sử dụng rộng rãi nhất để đánh giá hiệu suất của model học máy. Metric này đo lường tần suất dự đoán chính xác trên tất cả các lớp. Nói cách khác, metric này trả lời một câu hỏi đơn giản: Trong tất cả dự đoán mà model AI đưa ra, có bao nhiêu dự đoán đúng?

Công thức tính accuracy là lấy số dự đoán chính xác (bao gồm cả dương tính thật và âm tính thật) chia cho tổng số dự đoán. Accuracy dễ tính toán và dễ hiểu, nên đây là điểm khởi đầu phổ biến khi đánh giá model.

Nhìn chung, accuracy đáng tin cậy khi xử lý dataset cân bằng. Tuy nhiên, accuracy thường có thể gây hiểu lầm với dataset mất cân bằng, trong đó một lớp chiếm ưu thế so với các lớp khác. Model luôn dự đoán lớp chiếm đa số vẫn có thể đạt điểm accuracy cao nhưng không phát hiện được các lớp thiểu số khác.

Ví dụ, trong dataset hình ảnh chỉ có một vài ảnh chứa người đi bộ, model luôn dự đoán “không có người đi bộ” cho mọi ảnh vẫn có thể đạt accuracy cao nhưng hoàn toàn không phát hiện được người đi bộ thực sự.

Lý do là bản thân accuracy không cho biết model mắc những loại lỗi nào hoặc tần suất xảy ra của chúng. Vì vậy, cần xem thêm các metric như precision và recall để hiểu đầy đủ mức độ hoạt động của model AI.

Tìm hiểu sâu về precision: Giảm thiểu cảnh báo sai#

Precision là metric đánh giá quan trọng, đo độ chính xác của các dự đoán dương tính của model. Metric này trả lời câu hỏi: Trong tất cả trường hợp được dự đoán là dương tính, có bao nhiêu trường hợp đúng?

Công thức tính precision là lấy số dương tính thật chia cho tổng số dương tính thật và dương tính giả. Metric này đặc biệt quan trọng khi một dự đoán dương tính sẽ gây tốn kém nếu hóa ra là sai.

Hình 3. So sánh accuracy và precision. (Nguồn)

Ví dụ, trong phát hiện gian lận, model có precision thấp có thể đánh dấu nhầm nhiều giao dịch hợp lệ là gian lận, gây ra vấn đề không cần thiết cho cả người dùng lẫn nhóm hỗ trợ. Model có precision cao giảm thiểu rủi ro này bằng cách đảm bảo các giao dịch bị gắn cờ có khả năng thực sự là gian lận cao hơn.

Precision cao là điều tốt, nhưng model tập trung quá nhiều vào metric này có thể trở nên quá chọn lọc và bỏ sót các trường hợp dương tính thực tế. Vì vậy, precision thường được xem xét cùng với recall để duy trì hiệu suất cân bằng.

Recall là gì?#

Recall là metric dùng để đo lường mức độ model xác định các trường hợp dương tính thực tế. Metric này còn được gọi là độ nhạy hoặc tỷ lệ dương tính thật, và trả lời câu hỏi: Trong tất cả trường hợp dương tính thực tế, model đã phát hiện chính xác bao nhiêu?

Công thức tính recall là lấy số dương tính thật chia cho tổng số dương tính thật và âm tính giả. Điểm recall cao cho thấy model phát hiện được phần lớn các trường hợp dương tính thực tế trong dữ liệu.

Recall rất cần thiết trong các ngành như chăm sóc sức khỏe, nơi việc không phát hiện được một tình trạng bệnh có thể làm chậm trễ điều trị và khiến bệnh nhân gặp rủi ro. Ngay cả khi một số trường hợp âm tính bị gắn cờ nhầm, ưu tiên hàng đầu vẫn là xác định tất cả các trường hợp dương tính thực sự.

Tuy nhiên, model chỉ tập trung vào recall có thể gắn cờ quá nhiều trường hợp dương tính giả, làm giảm precision và ảnh hưởng đến hiệu quả tổng thể của model. Cân bằng recall và precision là yếu tố quan trọng để model AI hoạt động đáng tin cậy.

Bài toán cân bằng: Sự đánh đổi giữa precision và recall#

Precision và recall thường biến thiên theo hai hướng ngược nhau. Khi một metric được cải thiện, metric còn lại có thể giảm. Sự đánh đổi này là thách thức phổ biến trong các tác vụ học máy.

Model có precision cao chỉ dự đoán một trường hợp là dương tính khi đủ tự tin. Điều này giảm cảnh báo sai nhưng có thể bỏ sót các trường hợp dương tính thực tế, khiến recall giảm. Model cố gắng phát hiện mọi trường hợp dương tính sẽ tăng recall nhưng có nguy cơ tạo ra nhiều cảnh báo sai hơn, khiến precision giảm.

Sự đánh đổi này trở nên rõ hơn khi bạn điều chỉnh ngưỡng quyết định của model. Ngưỡng là mốc mà hệ thống sử dụng để chuyển điểm số hoặc xác suất thành hành động hoặc nhãn. Hạ ngưỡng khiến hệ thống đưa ra kết quả dương tính thường xuyên hơn, có thể làm tăng recall nhưng giảm precision. Tăng ngưỡng sẽ tạo ra tác động ngược lại: model dự đoán ít trường hợp dương tính hơn, precision tăng nhưng recall thường giảm.

Giả sử bạn đang xây dựng hệ thống phát hiện thư rác. Model phải cân bằng giữa nguy cơ để thư rác lọt vào hộp thư đến và nguy cơ chặn nhầm email thật. Bộ lọc nghiêm ngặt có thể vô tình chặn thư hợp lệ, trong khi bộ lọc dễ dãi hơn có thể để lọt một số thư rác. Mức cân bằng phù hợp tùy thuộc vào trường hợp sử dụng và chi phí của từng loại lỗi.

Ý nghĩa của đường cong precision–recall#

Đường cong precision–recall, hay đường cong PR, thể hiện sự thay đổi của precision và recall khi ngưỡng quyết định của model thay đổi. Mỗi điểm biểu thị một mức đánh đổi khác nhau giữa hai metric. Đường cong PR đặc biệt hữu ích với dataset mất cân bằng, trong đó một lớp ít phổ biến hơn nhiều.

Với dữ liệu mất cân bằng, đường cong này thường cung cấp thông tin hữu ích hơn đường cong Đặc tính hoạt động của bộ thu (ROC), vốn cũng cho thấy model phân biệt lớp dương tính với lớp âm tính tốt đến đâu ở các ngưỡng quyết định khác nhau. Model có cả precision và recall cao sẽ có đường cong precision–recall nằm sát góc trên bên phải, đây thường là kết quả lý tưởng.

Giới thiệu F1-score: Metric kết hợp để cân bằng#

F1-score cung cấp một giá trị duy nhất thể hiện sự cân bằng giữa precision và recall. F1-score được tính bằng hai lần tích của precision và recall, chia cho tổng precision và recall. Metric này hữu ích khi cả dương tính giả lẫn âm tính giả đều quan trọng, cũng như khi xử lý dataset mất cân bằng hoặc cần đánh giá hiệu suất model một cách cân bằng.

Hình 4. Tính F1-score bằng precision và recall (Nguồn)

Ngoài accuracy, precision và recall#

Mặc dù accuracy, precision và recall là những chỉ số thiết yếu, các chỉ số khác cung cấp thêm thông tin chi tiết dựa trên loại model và đặc điểm của dataset.

Dưới đây là một số chỉ số thường dùng giúp đánh giá các khía cạnh khác nhau của hiệu năng:

• Specificity: Chỉ số này đo lường mức độ model nhận diện đúng các trường hợp âm tính thực tế. Chỉ số này hữu ích khi việc tránh false positive là quan trọng.
• AUC: AUC, hay diện tích dưới đường cong, là một điểm số duy nhất thể hiện khả năng phân biệt các lớp của model.
• Log loss: Log loss được dùng để đo mức độ tự tin của model khi đưa ra dự đoán và phạt nặng hơn các dự đoán sai nhưng có độ tin cậy cao. Ở đây, độ tin cậy thể hiện mức độ chắc chắn của model về dự đoán của mình.
• Đánh giá đa nhãn: Trong các tác vụ đa nhãn, các chỉ số được tính trung bình trên các nhãn để phản ánh hiệu năng tổng thể của model.

Áp dụng accuracy, precision và recall trong thị giác máy tính#

Giờ đây, khi đã hiểu rõ hơn về accuracy, precision và recall, hãy cùng tìm hiểu cách áp dụng các metric này trong thị giác máy tính.

Các model thị giác máy tính như Ultralytics YOLO11 hỗ trợ các tác vụ như phát hiện đối tượng, trong đó model xác định những đối tượng có trong ảnh và định vị chúng bằng bounding box. Mỗi dự đoán bao gồm cả nhãn đối tượng lẫn vị trí của đối tượng, khiến việc đánh giá phức tạp hơn so với chỉ kiểm tra nhãn có chính xác hay không.

Hình 5. Ví dụ sử dụng Ultralytics YOLO11 để phát hiện đối tượng. (Nguồn)

Hãy xem xét một ứng dụng bán lẻ, trong đó camera được dùng để tự động theo dõi sản phẩm trên kệ. Model phát hiện đối tượng có thể nhận diện các mặt hàng như hộp ngũ cốc, lon nước ngọt hoặc chai nước và đánh dấu vị trí của chúng.

Trong trường hợp này, precision cho biết có bao nhiêu mặt hàng được phát hiện là chính xác. Precision cao nghĩa là hệ thống tránh được false positive, chẳng hạn như gán nhãn một cái bóng hoặc vật thể nền là sản phẩm. Recall cho biết model phát hiện được bao nhiêu sản phẩm thực tế trên kệ. Recall cao nghĩa là ít mặt hàng bị bỏ sót hơn, điều này rất quan trọng để kiểm kê chính xác.

Accuracy vẫn có thể cung cấp thước đo tổng quát về độ chính xác, nhưng trong tình huống này, việc bỏ sót dù chỉ một vài sản phẩm hoặc phát hiện những mặt hàng không tồn tại cũng có thể ảnh hưởng lớn đến việc quản lý hàng tồn kho. Đó là lý do các nhà phát triển xem xét đồng thời precision, recall và accuracy để đảm bảo hệ thống vừa đáng tin cậy vừa thiết thực khi sử dụng trong thực tế.

Accuracy, precision và recall: Những điểm chính cần nhớ#

Accuracy, precision và recall thể hiện các khía cạnh khác nhau về hiệu năng của model machine learning. Chỉ dựa vào một chỉ số có thể dẫn đến nhận định sai lệch.

Các công cụ và chỉ số như confusion matrix, đường cong precision–recall và F1-score giúp làm rõ sự đánh đổi và định hướng các quyết định cải thiện model ML. Bằng cách chọn tổ hợp chỉ số phù hợp cho một giải pháp AI cụ thể, bạn có thể đảm bảo model chính xác, đáng tin cậy và hiệu quả trong các ứng dụng thực tế.

Khám phá cộng đồng đang ngày càng phát triển của chúng tôi! Xem repository GitHub để tìm hiểu thêm về AI. Sẵn sàng bắt đầu các dự án thị giác máy tính của bạn? Hãy xem các tùy chọn cấp phép của chúng tôi. Khám phá AI trong nông nghiệp và AI thị giác trong robot học trên các trang giải pháp của chúng tôi!