F1-Score

F1-Score là một chỉ số được sử dụng rộng rãi trong học máy để đánh giá hiệu suất của một mô hình phân loại. Nó kết hợp một cách thông minh hai chỉ số quan trọng khác—Độ chính xác (Precision) và Độ phủ (Recall)—thành một giá trị duy nhất. Là trung bình điều hòa của độ chính xác và độ phủ, F1-Score cung cấp một thước đo cân bằng hơn về hiệu suất của mô hình, đặc biệt khi xử lý các tập dữ liệu không cân bằng, trong đó một lớp phổ biến hơn nhiều so với lớp kia. Trong những trường hợp như vậy, điểm độ chính xác (accuracy) cao có thể gây hiểu lầm, nhưng F1-Score mang lại cảm giác tốt hơn về hiệu quả của mô hình trong việc xác định chính xác lớp thiểu số.

Để hiểu đầy đủ về F1-Score, điều cần thiết là phải hiểu các thành phần của nó. Độ chính xác (Precision) trả lời câu hỏi: "Trong tất cả các dự đoán dương tính mà mô hình đưa ra, có bao nhiêu dự đoán thực sự đúng?" Độ phủ (Recall), mặt khác, trả lời câu hỏi: "Trong tất cả các trường hợp dương tính thực tế, mô hình đã xác định đúng bao nhiêu trường hợp?" F1-Score hài hòa hai số liệu này, phạt các mô hình vượt trội ở một số liệu nhưng lại gây tổn hại đáng kể đến số liệu còn lại. F1-Score đạt giá trị tốt nhất là 1 (độ chính xác và độ phủ hoàn hảo) và giá trị tệ nhất là 0. Sự cân bằng này rất quan trọng trong nhiều ứng dụng thực tế, nơi cả dương tính giả và âm tính giả đều gây ra những tổn thất đáng kể. Theo dõi số liệu này trong quá trình huấn luyện mô hình là một thông lệ tiêu chuẩn trong MLOps.

F1-Score Trong Thực Tế: Các Ví Dụ Ngoài Đời Thực

F1-Score rất quan trọng trong nhiều ứng dụng Trí tuệ nhân tạo (AI), nơi hậu quả của việc phân loại sai là nghiêm trọng:

1. Phân tích hình ảnh y tế để phát hiện bệnh: Xem xét một mô hình AI được thiết kế để phát hiện các khối u ung thư từ các bản quét bằng cách sử dụng thị giác máy tính (CV).

   • Âm tính giả (độ nhạy thấp) có nghĩa là không phát hiện ra ung thư khi nó hiện diện, điều này có thể gây ra hậu quả nghiêm trọng cho bệnh nhân.
   • Dương tính giả (độ chính xác thấp) có nghĩa là chẩn đoán ung thư khi nó không có, dẫn đến căng thẳng, chi phí không cần thiết và các xét nghiệm xâm lấn khác.
   • F1-Score giúp đánh giá các mô hình như những mô hình được sử dụng trong các giải pháp chăm sóc sức khỏe AI bằng cách đảm bảo sự cân bằng giữa việc phát hiện các trường hợp thực tế (độ phủ) và tránh chẩn đoán sai (độ chính xác). Việc huấn luyện các mô hình như vậy có thể liên quan đến các bộ dữ liệu như bộ dữ liệu phát hiện khối u não.

2. Lọc email rác (Spam Email Filtering): Các dịch vụ email sử dụng các mô hình phân loại để xác định thư rác.

   • Độ phủ cao là cần thiết để bắt được càng nhiều thư rác càng tốt. Bỏ sót thư rác (âm tính giả) gây khó chịu cho người dùng.
   • Độ chính xác cao là rất quan trọng để tránh đánh dấu các email hợp lệ ("ham") là thư rác (dương tính giả). Việc phân loại sai một email quan trọng có thể gây ra nhiều vấn đề.
   • F1-Score cung cấp một thước đo phù hợp để đánh giá hiệu quả tổng thể của bộ lọc thư rác, cân bằng giữa nhu cầu lọc thư rác mà không làm mất các tin nhắn quan trọng. Điều này thường liên quan đến các kỹ thuật từ Xử lý ngôn ngữ tự nhiên (NLP).

Điểm F1 khác với các số liệu khác như thế nào

Hiểu rõ sự khác biệt giữa F1-Score và các số liệu đánh giá khác là chìa khóa để chọn đúng số liệu cho dự án của bạn.

• F1-Score so với Độ chính xác (Accuracy): Độ chính xác (Accuracy) là tỷ lệ dự đoán đúng trên tổng số dự đoán. Mặc dù dễ hiểu, nhưng nó hoạt động kém hiệu quả đối với các bài toán phân loại không cân bằng (imbalanced classification problems). F1-Score thường được ưu tiên hơn trong những trường hợp này vì nó tập trung vào hiệu suất của lớp dương tính.
• F1-Score so với Độ chính xác (Precision) và Độ phủ (Recall): F1-Score kết hợp Độ chính xác (Precision) và Độ phủ (Recall) thành một chỉ số duy nhất. Tuy nhiên, tùy thuộc vào mục tiêu của ứng dụng, bạn có thể muốn tối ưu hóa cho một trong hai hơn. Ví dụ: trong kiểm tra an ninh sân bay, việc tối đa hóa độ phủ (tìm tất cả các mối đe dọa tiềm ẩn) là quan trọng hơn độ chính xác. Hiểu được sự đánh đổi giữa độ chính xác và độ phủ (precision-recall tradeoff) này là rất cơ bản.
• F1-Score so với độ chính xác trung bình (mean Average Precision - mAP): Trong khi F1-Score đánh giá hiệu suất phân loại tại một ngưỡng độ tin cậy (confidence) cụ thể, mAP là thước đo tiêu chuẩn cho các tác vụ phát hiện đối tượng (object detection). Điểm mAP tóm tắt đường cong Precision-Recall trên các ngưỡng khác nhau, cung cấp một đánh giá toàn diện hơn về khả năng định vị và phân loại đối tượng của mô hình. Các nền tảng như Ultralytics HUB giúp theo dõi các chỉ số này trong quá trình phát triển mô hình.
• F1-Score so với AUC (Diện tích dưới đường cong): AUC được tính từ đường cong đặc tính hoạt động của máy thu (Receiver Operating Characteristic - ROC) và thể hiện khả năng của mô hình trong việc phân biệt giữa các lớp trên tất cả các ngưỡng có thể. Ngược lại, F1-Score được tính cho một ngưỡng cụ thể duy nhất.

Mặc dù mAP là số liệu chính cho các mô hình nhận diện đối tượng như Ultralytics YOLO11, F1-Score rất quan trọng đối với các tác vụ phân loại hình ảnh mà các mô hình này cũng có thể thực hiện. Hiểu biết vững chắc về F1-Score là rất quan trọng đối với bất kỳ nhà phát triển nào làm việc trên các bài toán phân loại trong deep learning. Bạn có thể so sánh hiệu suất của các mô hình YOLO khác nhau, thường được đánh giá trên các bộ dữ liệu như COCO.