F1-Score

F1-Score là một thước đo hiệu suất quan trọng trong machine learning, kết hợp precision (độ chính xác) và recall (độ thu hồi) thành một trung bình điều hòa duy nhất. Nó đặc biệt hữu ích khi đánh giá các model phân loại (classification models) nơi tập dữ liệu bị mất cân bằng hoặc khi các trường hợp dương tính giả (false positives) và âm tính giả (false negatives) gây ra những chi phí khác nhau. Không giống như độ chính xác đơn thuần (accuracy) vốn có thể gây hiểu lầm nếu một class chiếm ưu thế trong tập dữ liệu, F1-Score mang lại cái nhìn cân bằng hơn về khả năng xác định chính xác các trường hợp liên quan của một model trong khi giảm thiểu sai số. Bằng cách phạt các giá trị cực đoan, thước đo này đảm bảo rằng điểm số cao chỉ đạt được khi cả precision và recall đều ở mức cao hợp lý, khiến nó trở thành thước đo tiêu chuẩn trong các lĩnh vực từ chẩn đoán y tế đến truy xuất thông tin.

Tại sao F1-Score lại quan trọng trong Machine Learning#

Trong nhiều tình huống thực tế, việc chỉ biết tỷ lệ phần trăm dự đoán chính xác (accuracy) là chưa đủ. Ví dụ, trong anomaly detection, các trường hợp bình thường vượt trội hơn nhiều so với các trường hợp bất thường. Một model dự đoán "bình thường" cho mọi đầu vào có thể đạt độ chính xác 99% nhưng sẽ vô dụng trong việc phát hiện các vấn đề thực tế. F1-Score giải quyết vấn đề này bằng cách cân bằng hai metric cạnh tranh nhau:

• Precision: Đo lường chất lượng của các dự đoán dương tính. Nó trả lời cho câu hỏi: "Trong số tất cả các trường hợp được model gán nhãn là dương tính, có bao nhiêu trường hợp thực sự là dương tính?"
• Recall: Đo lường số lượng của các dự đoán dương tính. Nó trả lời câu hỏi: "Trong số tất cả các trường hợp dương tính thực tế, model đã xác định chính xác bao nhiêu trường hợp?"

Vì thường có sự đánh đổi—cải thiện precision có xu hướng làm giảm recall và ngược lại—F1-Score đóng vai trò là một metric thống nhất để tìm điểm cân bằng tối ưu. Điều này rất quan trọng khi tinh chỉnh các model sử dụng hyperparameter optimization để đảm bảo hiệu suất mạnh mẽ trong các điều kiện đa dạng.

Các ứng dụng trong thực tế#

Tiện ích của F1-Score mở rộng trên nhiều ngành công nghiệp khác nhau, nơi chi phí sai sót là đáng kể.

• Medical Diagnostics: Trong AI in healthcare, cụ thể là cho các tác vụ như phát hiện khối u, kết quả âm tính giả (bỏ sót khối u) đe dọa tính mạng, trong khi kết quả dương tính giả (gắn cờ mô lành tính) gây ra sự lo lắng không cần thiết. F1-Score giúp các nhà nghiên cứu tối ưu hóa các model như YOLO26 để đảm bảo hệ thống đủ độ nhạy nhằm phát hiện bệnh mà không làm bác sĩ quá tải với các cảnh báo giả.
• Truy xuất thông tin và tìm kiếm: Các công cụ tìm kiếm và hệ thống phân loại tài liệu sử dụng F1-Score để đánh giá mức độ liên quan. Người dùng muốn thấy tất cả các tài liệu liên quan (recall cao) nhưng không muốn phải đọc qua các kết quả không liên quan (precision cao). F1-Score cao cho thấy công cụ đang truy xuất thông tin hiệu quả mà không bị nhiễu.
• Spam Filtering: Các dịch vụ email sử dụng text classification để tách lọc thư rác. Hệ thống phải bắt được các email rác (recall) nhưng quan trọng là không được gắn nhãn các email công việc quan trọng thành thư rác (precision). F1-Score đóng vai trò là chuẩn mực chính cho các bộ lọc này.

Tính toán F1-Score với Ultralytics#

Các framework computer vision hiện đại đơn giản hóa việc tính toán các metric này. Khi train các model object detection, F1-Score được tự động tính toán trong giai đoạn validation. Ultralytics Platform trực quan hóa các metric này trong các biểu đồ thời gian thực, cho phép người dùng xem đường cong của F1-Score theo các confidence threshold khác nhau.

Dưới đây là cách bạn có thể truy cập các thước đo validation, bao gồm các thành phần của F1-Score, bằng Python API:

from ultralytics import YOLO

# Load a pre-trained YOLO26 model
model = YOLO("yolo26n.pt")

# Validate the model on a dataset (metrics are computed automatically)
# This returns a validator object containing precision, recall, and mAP
metrics = model.val(data="coco8.yaml")

# Print the Mean Average Precision (mAP50-95), which correlates with F1 performance
print(f"mAP50-95: {metrics.box.map}")

# Access precision and recall arrays to manually inspect the balance
print(f"Precision: {metrics.box.p}")
print(f"Recall: {metrics.box.r}")

F1-Score so với các thước đo liên quan#

Hiểu cách F1-Score khác biệt so với các tiêu chí đánh giá khác là điều cần thiết để chọn đúng công cụ cho dự án của bạn.

• Difference from Accuracy: Accuracy đối xử với mọi lỗi như nhau. F1-Score vượt trội hơn đối với imbalanced datasets vì nó tập trung vào hiệu suất của lớp dương tính (lớp thiểu số cần quan tâm).
• Relation to mAP: Mean Average Precision (mAP) là tiêu chuẩn để so sánh các model object detection trên tất cả các confidence threshold. Tuy nhiên, F1-Score thường được sử dụng để xác định optimal confidence threshold cho việc deployment. Bạn có thể chọn threshold nơi đường cong F1 đạt đỉnh để deploy ứng dụng của mình.
• Confusion Matrix: Confusion matrix cung cấp các số liệu thô (True Positives, False Positives, v.v.) mà từ đó F1-Score được dẫn xuất. Trong khi matrix cung cấp chi tiết dạng hạt, F1-Score cung cấp một thống kê tổng kết duy nhất để so sánh nhanh.
• ROC-AUC: Area Under the Curve (AUC) đo lường khả năng tách biệt trên tất cả các threshold. F1-Score thường được ưu tiên hơn ROC-AUC khi bạn có phân phối lớp bị lệch mạnh (ví dụ: phát hiện gian lận trong đó gian lận rất hiếm gặp).

Cải thiện F1-Score của bạn#

Nếu model của bạn gặp tình trạng F1-Score thấp, một số chiến lược có thể giúp ích. Data augmentation có thể làm tăng sự đa dạng của các ví dụ dương tính, giúp model tổng quát hóa tốt hơn. Việc áp dụng transfer learning từ các foundation model mạnh mẽ cho phép mạng lưới tận dụng các đặc trưng đã học trước. Ngoài ra, việc điều chỉnh confidence threshold trong quá trình inference có thể dịch chuyển thủ công sự cân bằng giữa precision và recall để tối đa hóa F1-Score cho trường hợp sử dụng cụ thể của bạn.