F1-Score

F1-Score là một metric hiệu suất quan trọng trong machine learning, kết hợp precision và recall thành một trung bình điều hòa duy nhất. Metric này đặc biệt hữu ích để đánh giá các model phân loại khi dataset bị mất cân bằng hoặc khi false positive và false negative có chi phí khác nhau. Không giống accuracy đơn giản, vốn có thể gây hiểu lầm nếu một class chiếm ưu thế trong dataset, F1-Score cung cấp góc nhìn cân bằng hơn về khả năng xác định chính xác các instance liên quan đồng thời giảm thiểu lỗi của model. Bằng cách phạt các giá trị cực đoan, metric này đảm bảo rằng chỉ đạt được điểm số cao khi cả precision và recall đều tương đối cao, khiến nó trở thành metric thiết yếu trong nhiều lĩnh vực, từ chẩn đoán y khoa đến truy xuất thông tin.

Vì sao F1-Score quan trọng trong Machine Learning#

Trong nhiều tình huống thực tế, chỉ biết tỷ lệ dự đoán đúng (accuracy) là chưa đủ. Ví dụ, trong phát hiện bất thường, các trường hợp bình thường nhiều hơn rất nhiều so với các trường hợp bất thường. Một model dự đoán "bình thường" cho mọi input có thể đạt accuracy 99% nhưng sẽ vô dụng trong việc phát hiện các vấn đề thực tế. F1-Score giải quyết vấn đề này bằng cách cân bằng hai metric cạnh tranh:

• Precision: Metric này đo lường chất lượng của các dự đoán dương tính. Nó trả lời câu hỏi: "Trong tất cả các instance được model gán nhãn là dương tính, có bao nhiêu instance thực sự dương tính?"
• Recall: Metric này đo lường số lượng các dự đoán dương tính được xác định. Nó trả lời câu hỏi: "Trong tất cả các instance dương tính thực tế, model đã xác định chính xác bao nhiêu instance?"

Vì thường có sự đánh đổi—cải thiện precision có xu hướng làm giảm recall và ngược lại—F1-Score đóng vai trò là một metric hợp nhất để tìm ra điểm cân bằng tối ưu. Điều này rất quan trọng khi tinh chỉnh model bằng tối ưu hóa hyperparameter nhằm đảm bảo hiệu suất ổn định trong nhiều điều kiện khác nhau.

Các ứng dụng trong thực tế#

F1-Score có tính ứng dụng trong nhiều ngành khác nhau, nơi chi phí của sai sót rất đáng kể.

• Chẩn đoán y khoa: Trong AI trong chăm sóc sức khỏe, cụ thể là các tác vụ như phát hiện khối u, false negative (bỏ sót khối u) có thể đe dọa tính mạng, trong khi false positive (đánh dấu mô lành tính) gây lo lắng không cần thiết. F1-Score giúp các nhà nghiên cứu tối ưu các model như YOLO26 để đảm bảo hệ thống đủ nhạy nhằm phát hiện bệnh mà không khiến bác sĩ bị quá tải bởi các cảnh báo giả.
• Truy xuất thông tin và tìm kiếm: Công cụ tìm kiếm và các hệ thống phân loại tài liệu sử dụng F1-Score để đánh giá mức độ liên quan. Người dùng muốn xem tất cả tài liệu liên quan (recall cao) nhưng không muốn phải xem qua các kết quả không liên quan (precision cao). F1-Score cao cho thấy công cụ đang truy xuất hiệu quả thông tin phù hợp mà không tạo ra kết quả dư thừa.
• Lọc spam: Các dịch vụ email sử dụng phân loại văn bản để phân loại spam. Hệ thống phải phát hiện được email spam (recall), nhưng quan trọng là không được gán các email công việc quan trọng thành thư rác (precision). F1-Score là benchmark chính cho các bộ lọc này.

Tính F1-Score với Ultralytics#

Các framework computer vision hiện đại giúp đơn giản hóa việc tính các metric này. Khi train các model phát hiện đối tượng, F1-Score được tự động tính trong giai đoạn validation. Ultralytics Platform trực quan hóa các metric này bằng các biểu đồ theo thời gian thực, cho phép người dùng xem đường cong F1-Score theo các ngưỡng confidence khác nhau.

Sau đây là cách bạn có thể truy cập các metric validation, bao gồm các thành phần của F1-Score, bằng Python API:

from ultralytics import YOLO

# Load a pre-trained YOLO26 model
model = YOLO("yolo26n.pt")

# Validate the model on a dataset (metrics are computed automatically)
# This returns a validator object containing precision, recall, and mAP
metrics = model.val(data="coco8.yaml")

# Print the Mean Average Precision (mAP50-95), which correlates with F1 performance
print(f"mAP50-95: {metrics.box.map}")

# Access precision and recall arrays to manually inspect the balance
print(f"Precision: {metrics.box.p}")
print(f"Recall: {metrics.box.r}")

F1-Score và các Metric Liên quan#

Hiểu rõ F1-Score khác với các tiêu chí đánh giá khác như thế nào là điều cần thiết để lựa chọn công cụ phù hợp cho project của bạn.

• Khác biệt so với Accuracy: Accuracy xem mọi lỗi là như nhau. F1-Score phù hợp hơn với dataset mất cân bằng vì tập trung vào hiệu suất của class dương tính (class thiểu số được quan tâm).
• Mối quan hệ với mAP: Độ chính xác trung bình (mAP) là tiêu chuẩn để so sánh các model phát hiện đối tượng trên tất cả các ngưỡng confidence. Tuy nhiên, F1-Score thường được sử dụng để xác định ngưỡng confidence tối ưu cho việc triển khai. Bạn có thể chọn ngưỡng tại đó đường cong F1 đạt đỉnh để triển khai application của mình.
• Ma trận nhầm lẫn: Ma trận nhầm lẫn cung cấp số lượng thô (dương tính thật, dương tính giả, v.v.) để tính ra F1-Score. Trong khi ma trận cung cấp thông tin chi tiết, F1-Score cung cấp một statistic tóm tắt duy nhất để so sánh nhanh.
• ROC-AUC: Diện tích dưới đường cong (AUC) đo lường khả năng phân tách trên tất cả các ngưỡng. F1-Score thường được ưu tiên hơn ROC-AUC khi phân phối class bị lệch mạnh (ví dụ: phát hiện gian lận, trong đó gian lận rất hiếm).

Cải thiện F1-Score#

Nếu model của bạn có F1-Score thấp, một số chiến lược có thể hữu ích. Tăng cường dữ liệu có thể tăng sự đa dạng của các ví dụ dương tính, giúp model tổng quát hóa tốt hơn. Áp dụng transfer learning từ các foundation model mạnh cho phép network tận dụng các feature đã được học trước. Ngoài ra, điều chỉnh ngưỡng confidence trong quá trình inference có thể thay đổi thủ công sự cân bằng giữa precision và recall để tối đa hóa F1-Score cho use case cụ thể của bạn.