F1-Score

Điểm F1 là một chỉ số hiệu suất quan trọng trong học máy, kết hợp độ chính xác (precision) và độ thu hồi (recall) thành một giá trị trung bình điều hòa duy nhất. Nó đặc biệt hữu ích để đánh giá các mô hình phân loại khi tập dữ liệu không cân bằng hoặc khi sai sót dương tính giả và âm tính giả có chi phí khác nhau. Không giống như độ chính xác đơn thuần, có thể gây hiểu lầm nếu một lớp chiếm ưu thế trong tập dữ liệu, điểm F1 cung cấp một cái nhìn cân bằng hơn về khả năng của mô hình trong việc xác định chính xác các trường hợp liên quan đồng thời giảm thiểu lỗi. Bằng cách phạt các giá trị cực đoan, nó đảm bảo rằng điểm số cao chỉ đạt được khi cả độ chính xác và độ thu hồi đều ở mức khá cao, khiến nó trở thành một chỉ số thiết yếu trong các lĩnh vực từ chẩn đoán y tế đến truy xuất thông tin.

Tại sao chỉ số F1 lại quan trọng trong học máy?

Trong nhiều tình huống thực tế, chỉ biết tỷ lệ dự đoán chính xác (độ chính xác) là không đủ. Ví dụ, trong phát hiện bất thường , số trường hợp bình thường nhiều hơn rất nhiều so với các trường hợp bất thường. Một mô hình dự đoán "bình thường" cho mọi đầu vào có thể đạt độ chính xác 99% nhưng sẽ vô dụng trong việc phát hiện các vấn đề thực sự. Chỉ số F1 giải quyết vấn đề này bằng cách cân bằng hai chỉ số cạnh tranh:

• Độ chính xác : Tham số này đo lường chất lượng của các dự đoán tích cực. Nó trả lời câu hỏi, "Trong tất cả các trường hợp mà mô hình dán nhãn là tích cực, có bao nhiêu trường hợp thực sự là tích cực?"
• Tóm lại : Chỉ số này đo lường số lượng dự đoán chính xác. Nó trả lời câu hỏi: "Trong tất cả các trường hợp chính xác thực tế, mô hình đã xác định đúng bao nhiêu trường hợp?"

Vì thường có sự đánh đổi—việc cải thiện độ chính xác thường làm giảm độ thu hồi và ngược lại—điểm F1 đóng vai trò là thước đo thống nhất để tìm ra điểm cân bằng tối ưu. Điều này rất quan trọng khi tinh chỉnh các mô hình bằng cách tối ưu hóa siêu tham số để đảm bảo hiệu suất mạnh mẽ trong các điều kiện khác nhau.

Các Ứng dụng Thực tế

Tính hữu ích của chỉ số F1-Score trải rộng trong nhiều ngành công nghiệp khác nhau, nơi mà chi phí do sai sót gây ra là rất đáng kể.

• Chẩn đoán y tế : Trong lĩnh vực trí tuệ nhân tạo ứng dụng trong chăm sóc sức khỏe , đặc biệt là đối với các nhiệm vụ như phát hiện khối u, kết quả âm tính giả (bỏ sót khối u) có thể đe dọa đến tính mạng, trong khi kết quả dương tính giả (phát hiện mô lành tính) gây ra lo lắng không cần thiết. Chỉ số F1 giúp các nhà nghiên cứu tối ưu hóa các mô hình như YOLO26 để đảm bảo hệ thống đủ nhạy để phát hiện bệnh mà không gây quá tải cho bác sĩ bằng các cảnh báo sai.
• Truy xuất và tìm kiếm thông tin : Các công cụ tìm kiếm và hệ thống phân loại tài liệu sử dụng điểm F1 để đánh giá mức độ liên quan. Người dùng muốn xem tất cả các tài liệu liên quan (độ thu hồi cao) nhưng không muốn phải sàng lọc qua các kết quả không liên quan (độ chính xác cao). Điểm F1 cao cho thấy công cụ tìm kiếm đang truy xuất thông tin chính xác một cách hiệu quả mà không gây rối.
• Lọc thư rác : Các dịch vụ email sử dụng phân loại văn bản để phân tách thư rác. Hệ thống phải bắt được email rác (độ thu hồi) nhưng điều quan trọng là không được gắn nhãn các email công việc quan trọng là thư rác (độ chính xác). Điểm F1 đóng vai trò là tiêu chuẩn chính cho các bộ lọc này.

Tính điểm F1 bằng Ultralytics

Các khung phần mềm thị giác máy tính hiện đại đơn giản hóa việc tính toán các chỉ số này. Khi huấn luyện các mô hình phát hiện đối tượng, điểm F1 được tính toán tự động trong giai đoạn xác thực. Nền tảng Ultralytics trực quan hóa các chỉ số này trên biểu đồ thời gian thực, cho phép người dùng xem đường cong của điểm F1 so với các ngưỡng độ tin cậy khác nhau.

Dưới đây là cách bạn có thể truy cập các chỉ số xác thực, bao gồm các thành phần của điểm F1, bằng cách sử dụng... Python API:

from ultralytics import YOLO

# Load a pre-trained YOLO26 model
model = YOLO("yolo26n.pt")

# Validate the model on a dataset (metrics are computed automatically)
# This returns a validator object containing precision, recall, and mAP
metrics = model.val(data="coco8.yaml")

# Print the Mean Average Precision (mAP50-95), which correlates with F1 performance
print(f"mAP50-95: {metrics.box.map}")

# Access precision and recall arrays to manually inspect the balance
print(f"Precision: {metrics.box.p}")
print(f"Recall: {metrics.box.r}")

So sánh điểm F1 với các chỉ số liên quan

Hiểu rõ sự khác biệt giữa điểm F1 và các tiêu chí đánh giá khác là điều cần thiết để lựa chọn công cụ phù hợp cho dự án của bạn.

• Sự khác biệt so với Độ chính xác : Độ chính xác coi tất cả các lỗi đều như nhau. Điểm F1 vượt trội hơn đối với các tập dữ liệu không cân bằng vì nó tập trung vào hiệu suất của lớp tích cực (lớp thiểu số cần quan tâm).
• Mối liên hệ với mAP : Độ chính xác trung bình ( mAP ) là tiêu chuẩn để so sánh các mô hình phát hiện đối tượng trên tất cả các ngưỡng độ tin cậy. Tuy nhiên, điểm F1 thường được sử dụng để xác định ngưỡng độ tin cậy tối ưu cho việc triển khai. Bạn có thể chọn ngưỡng mà tại đó đường cong F1 đạt đỉnh để triển khai ứng dụng của mình.
• Ma trận nhầm lẫn : Ma trận nhầm lẫn cung cấp số liệu thô (Số lượng dương tính thật, Số lượng dương tính giả, v.v.) từ đó tính ra điểm F1. Trong khi ma trận cung cấp thông tin chi tiết, điểm F1 cung cấp một chỉ số tóm tắt duy nhất để so sánh nhanh chóng.
• ROC-AUC : Diện tích dưới đường cong (AUC) đo lường khả năng phân tách giữa các ngưỡng. Điểm F1 thường được ưu tiên hơn ROC-AUC khi phân bố lớp bị lệch mạnh (ví dụ: phát hiện gian lận trong trường hợp gian lận hiếm gặp).

Cải thiện điểm F1 của bạn

Nếu mô hình của bạn có điểm F1 thấp, một số chiến lược có thể giúp ích. Tăng cường dữ liệu có thể làm tăng sự đa dạng của các ví dụ tích cực, giúp mô hình tổng quát hóa tốt hơn. Sử dụng học chuyển giao từ các mô hình nền tảng mạnh mẽ cho phép mạng tận dụng các đặc trưng đã được học trước đó. Ngoài ra, điều chỉnh ngưỡng độ tin cậy trong quá trình suy luận có thể điều chỉnh thủ công sự cân bằng giữa độ chính xác và độ thu hồi để tối đa hóa điểm F1 cho trường hợp sử dụng cụ thể của bạn.