F1-Score

Điểm F1 là một chỉ số hiệu suất quan trọng trong học máy (ML) được sử dụng để đánh giá độ chính xác của các mô hình phân loại. Không giống như độ chính xác đơn giản, vốn tính toán tỷ lệ phần trăm dự đoán đúng, Điểm F1 kết hợp hai chỉ số quan trọng khác — Độ chính xác (Precision) và Độ thu hồi (Recall) — thành một giá trị duy nhất. Nó được định nghĩa là giá trị trung bình hài hòa của độ chính xác và độ thu hồi. Điều này khiến Điểm F1 đặc biệt hữu ích trong việc đánh giá các mô hình được huấn luyện trên các tập dữ liệu mất cân bằng , trong đó số lượng mẫu trong một lớp vượt trội đáng kể so với các lớp khác. Trong những trường hợp như vậy, một mô hình có thể đạt được độ chính xác cao chỉ bằng cách dự đoán lớp đa số, trong khi không xác định được lớp thiểu số thường được quan tâm hơn.

Sự cân bằng giữa độ chính xác và khả năng nhớ lại

Để hiểu Điểm F1, cần nắm bắt được sự căng thẳng giữa các thành phần của nó. Độ chính xác đo lường chất lượng của các dự đoán dương tính (giảm thiểu các trường hợp dương tính giả), trong khi Độ thu hồi đo lường số lượng các trường hợp dương tính thật được xác định (giảm thiểu các trường hợp âm tính giả). Thông thường, việc tăng một trong hai chỉ số này sẽ dẫn đến giảm chỉ số còn lại, một hiện tượng được gọi là sự đánh đổi giữa Độ chính xác và Độ thu hồi . Điểm F1 cung cấp một cái nhìn cân bằng bằng cách xử lý các giá trị cực trị. Nó đạt giá trị tốt nhất ở mức 1 (độ chính xác và độ thu hồi hoàn hảo) và kém nhất ở mức 0. Sự cân bằng này rất cần thiết để phát triển các hệ thống mô hình dự đoán mạnh mẽ, trong đó cả việc phát hiện sai sót và cảnh báo sai đều gây ra tổn thất đáng kể.

Các Ứng dụng Thực tế

Điểm F1 là yếu tố không thể thiếu trong những trường hợp chi phí lỗi cao hoặc phân phối dữ liệu bị lệch.

• Phân tích hình ảnh y tế : Trong chăm sóc sức khỏe, việc chẩn đoán các tình trạng như khối u đòi hỏi độ nhạy cao. Âm tính giả (bỏ sót khối u) rất nguy hiểm, trong khi dương tính giả (xác định mô khỏe mạnh là khối u) gây ra căng thẳng không cần thiết. Các giải pháp tận dụng AI trong chăm sóc sức khỏe dựa vào Điểm F1 để đảm bảo mô hình duy trì sự cân bằng an toàn, phát hiện càng nhiều trường hợp thực càng tốt mà không gây quá tải cho bác sĩ bằng báo động giả.
• Phát hiện bất thường trong tài chính : Các tổ chức tài chính sử dụng AI để detect Giao dịch gian lận. Vì gian lận thực tế hiếm khi xảy ra so với giao dịch hợp pháp, một mô hình có thể đạt độ chính xác 99,9% chỉ bằng cách dán nhãn mọi thứ là hợp pháp. Tuy nhiên, điều này sẽ vô ích trong việc phát hiện gian lận. Bằng cách tối ưu hóa Điểm F1, AI trong hệ thống tài chính có thể đánh dấu hiệu quả các hoạt động đáng ngờ đồng thời giảm thiểu gián đoạn do việc chặn thẻ hợp lệ.

Điểm F1 trong Ultralytics YOLO11

Đối với các tác vụ thị giác máy tính (CV) như phát hiện đối tượng , Điểm F1 giúp xác định mức độ mô hình xác định ranh giới và phân loại đối tượng ở các ngưỡng tin cậy cụ thể. Khi huấn luyện các mô hình như Ultralytics YOLO11 , quy trình xác thực sẽ tính toán độ chính xác, độ thu hồi và Điểm F1 để giúp các kỹ sư lựa chọn trọng số mô hình tốt nhất.

Sau đây là Python mã chứng minh cách xác thực một YOLO11 mô hình và truy cập số liệu hiệu suất.

from ultralytics import YOLO

# Load a pretrained YOLO11 model
model = YOLO("yolo11n.pt")

# Run validation on a dataset like COCO8
# The .val() method computes metrics including Precision, Recall, and mAP
metrics = model.val(data="coco8.yaml")

# Print the mean results
# While F1 is computed internally for curves, mAP is the primary summary metric
print(f"Mean Average Precision (mAP50-95): {metrics.box.map}")
print(f"Precision: {metrics.box.mp}")
print(f"Recall: {metrics.box.mr}")

Phân biệt Điểm F1 với các Số liệu Liên quan

Việc lựa chọn số liệu phù hợp phụ thuộc vào mục tiêu cụ thể của dự án AI.

• Độ chính xác : Chỉ số này đo lường độ chính xác tổng thể của các dự đoán. Chỉ số này được sử dụng tốt nhất khi phân phối lớp gần bằng nhau. Ngược lại, Điểm F1 là thước đo được ưu tiên cho phân phối lớp không đồng đều.
• Độ chính xác trung bình ( mAP ) : Trong khi Điểm F1 thường được tính toán ở ngưỡng tin cậy cụ thể, mAP đánh giá độ chính xác trung bình trên các mức độ thu hồi khác nhau. mAP là tiêu chuẩn để so sánh các mô hình phát hiện đối tượng, trong khi F1 hữu ích để tối ưu hóa một điểm vận hành cụ thể.
• Diện tích dưới đường cong (AUC) : AUC biểu thị diện tích dưới đường cong Đặc tính hoạt động của máy thu (ROC) . AUC đo lường khả năng của bộ phân loại trong việc phân biệt các lớp trên tất cả các ngưỡng, trong khi Điểm F1 tập trung cụ thể vào hiệu suất lớp tích cực tại một ngưỡng duy nhất.

Cải thiện Mô hình F1-Score

Việc cải thiện Điểm F1 thường liên quan đến những cải tiến lặp đi lặp lại đối với mô hình và dữ liệu.

• Điều chỉnh siêu tham số : Điều chỉnh các thiết lập như tốc độ học, kích thước lô hoặc hàm mất mát có thể giúp mô hình hội tụ về một giải pháp cân bằng giữa độ chính xác và khả năng thu hồi hiệu quả hơn.
• Tăng cường dữ liệu : Các kỹ thuật như lật, thay đổi tỷ lệ hoặc thêm nhiễu vào dữ liệu đào tạo giúp mô hình tiếp xúc với nhiều ví dụ đa dạng hơn, cải thiện khả năng khái quát hóa và xác định chính xác các trường hợp dương khó.
• Học chuyển giao : Bắt đầu với một mô hình được đào tạo trước trên một tập dữ liệu lớn, đa dạng cho phép mạng tận dụng các trình trích xuất tính năng đã học, thường dẫn đến Điểm F1 cao hơn trong các tác vụ chuyên biệt với dữ liệu hạn chế.