Precision-Recall Curve

Đường cong precision-recall là biểu đồ cho thấy precision và recall của model thay đổi như thế nào khi ngưỡng quyết định thay đổi. Recall nằm trên trục hoành, còn precision nằm trên trục tung. Mỗi điểm vận hành được đo tương ứng với một ngưỡng: số trường hợp dương tính mà model phát hiện được và mức độ đáng tin cậy của các dự đoán dương tính. Đường cong giúp đánh giá các bộ phân loại và bộ phát hiện khi chi phí của cảnh báo sai và trường hợp bị bỏ sót khác nhau.

Cách hoạt động của đường cong Precision-Recall#

Precision là tỷ lệ dự đoán dương tính chính xác: TP / (TP + FP). Recall, còn gọi là độ nhạy, là tỷ lệ các trường hợp dương tính thực tế được phát hiện: TP / (TP + FN). TP là dương tính thật, FP là dương tính giả và FN là âm tính giả — các kết quả được tính trong ma trận nhầm lẫn.

Quét ngưỡng confidence qua các điểm số dự đoán sẽ tạo ra các cặp precision-recall. Hạ ngưỡng cho phép thêm nhiều dự đoán hơn, do đó recall tăng hoặc giữ nguyên. Precision có thể tăng hoặc giảm khi các dự đoán đúng và sai được đưa vào tập, tạo thành đường cong dạng bậc thang.

Cyril Cleverdon đã giới thiệu các biểu đồ recall theo mức độ liên quan trong báo cáo Cranfield năm 1962, đặt nền móng cho việc đánh giá precision-recall trong lĩnh vực truy xuất thông tin. Trong tìm kiếm tài liệu, tài liệu liên quan được truy xuất là dương tính thật; tài liệu không liên quan được truy xuất là dương tính giả.

Diễn giải đường cong và đường cơ sở#

Đường cong duy trì precision cao khi recall tiến gần đến 1 cho thấy hiệu suất tốt. Khi các đường cong giao nhau, mỗi model hoạt động tốt hơn ở một vùng vận hành khác nhau. Precision giảm mạnh cho thấy thời điểm các dự đoán bổ sung tạo ra nhiều cảnh báo sai.

Đường cơ sở của xếp hạng ngẫu nhiên không có thông tin là tỷ lệ lớp dương tính — tỷ lệ ví dụ được gán nhãn dương tính. Nếu 1% là dương tính, precision cơ sở là 0.01. Thay đổi tỷ lệ này làm thay đổi precision, vì vậy tập dữ liệu đánh giá cũng là một phần của kết quả.

Đường cong đặc tính hoạt động của bộ thu (ROC) thay vào đó biểu diễn recall theo tỷ lệ dương tính giả, FP / (FP + TN), trong đó TN là âm tính thật. Đánh giá precision-recall trực tiếp thể hiện tỷ lệ cảnh báo chính xác, nên hữu ích với các trường hợp dương tính hiếm gặp. Accuracy có thể bị chi phối bởi lớp chiếm đa số.

Chọn ngưỡng vận hành#

Chọn một điểm vận hành trên dữ liệu validation dựa theo chi phí lỗi. Nếu cần recall tối thiểu, hãy chọn điểm khả thi có precision cao nhất; nếu cần precision tối thiểu, hãy chọn điểm khả thi có recall cao nhất. Tối đa hóa điểm F1, trung bình điều hòa của precision và recall, sẽ gán trọng số ngang nhau cho cả hai chỉ số. Giá trị ngưỡng được lấy từ các điểm số cơ sở hoặc từ biểu đồ precision-confidence và recall-confidence.

Dự đoán của Ultralytics YOLO cho phép chọn ngưỡng này thông qua conf, dùng để lọc các phát hiện có điểm số. Trong một đánh giá của Academy với YOLO26n trên bốn ảnh validation COCO8 tại IoU 0.50, việc tăng conf từ 0.10 lên 0.25 đã làm precision/recall nội suy của lớp người thay đổi từ 0.63/0.80 thành 1.00/0.54: giảm cảnh báo sai đồng nghĩa với việc bỏ sót nhiều người hơn.

Giữ cố định ngưỡng đã chọn khi đánh giá trên dữ liệu kiểm thử.

Vẽ đường cong Precision-Recall trong Python#

Ví dụ này phân biệt chữ số viết tay 9 với các chữ số khác bằng hình ảnh đi kèm và hồi quy logistic. Cài đặt các dependency bằng pip install scikit-learn matplotlib, sau đó sử dụng API vẽ biểu đồ precision-recall của scikit-learn.

import matplotlib.pyplot as plt
from sklearn.datasets import load_digits
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import PrecisionRecallDisplay
from sklearn.model_selection import train_test_split

X, digits = load_digits(return_X_y=True)
y = digits == 9
X_train, X_test, y_train, y_test = train_test_split(X, y, stratify=y, random_state=42)
model = LogisticRegression(max_iter=2000)
model.fit(X_train, y_train)
PrecisionRecallDisplay.from_estimator(model, X_test, y_test)
plt.savefig("precision_recall_curve.png", bbox_inches="tight")

Biểu đồ đã lưu cho thấy precision tại từng mức recall có thể đạt được đối với các hình ảnh chữ số dùng để đánh giá.

Phát hiện đối tượng và Average Precision#

Trong phát hiện đối tượng, một bounding box dự đoán được tính là dương tính thật khi khớp với một đối tượng đã được gán nhãn, chưa được ghép với dự đoán nào khác và cùng lớp, với giao trên hợp (IoU) bằng hoặc cao hơn ngưỡng. Các dự đoán không khớp, bao gồm cả dự đoán trùng lặp, được tính là dương tính giả. Mỗi lớp có một đường cong riêng với yêu cầu IoU được giữ cố định.

Độ chính xác trung bình (AP) tóm tắt đường cong trên các mức recall. PR-AUC hình thang và AP không nội suy sử dụng các quy tắc tích phân khác nhau. Trung bình độ chính xác trung bình (mAP) là giá trị trung bình của AP các lớp. Trong các chỉ số hiệu suất phát hiện, mAP₅₀ sử dụng IoU 0.50, còn mAP50–95 lấy trung bình trên mười ngưỡng IoU từ 0.50 đến 0.95, với bước tăng 0.05.