Receiver Operating Characteristic (ROC) Curve

Đường cong Receiver Operating Characteristic (ROC) là một công cụ đồ họa cơ bản được sử dụng để đánh giá hiệu suất của các mô hình phân loại nhị phân. Trong lĩnh vực machine learning (ML), nó trực quan hóa sự đánh đổi giữa độ nhạy (sensitivity) và độ đặc hiệu (specificity) của mô hình trên tất cả các ngưỡng quyết định có thể. Khác với các số liệu đơn giá trị như accuracy, vốn có thể gây hiểu lầm nếu tập dữ liệu mất cân bằng, đường cong ROC cung cấp một cái nhìn toàn diện về cách trình phân loại hoạt động khi tiêu chí xác định các trường hợp dương tính trở nên nghiêm ngặt hơn hoặc lỏng lẻo hơn. Việc trực quan hóa này rất cần thiết cho các kỹ sư sử dụng các kỹ thuật supervised learning để xác định điểm vận hành tối ưu cho trường hợp sử dụng cụ thể của họ.

Giải thích các trục và sự đánh đổi#

Để hiểu một đường cong ROC, cần phải xem xét hai tham số được vẽ tương quan với nhau: Tỷ lệ dương tính thật (TPR) và Tỷ lệ dương tính giả (FPR).

• Tỷ lệ dương tính thật (True Positive Rate - TPR): Thường được gọi là Recall hoặc độ nhạy, số liệu này trên trục y đo lường tỷ lệ các quan sát dương tính thực tế mà mô hình đã xác định chính xác. TPR cao có nghĩa là hệ thống hiếm khi bỏ sót mục tiêu.
• Tỷ lệ dương tính giả (False Positive Rate - FPR): Được vẽ trên trục x, chỉ số này đại diện cho tỷ lệ các trường hợp âm tính bị phân loại sai thành dương tính, còn được gọi là "báo động giả" (false alarm).

Đường cong minh họa một mối quan hệ động: khi bạn hạ thấp ngưỡng confidence để bắt được nhiều trường hợp dương tính hơn (tăng TPR), bạn chắc chắn sẽ làm tăng nguy cơ gắn cờ nhầm các trường hợp âm tính (tăng FPR). Một trình phân loại hoàn hảo sẽ đạt đến góc trên bên trái của biểu đồ, biểu thị độ nhạy 100% và 0% cảnh báo giả. Một mô hình đưa ra dự đoán ngẫu nhiên sẽ xuất hiện dưới dạng một đường chéo từ dưới bên trái lên trên bên phải. Hiệu suất tổng thể thường được tóm tắt bằng Area Under the Curve (AUC), trong đó giá trị 1,0 đại diện cho sự hoàn hảo.

Các ứng dụng trong thực tế#

Quyết định đặt ngưỡng ở đâu trên đường cong ROC phụ thuộc hoàn toàn vào chi phí của các lỗi trong một ứng dụng công nghiệp cụ thể.

1. Chẩn đoán y tế: Trong AI in healthcare, cụ thể cho các tác vụ như phát hiện khối u trong medical image analysis, cái giá phải trả của việc bỏ sót một trường hợp dương tính (âm tính giả) có khả năng đe dọa đến tính mạng. Do đó, các học viên thường chọn một ngưỡng tối đa hóa TPR, ngay cả khi nó dẫn đến FPR cao hơn, có nghĩa là nhiều bệnh nhân khỏe mạnh hơn có thể ban đầu bị gắn cờ để kiểm tra thêm.

2. Phát hiện gian lận tài chính: Khi AI in finance được sử dụng để giám sát các giao dịch thẻ tín dụng, các ngân hàng phải cân bằng giữa bảo mật và trải nghiệm của khách hàng. Nếu hệ thống quá nhạy cảm (TPR cao), nó có thể chặn các thẻ hợp pháp (FPR cao), gây bực bội cho người dùng. Các nhà phân tích sử dụng đường cong ROC để tìm ra một ngưỡng cân bằng nhằm bắt được hầu hết các hành vi gian lận trong khi giữ cho các false positives ở mức tối thiểu có thể chấp nhận được.

Tạo xác suất cho phân tích ROC#

Để vẽ đường cong ROC, bạn cần các xác suất dự đoán thô chứ không chỉ là các nhãn lớp cuối cùng. Ví dụ sau sử dụng mô hình YOLO26 tối tân để tạo ra điểm số phân loại.

from ultralytics import YOLO

# Load a pretrained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Run inference to get probability distribution
results = model("bus.jpg")

# Access the probability score for the predicted class
# These continuous scores are required to calculate TPR/FPR at different thresholds
print(f"Top Class Index: {results[0].probs.top1}")
print(f"Confidence Score: {results[0].probs.top1conf:.4f}")

Sau khi các xác suất này được thu thập cho một tập hợp xác thực, các nhà phát triển có thể sử dụng các thư viện như Scikit-learn để tính toán các điểm của đường cong. Để quản lý tập dữ liệu và theo dõi các số liệu này theo thời gian, Ultralytics Platform cung cấp các công cụ tích hợp để đánh giá và triển khai mô hình.

ROC so với các khái niệm liên quan#

Điều quan trọng là phải phân biệt đường cong ROC với các công cụ đánh giá khác:

• vs. Đường cong Precision-Recall (PR): Trong khi ROC vẽ biểu đồ TPR dựa trên FPR, Precision-Recall curve vẽ biểu đồ Precision dựa trên Recall. Đường cong PR thường được ưu tiên hơn khi tập dữ liệu bị mất cân bằng nặng (ví dụ: phát hiện các bất thường hiếm gặp), vì đường cong ROC đôi khi có thể đưa ra cái nhìn quá lạc quan trong các kịch bản như vậy.
• vs. Ma trận nhầm lẫn: Một confusion matrix cung cấp một bức ảnh chụp nhanh về hiệu suất tại một ngưỡng cụ thể đơn lẻ. Ngược lại, đường cong ROC trực quan hóa hiệu suất trên tất cả các ngưỡng có thể, biến nó thành một công cụ rộng hơn cho phân tích predictive modeling trước khi quy tắc quyết định cuối cùng được thiết lập.