Đường cong đặc tính hoạt động của máy thu (ROC)

Đường cong Đặc tính Vận hành của Bộ thu (ROC) là một biểu diễn đồ họa được sử dụng để đánh giá hiệu suất của một mô hình phân loại nhị phân. Nó trực quan hóa sự đánh đổi giữa Tỷ lệ Dương tính Thật (TPR) và Tỷ lệ Dương tính Giả (FPR) trên các ngưỡng phân loại khác nhau. Trong học máy (ML) , đường cong này đóng vai trò cơ bản trong việc đánh giá mức độ phân biệt giữa hai lớp của một mô hình, chẳng hạn như "rác" so với "không phải rác" hoặc "bệnh" so với "khỏe mạnh". Bằng cách biểu diễn các tỷ lệ này, đường cong ROC cung cấp một cái nhìn toàn diện về khả năng chẩn đoán của mô hình, vượt ra ngoài các chỉ số đơn lẻ như độ chính xác , vốn có thể gây hiểu lầm khi đứng riêng lẻ.

Hiểu về các trục

Để diễn giải đường cong ROC một cách chính xác, điều cần thiết là phải hiểu hai số liệu được biểu diễn trên các trục của nó:

• Tỷ lệ dương tính thực (TPR): Thường được gọi là Độ thu hồi hoặc Độ nhạy, chỉ số này đo lường tỷ lệ các trường hợp dương tính thực tế mà mô hình xác định chính xác. Ví dụ, trong một hệ thống an ninh, đây sẽ là tỷ lệ phần trăm kẻ xâm nhập thực tế được phát hiện chính xác.
• Tỷ lệ Dương tính Giả (FPR): Chỉ số này tính toán tỷ lệ các trường hợp âm tính thực tế được xác định nhầm là dương tính (báo động giả). FPR càng thấp thì càng ít báo động giả, điều này rất quan trọng đối với niềm tin của người dùng vào các hệ thống như xác thực sinh trắc học .

Đường cong được tạo ra bằng cách thay đổi ngưỡng tin cậy của bộ phân loại từ 0 đến 1. Mỗi điểm trên đường cong ROC biểu thị một cặp độ nhạy/độ đặc hiệu tương ứng với một ngưỡng quyết định cụ thể. Đường chéo từ góc dưới bên trái lên góc trên bên phải biểu thị một bộ phân loại ngẫu nhiên không có kỹ năng dự đoán (giống như tung đồng xu), trong khi đường cong cong dốc về phía góc trên bên trái biểu thị một mô hình hiệu suất cao.

Các Ứng dụng Thực tế

Đường cong ROC được sử dụng rộng rãi trong nhiều ngành công nghiệp khác nhau để tối ưu hóa ngưỡng quyết định cho việc triển khai mô hình .

1. Chẩn đoán y khoa: Trong phân tích hình ảnh y khoa , các nhà nghiên cứu sử dụng đường cong ROC để điều chỉnh mô hình nhằm phát hiện các tình trạng như viêm phổi hoặc khối u. TPR cao được ưu tiên để đảm bảo không bỏ sót bất kỳ trường hợp dương tính nào, ngay cả khi điều đó có nghĩa là chấp nhận FPR cao hơn một chút. Sự cân bằng này rất quan trọng để tuân thủ các tiêu chuẩn an toàn từ các tổ chức như FDA .
2. Phát hiện gian lận tài chính: Các tổ chức tài chính sử dụng AI trong lĩnh vực tài chính để xác định các giao dịch gian lận. Ở đây, đường cong ROC giúp các nhà phân tích lựa chọn ngưỡng phát hiện phần lớn các hành vi gian lận (tỷ lệ thu hồi cao) mà không đánh dấu quá nhiều giao dịch hợp lệ, điều này sẽ ảnh hưởng tiêu cực đến trải nghiệm của khách hàng.

Tính toán xác suất cho ROC

Để vẽ đường cong ROC, bạn cần xác suất dự đoán cho lớp dương chứ không chỉ nhãn lớp cuối cùng. Ví dụ sau đây minh họa cách trích xuất các xác suất này bằng cách sử dụng YOLO11 mô hình phân loại từ ultralytics bưu kiện.

from ultralytics import YOLO

# Load a pretrained YOLO11 classification model
model = YOLO("yolo11n-cls.pt")

# Run inference on an image to get prediction results
results = model("path/to/image.jpg")

# Access the probability distribution for all classes
# These scores are necessary inputs for calculating ROC and AUC
probs = results[0].probs.data
print(f"Class probabilities: {probs}")

Khi đã có được các xác suất này cho tập dữ liệu thử nghiệm, các thư viện như Scikit-learn có thể được sử dụng để tính toán các giá trị FPR và TPR cần thiết để vẽ đường cong.

ROC so với các số liệu đánh giá khác

Mặc dù đường cong ROC là một công cụ mạnh mẽ, nhưng cần phân biệt nó với các khái niệm đánh giá liên quan:

• Diện tích dưới đường cong (AUC): Diện tích dưới đường cong (AUC) là một giá trị vô hướng được lấy từ đường cong ROC. Mặc dù ROC là một biểu đồ trực quan, AUC định lượng hiệu suất tổng thể thành một số duy nhất từ 0 đến 1, giúp việc so sánh giữa các mô hình học có giám sát khác nhau dễ dàng hơn.
• Đường cong Độ chính xác-Triệu hồi: Khi xử lý các tập dữ liệu mất cân bằng nghiêm trọng (ví dụ, một bệnh hiếm gặp ảnh hưởng đến 1% dân số), đường cong ROC đôi khi có thể đưa ra một cái nhìn quá lạc quan. Trong những trường hợp như vậy, đường cong Độ chính xác-Triệu hồi thường mang lại nhiều thông tin hơn vì nó tập trung trực tiếp vào hiệu suất của nhóm thiểu số mà không tính đến các yếu tố Âm tính Thực sự.
• Ma trận nhầm lẫn: Ma trận nhầm lẫn cung cấp một cái nhìn tổng quan về hiệu suất ở một ngưỡng cụ thể, hiển thị số lượng chính xác các kết quả dương tính thật, dương tính giả, âm tính thật và âm tính giả. Đường cong ROC tóm tắt hiệu quả thông tin từ các ma trận nhầm lẫn được tạo ra ở mọi ngưỡng có thể.

Đối với các tác vụ liên quan đến phát hiện đối tượng , các chỉ số như Độ chính xác Trung bình ( mAP ) thường được sử dụng, mặc dù đường cong ROC vẫn có liên quan đến thành phần phân loại cơ bản của các mô hình này. Việc hiểu rõ những điểm khác biệt này đảm bảo các nhà phát triển chọn đúng chỉ số cho các thách thức cụ thể về thị giác máy tính (CV) của họ.