Area Under the Curve (AUC)

Diện tích dưới đường cong (AUC) là một metric hiệu suất toàn diện được sử dụng trong machine learning (ML) để đánh giá khả năng phân biệt của model phân loại. Cụ thể, metric này đo diện tích hai chiều bên dưới đường cong đặc tính hoạt động của bộ thu (ROC), cung cấp một giá trị vô hướng duy nhất trong khoảng từ 0 đến 1. AUC bằng 1.0 cho thấy classifier hoàn hảo, trong khi AUC bằng 0.5 cho thấy model không hoạt động tốt hơn mức ngẫu nhiên. Vì tổng hợp hiệu suất trên tất cả các ngưỡng phân loại khả dĩ, AUC đặc biệt hiệu quả để đánh giá khả năng mô hình hóa dự đoán trong những tình huống mà ranh giới quyết định tối ưu chưa được biết hoặc thay đổi.

Mối quan hệ giữa ROC và AUC#

Để hiểu đầy đủ về AUC, cần nắm được đường cong ROC nền tảng. Đồ thị này biểu diễn Tỷ lệ dương tính thật (Recall) theo Tỷ lệ dương tính giả tại nhiều thiết lập ngưỡng khác nhau. Về bản chất, AUC định lượng xác suất model xếp hạng một mẫu dương tính được chọn ngẫu nhiên cao hơn một mẫu âm tính được chọn ngẫu nhiên.

• Khả năng phân tách: AUC đo lường mức độ model phân biệt giữa các class (ví dụ: "chó" và "mèo"). Khả năng phân tách càng cao thì dự đoán càng tốt.
• Tính bất biến theo ngưỡng: Không giống F1-score, vốn phụ thuộc vào một điểm cắt cụ thể, AUC cung cấp góc nhìn tổng quan về chất lượng của model.
• Tính bất biến theo tỷ lệ: Metric này đo lường mức độ dự đoán được xếp hạng tốt, thay vì các giá trị xác suất tuyệt đối của chúng.

Các ứng dụng trong thực tế#

AUC là metric được ưu tiên trong các ngành xử lý việc ra quyết định quan trọng và dataset mất cân bằng, trong đó một class hiếm hơn đáng kể so với class còn lại.

1. Chẩn đoán y khoa: Trong lĩnh vực AI trong chăm sóc sức khỏe, các model được huấn luyện để nhận diện bệnh lý từ phân tích hình ảnh y khoa. Ví dụ, một model phát hiện các khối u hiếm gặp phải ưu tiên độ nhạy. AUC cao đảm bảo hệ thống đáng tin cậy trong việc gán điểm rủi ro cao hơn cho bệnh nhân thực sự mắc bệnh so với người khỏe mạnh, qua đó giảm các âm tính giả nguy hiểm.

2. Phát hiện gian lận tài chính: Các tổ chức tài chính sử dụng AI trong tài chính để phát hiện giao dịch gian lận. Vì số lượng giao dịch hợp lệ vượt xa giao dịch gian lận, một model có thể đạt độ chính xác 99% chỉ bằng cách gọi mọi giao dịch là "hợp lệ." AUC ngăn chặn điều này bằng cách đánh giá mức độ model phân tách các hành vi gian lận thực tế khỏi hành vi bình thường, bất kể phân phối class.

Phân biệt AUC với các metric liên quan#

Điều quan trọng là phải phân biệt AUC với các insight về đánh giá model khác để lựa chọn công cụ phù hợp cho dự án của bạn.

• AUC và Accuracy: Accuracy đơn giản là tỷ lệ giữa số dự đoán đúng và tổng số dự đoán. Trên các dataset có độ lệch cao, accuracy có thể cao một cách gây hiểu nhầm. AUC có khả năng chống chịu với tình trạng mất cân bằng class, nhờ đó cung cấp đánh giá trung thực hơn về hiệu suất của classifier.
• AUC và Precision-Recall: Trong khi ROC-AUC là tiêu chuẩn cho các kết quả cân bằng, Diện tích dưới đường cong Độ chính xác-Độ thu hồi (AUPRC) thường được ưu tiên khi class "dương tính" cực kỳ hiếm và dương tính giả là mối quan ngại lớn.
• AUC và mAP: Trong các tác vụ phát hiện đối tượng sử dụng những model như YOLO26, metric tiêu chuẩn là Độ chính xác trung bình trung bình (mAP). Mặc dù mAP tương tự về mặt khái niệm—tính diện tích dưới đường cong Độ chính xác-Độ thu hồi trên các ngưỡng Intersection over Union (IoU) khác nhau—AUC chỉ đề cập đến đường cong ROC trong các bài toán phân loại nhị phân hoặc đa class.

Ví dụ về code#

Ví dụ sau minh họa cách tải model phân loại YOLO26 đã được huấn luyện trước và chạy validation. Mặc dù các model YOLO chủ yếu báo cáo accuracy top-1 và top-5, quy trình validation tạo ra dữ liệu dự đoán cần thiết để phân tích các metric dựa trên đường cong.

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Validate the model on a standard dataset (e.g., imagenet10)
# This generates precision, recall, and accuracy metrics
results = model.val(data="imagenet10")

# Access top-1 accuracy, a key point on the ROC curve
print(f"Top-1 Accuracy: {results.top1:.4f}")
print(f"Top-5 Accuracy: {results.top5:.4f}")

Để quản lý toàn diện vòng đời, bao gồm gắn nhãn dataset và huấn luyện trên cloud, trong đó các metric này được tự động trực quan hóa, developer có thể sử dụng Ultralytics Platform. Nền tảng này đơn giản hóa quy trình diễn giải các metric phức tạp như AUC mà không cần tính toán thủ công.