Diện tích dưới đường cong (AUC)

Diện tích dưới đường cong (AUC) là một chỉ số hiệu suất toàn diện được sử dụng trong học máy (ML) để đánh giá khả năng phân biệt của một mô hình phân loại. Cụ thể, nó đo diện tích hai chiều bên dưới đường cong đặc tính hoạt động của bộ thu (ROC) , cung cấp một giá trị vô hướng duy nhất nằm trong khoảng từ 0 đến 1. AUC bằng 1,0 cho thấy một bộ phân loại hoàn hảo, trong khi AUC bằng 0,5 cho thấy mô hình hoạt động không tốt hơn so với xác suất ngẫu nhiên. Bởi vì nó tổng hợp hiệu suất trên tất cả các ngưỡng phân loại có thể, AUC đặc biệt hiệu quả để đánh giá khả năng mô hình hóa dự đoán trong các trường hợp mà ranh giới quyết định tối ưu không được biết hoặc thay đổi.

Mối quan hệ giữa ROC và AUC

Để hiểu đầy đủ về AUC, người ta phải hiểu đường cong ROC cơ bản. Đồ thị này biểu diễn Tỷ lệ dương tính thực (Recall) so với Tỷ lệ dương tính giả ở các ngưỡng khác nhau. Về cơ bản, AUC định lượng xác suất mà mô hình sẽ xếp hạng một trường hợp dương tính được chọn ngẫu nhiên cao hơn một trường hợp âm tính được chọn ngẫu nhiên.

• Khả năng phân tách: AUC đo lường mức độ phân biệt giữa các lớp của mô hình (ví dụ: "chó" so với "mèo"). Khả năng phân tách càng cao thì dự đoán càng tốt.
• Tính bất biến theo ngưỡng: Không giống như điểm F1 , phụ thuộc vào một điểm cắt cụ thể, AUC cung cấp cái nhìn tổng quan rộng hơn về chất lượng của mô hình.
• Tính bất biến theo tỷ lệ: Nó đo lường mức độ xếp hạng của các dự đoán, chứ không phải giá trị xác suất tuyệt đối của chúng.

Các Ứng dụng Thực tế

AUC là một chỉ số được ưa chuộng trong các ngành liên quan đến việc ra quyết định quan trọng và các tập dữ liệu không cân bằng , nơi một lớp hiếm hơn đáng kể so với lớp khác.

1. Chẩn đoán y khoa: Trong lĩnh vực trí tuệ nhân tạo ứng dụng trong chăm sóc sức khỏe , các mô hình được huấn luyện để xác định các bệnh lý từ phân tích hình ảnh y tế . Ví dụ, một mô hình phát hiện các khối u hiếm gặp phải ưu tiên độ nhạy . Chỉ số AUC cao đảm bảo rằng hệ thống sẽ gán điểm rủi ro cao hơn một cách đáng tin cậy cho bệnh nhân thực tế so với người khỏe mạnh, giảm thiểu các trường hợp âm tính giả nguy hiểm.
2. Phát hiện gian lận tài chính: Các tổ chức tài chính sử dụng trí tuệ nhân tạo (AI) trong lĩnh vực tài chính để phát hiện các giao dịch gian lận. Vì số lượng giao dịch hợp pháp vượt xa số lượng giao dịch gian lận, một mô hình có thể đạt độ chính xác 99% bằng cách đơn giản coi mọi giao dịch là "hợp pháp". Chỉ số AUC ngăn chặn điều này bằng cách đánh giá mức độ hiệu quả của mô hình trong việc phân biệt các hành vi gian lận thực sự với hành vi bình thường, bất kể sự phân bố của các lớp giao dịch.

Phân biệt AUC với các chỉ số liên quan

Việc phân biệt AUC với các chỉ số đánh giá mô hình khác là rất quan trọng để lựa chọn công cụ phù hợp cho dự án của bạn.

• AUC so với Độ chính xác: Độ chính xác đơn giản là tỷ lệ giữa số dự đoán đúng và tổng số dự đoán. Trên các tập dữ liệu có độ lệch lớn, độ chính xác có thể cao một cách sai lệch. AUC có khả năng chống chịu tốt với sự mất cân bằng lớp, cung cấp một đánh giá trung thực hơn về hiệu suất của bộ phân loại.
• AUC so với Độ chính xác-Độ thu hồi: Trong khi ROC-AUC là tiêu chuẩn cho các kết quả cân bằng, thì Diện tích dưới đường cong Độ chính xác-Độ thu hồi (AUPRC) thường được ưu tiên khi lớp "dương tính" cực kỳ hiếm và sai sót dương tính là mối quan ngại lớn.
• AUC so với mAP : Trong các tác vụ phát hiện đối tượng sử dụng các mô hình như YOLO26 , chỉ số tiêu chuẩn là Độ chính xác trung bình ( mAP ) . Trong khi đó, mAP Về mặt khái niệm thì tương tự — tính diện tích dưới đường cong Độ chính xác-Độ thu hồi trên các tỷ lệ Giao nhau trên Hợp nhất khác nhau ( IoU ) ngưỡng—AUC đề cập chính xác đến đường cong ROC trong phân loại nhị phân hoặc đa lớp.

Ví dụ mã

Ví dụ sau đây minh họa cách tải mô hình phân loại YOLO26 đã được huấn luyện trước và chạy quá trình xác thực. Trong khi đó, YOLO Các mô hình chủ yếu báo cáo độ chính xác top 1 và top 5, quy trình xác thực tạo ra dữ liệu dự đoán cần thiết để phân tích các chỉ số dựa trên đường cong.

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Validate the model on a standard dataset (e.g., imagenet10)
# This generates precision, recall, and accuracy metrics
results = model.val(data="imagenet10")

# Access top-1 accuracy, a key point on the ROC curve
print(f"Top-1 Accuracy: {results.top1:.4f}")
print(f"Top-5 Accuracy: {results.top5:.4f}")

Để quản lý vòng đời toàn diện, bao gồm chú thích tập dữ liệu và huấn luyện trên nền tảng đám mây, nơi các chỉ số này được hiển thị tự động, các nhà phát triển có thể sử dụng Nền tảng Ultralytics . Điều này giúp đơn giản hóa quá trình diễn giải các chỉ số phức tạp như AUC mà không cần tính toán thủ công.