Diện tích dưới đường cong (AUC)

Diện tích dưới đường cong (AUC) là một thước đo cơ bản được sử dụng để định lượng hiệu suất của các mô hình phân loại, đặc biệt là trong lĩnh vực học máy (ML) . Nó đo lường khả năng phân biệt giữa các lớp của mô hình, chẳng hạn như phân tách các trường hợp dương tính với các trường hợp âm tính. Không giống như các thước đo chỉ dựa trên một ngưỡng quyết định duy nhất, AUC cung cấp cái nhìn toàn diện về hiệu suất trên tất cả các ngưỡng có thể. Điều này khiến AUC trở thành một công cụ thiết yếu để đánh giá các thuật toán học có giám sát , đảm bảo khả năng dự đoán của mô hình mạnh mẽ và không bị ảnh hưởng bởi một điểm cắt cụ thể. Giá trị AUC cao hơn thường biểu thị một mô hình có hiệu suất tốt hơn, với điểm 1,0 thể hiện sự phân loại hoàn hảo.

Mối quan hệ giữa AUC và ROC

Thuật ngữ AUC đề cập cụ thể đến diện tích bên dưới đường cong Đặc tính Hoạt động của Máy thu (ROC) . Đường cong ROC là một đồ thị minh họa khả năng chẩn đoán của hệ thống phân loại nhị phân. Nó biểu diễn Tỷ lệ Dương tính Thật (TPR) , còn được gọi là Thu hồi, so với Tỷ lệ Dương tính Giả (FPR) ở các ngưỡng cài đặt khác nhau.

• Tỷ lệ dương tính thực sự: Tỷ lệ các trường hợp dương tính thực tế được mô hình xác định hiệu quả.
• Tỷ lệ dương tính giả: Tỷ lệ các trường hợp âm tính thực tế được xác định nhầm là dương tính.

Bằng cách tính toán AUC, các nhà khoa học dữ liệu cô đọng thông tin chứa trong đường cong ROC thành một con số duy nhất. Điều này giúp đơn giản hóa việc đánh giá mô hình , cho phép so sánh dễ dàng hơn giữa các kiến trúc khác nhau, chẳng hạn như so sánh xương sống ResNet-50 với một giải pháp thay thế nhẹ hơn.

Giải thích Điểm số

Điểm AUC dao động từ 0 đến 1, cung cấp cách giải thích theo xác suất về chất lượng xếp hạng của mô hình.

• AUC = 1.0: Một bộ phân loại hoàn hảo. Nó có thể phân biệt chính xác các lớp dương và âm 100% thời gian.
• 0.5 < AUC < 1.0: The model has a better-than-random chance of classifying instances correctly. This is the target range for most predictive modeling tasks.
• AUC = 0,5: Mô hình không có khả năng phân biệt, tương đương với việc đoán ngẫu nhiên (như tung đồng xu).
• AUC < 0.5: This suggests the model is performing worse than random chance, often indicating that the predictions are inverted or there is a significant issue with the training data.

Để tìm hiểu sâu hơn về cơ chế phân loại, các tài nguyên như Google Machine Learning Crash Course cung cấp những giải thích trực quan tuyệt vời.

Các Ứng dụng Thực tế

AUC đặc biệt có giá trị trong những trường hợp mà hậu quả của kết quả dương tính giả và kết quả âm tính giả thay đổi đáng kể.

1. Chẩn đoán y tế: Trong AI trong chăm sóc sức khỏe , các mô hình thường được đào tạo để detect Các bất thường như khối u trên phim chụp X-quang hoặc MRI. Điểm AUC cao đảm bảo mô hình xếp hạng các trường hợp ác tính cao hơn các trường hợp lành tính một cách đáng tin cậy. Độ tin cậy này rất quan trọng đối với các hệ thống hỗ trợ quyết định lâm sàng được các bác sĩ X-quang sử dụng. Ví dụ, việc chứng kiến cách YOLO11 hỗ trợ phát hiện khối u làm nổi bật tầm quan trọng của các số liệu đánh giá mạnh mẽ trong các ứng dụng thiết yếu cho sự sống.
2. Phát hiện Gian lận Tài chính: Các tổ chức tài chính sử dụng thị giác máy tính (CV) và nhận dạng mẫu để đánh dấu các giao dịch gian lận. Do số lượng giao dịch hợp pháp vượt xa số lượng giao dịch gian lận, dữ liệu bị mất cân bằng nghiêm trọng. AUC được ưu tiên sử dụng vì nó đánh giá thứ hạng xác suất gian lận mà không bị ảnh hưởng bởi số lượng lớn các giao dịch hợp pháp, không giống như độ chính xác thô. Điều này giúp xây dựng các hệ thống giảm thiểu sự bất tiện cho khách hàng đồng thời duy trì tính bảo mật, một thành phần cốt lõi của AI trong Tài chính .

AUC so với các số liệu khác

Hiểu được thời điểm sử dụng AUC so với các số liệu khác là chìa khóa để triển khai mô hình thành công.

• AUC so với Độ chính xác: Độ chính xác đo lường tỷ lệ phần trăm dự đoán đúng. Tuy nhiên, trên các tập dữ liệu mất cân bằng (ví dụ: lớp âm 99%), một mô hình có thể đạt độ chính xác 99% bằng cách dự đoán "âm" cho tất cả, mặc dù khả năng dự đoán bằng không. AUC bất biến với sự mất cân bằng lớp, khiến nó trở thành một thước đo trung thực hơn cho những vấn đề này.
• AUC so với Độ chính xác-Triệu hồi: Trong khi AUC ROC xem xét cả TPR và FPR, Độ chính xác và Triệu hồi tập trung cụ thể vào nhóm dương tính. Trong trường hợp dương tính giả được chấp nhận nhưng âm tính giả thì không (ví dụ: sàng lọc bệnh ban đầu), việc phân tích sự đánh đổi giữa Độ chính xác-Triệu hồi có thể cung cấp nhiều thông tin hơn AUC ROC.
• AUC so với mAP : Đối với các tác vụ phát hiện đối tượng được thực hiện bởi các mô hình như YOLO11 , số liệu chuẩn là Độ chính xác trung bình ( mAP ) . mAP về cơ bản tính toán diện tích bên dưới đường cong Precision-Recall cho các hộp giới hạn tại Giao điểm cụ thể trên Union ( IoU ) ngưỡng, trong khi AUC thường được sử dụng để xác định độ tin cậy phân loại của các đối tượng.

Tính toán xác suất lớp

Để tính AUC, bạn cần điểm xác suất của lớp dương chứ không chỉ nhãn lớp cuối cùng. Ví dụ sau đây minh họa cách thu được các xác suất này bằng cách sử dụng phân loại hình ảnh mô hình từ ultralytics thư viện.

from ultralytics import YOLO

# Load a pre-trained YOLO11 classification model
model = YOLO("yolo11n-cls.pt")

# Run inference on an image
results = model("path/to/image.jpg")

# Access the probability scores for all classes
# These scores are the inputs needed to calculate AUC against ground truth
probs = results[0].probs.data
print(f"Class Probabilities: {probs}")

Khi bạn có xác suất cho một tập dữ liệu, bạn có thể sử dụng các thư viện chuẩn như Scikit-learn để tính điểm AUC cuối cùng.