Diện tích dưới đường cong (AUC)

Diện tích dưới đường cong (AUC) là một chỉ số hiệu suất được sử dụng rộng rãi trong học máy (ML) để đánh giá hiệu quả của các mô hình phân loại nhị phân. Nó biểu thị xác suất mà một mô hình sẽ xếp hạng một thể hiện dương được chọn ngẫu nhiên cao hơn một thể hiện âm được chọn ngẫu nhiên. Về cơ bản, AUC tóm tắt khả năng của một mô hình để phân biệt giữa các lớp trên tất cả các ngưỡng phân loại có thể, cung cấp một thước đo tổng hợp duy nhất về hiệu suất. Giá trị AUC cao hơn cho thấy một mô hình hoạt động tốt hơn, làm cho nó trở thành một công cụ quan trọng để so sánh các mô hình khác nhau và để điều chỉnh siêu tham số.

Đường cong ROC là gì?

AUC liên kết mật thiết với đường cong đặc tính hoạt động của máy thu (ROC). Đường cong ROC là một đồ thị biểu thị Tỷ lệ dương tính thực (TPR), còn được gọi là Độ nhạy (Recall), so với Tỷ lệ dương tính giả (FPR) ở các cài đặt ngưỡng khác nhau. AUC chỉ đơn giản là diện tích dưới đường cong ROC này. Trong khi đường cong ROC cung cấp một biểu diễn trực quan về sự đánh đổi giữa độ nhạy và độ đặc hiệu của mô hình, thì điểm AUC định lượng sự đánh đổi này thành một con số duy nhất, đơn giản hóa việc so sánh mô hình.

Giải thích Điểm AUC

Giá trị của AUC nằm trong khoảng từ 0 đến 1, trong đó điểm số cao hơn cho thấy một mô hình tốt hơn.

• AUC = 1: Điều này thể hiện một mô hình hoàn hảo, phân loại chính xác tất cả các trường hợp dương tính và âm tính. Mọi mẫu dương tính đều có xác suất dự đoán cao hơn mọi mẫu âm tính.
• AUC = 0.5: Điều này chỉ ra rằng mô hình không có khả năng phân biệt, tương đương với đoán ngẫu nhiên. Đường cong ROC cho một mô hình như vậy sẽ là một đường chéo thẳng.
• AUC < 0.5: A score below 0.5 suggests the model is performing worse than random chance. In practice, this often points to an issue with the model or data, such as inverted predictions.
• 0.5 < AUC < 1: This range signifies that the model has some ability to discriminate. The closer the value is to 1, the better the model's performance.

Các công cụ như Scikit-learn cung cấp các hàm để dễ dàng tính toán điểm AUC, có thể được trực quan hóa bằng các nền tảng như TensorBoard.

Các Ứng dụng Thực tế

AUC là một chỉ số có giá trị trong nhiều lĩnh vực mà phân loại nhị phân là rất quan trọng.

1. Phân tích ảnh y tế: Trong AI trong Chăm sóc Sức khỏe, các mô hình được phát triển cho các nhiệm vụ như phát hiện khối u từ ảnh chụp y tế. Điểm AUC được sử dụng để đánh giá mức độ mô hình có thể phân biệt giữa các trường hợp ác tính (dương tính) và lành tính (âm tính). AUC cao là rất quan trọng để xây dựng các công cụ chẩn đoán đáng tin cậy có thể hỗ trợ các bác sĩ радиologist, đảm bảo độ nhạy cao mà không có quá nhiều báo động sai. Điều này rất quan trọng đối với các mô hình phân tích các bộ dữ liệu như bộ dữ liệu U não.
2. Phát hiện gian lận: Trong ngành tài chính, các mô hình AI được sử dụng để xác định các giao dịch gian lận. Các bộ dữ liệu trong lĩnh vực này thường rất mất cân bằng, với số lượng giao dịch hợp pháp nhiều hơn nhiều so với giao dịch gian lận. AUC đặc biệt hữu ích ở đây vì nó cung cấp một thước đo hiệu suất mạnh mẽ, không bị ảnh hưởng bởi lớp đa số, không giống như độ chính xác. Nó giúp các tổ chức tài chính xây dựng các hệ thống phát hiện gian lận hiệu quả đồng thời giảm thiểu các kết quả dương tính giả có thể gây bất tiện cho khách hàng. Các tổ chức tài chính hàng đầu dựa vào các số liệu như vậy để đánh giá rủi ro.

AUC so với các chỉ số khác

Mặc dù AUC là một chỉ số có giá trị, nhưng điều quan trọng là phải hiểu nó khác với các thước đo đánh giá khác được sử dụng trong thị giác máy tính (CV) và ML như thế nào:

• AUC so với Độ chính xác (Accuracy): Độ chính xác đo lường tính đúng đắn tổng thể của các dự đoán nhưng có thể gây hiểu lầm trên các bộ dữ liệu không cân bằng. AUC cung cấp một thước đo về khả năng phân tách độc lập với ngưỡng, làm cho nó đáng tin cậy hơn trong những trường hợp như vậy.
• AUC so với Precision-Recall: Đối với các bộ dữ liệu không cân bằng, trong đó lớp dương tính rất hiếm và được quan tâm hàng đầu (ví dụ: phát hiện các bệnh hiếm gặp), đường cong Precision-Recall và diện tích tương ứng của nó (AUC-PR) có thể cung cấp nhiều thông tin hơn ROC AUC. Các số liệu như Precision (Độ chính xác) và Recall (Độ phủ) tập trung cụ thể vào hiệu suất liên quan đến lớp dương tính. Điểm F1 cũng cân bằng giữa độ chính xác và độ phủ.
• AUC so với mAP/IoU: AUC chủ yếu được sử dụng cho các tác vụ phân loại nhị phân. Đối với các tác vụ phát hiện đối tượng phổ biến với các mô hình như Ultralytics YOLO, các số liệu như độ chính xác trung bình (mAP) và Intersection over Union (IoU) là tiêu chuẩn. Các số liệu này đánh giá cả độ chính xác phân loại và độ chính xác định vị của các đối tượng được phát hiện bằng cách sử dụng hộp giới hạn (bounding box). Bạn có thể tìm hiểu thêm về các số liệu hiệu suất YOLO tại đây.

Việc chọn đúng metric (chỉ số) phụ thuộc vào vấn đề cụ thể, đặc điểm của tập dữ liệu (chẳng hạn như cân bằng lớp) và mục tiêu của dự án AI. AUC vẫn là nền tảng để đánh giá hiệu suất phân loại nhị phân do tính mạnh mẽ và khả năng diễn giải của nó. Theo dõi các thử nghiệm bằng các công cụ như Ultralytics HUB có thể giúp quản lý và so sánh các metric này một cách hiệu quả.