Tìm hiểu cách Đường cong ROC và AUC đánh giá hiệu suất phân loại trong AI/ML, tối ưu hóa TPR so với FPR cho các nhiệm vụ như phát hiện gian lận và chẩn đoán y tế.
Đường cong Đặc tính Hoạt động của Bộ thu (ROC) là một đồ thị minh họa khả năng chẩn đoán của mô hình phân loại nhị phân khi ngưỡng phân biệt của nó thay đổi. Đây là một công cụ cơ bản trong học máy (ML) để đánh giá và so sánh hiệu suất của các bộ phân loại. Đường cong được tạo ra bằng cách vẽ Tỷ lệ Dương tính Thật (TPR) so với Tỷ lệ Dương tính Giả (FPR) ở các ngưỡng khác nhau, cung cấp cái nhìn toàn diện về hiệu suất của mô hình trên tất cả các ngưỡng phân loại có thể. Điều này làm cho nó trở thành một công cụ vô giá để hiểu được sự đánh đổi giữa độ nhạy và độ đặc hiệu trong các tác vụ học có giám sát .
Để nắm được khái niệm về đường cong ROC, điều cần thiết là phải hiểu hai trục của nó:
Mô hình phân loại thường đưa ra điểm xác suất hoặc điểm tin cậy cho mỗi trường hợp. Sau đó, một ngưỡng được áp dụng cho điểm này để đưa ra quyết định nhị phân cuối cùng (ví dụ: dương hoặc âm). Đường cong ROC được tạo ra bằng cách thay đổi ngưỡng này một cách có hệ thống từ 0 đến 1 và vẽ đồ thị các cặp TPR và FPR kết quả cho mỗi giá trị. Việc trực quan hóa hiệu suất mô hình thường có thể được thực hiện bằng các công cụ như TensorBoard hoặc thông qua các nền tảng như Ultralytics HUB .
Hình dạng và vị trí của đường cong ROC tiết lộ rất nhiều về hiệu suất của mô hình.
Một thước đo phổ biến được rút ra từ đường cong ROC là Diện tích dưới đường cong (AUC) . AUC biểu thị xác suất bộ phân loại sẽ xếp hạng một trường hợp dương được chọn ngẫu nhiên cao hơn một trường hợp âm được chọn ngẫu nhiên. AUC bằng 1,0 biểu thị một mô hình hoàn hảo, trong khi AUC bằng 0,5 tương ứng với một mô hình ngẫu nhiên. Giá trị vô hướng đơn này hữu ích để so sánh các mô hình khác nhau .
Đường cong ROC được sử dụng rộng rãi trong nhiều ngành công nghiệp khác nhau để đánh giá và lựa chọn các mô hình tối ưu để triển khai .
Chẩn đoán Y khoa: Trong phân tích hình ảnh y khoa , một mô hình học sâu có thể được huấn luyện để phát hiện ung thư từ ảnh chụp nhũ ảnh. Đường cong ROC giúp các bác sĩ X-quang và kỹ sư đánh giá khả năng phân biệt giữa khối u ác tính và lành tính của mô hình. Bằng cách phân tích đường cong, họ có thể chọn ngưỡng phân loại cân bằng giữa nhu cầu phát hiện càng nhiều ung thư càng tốt (TPR cao) với nguy cơ gây ra sinh thiết không cần thiết do báo động giả (FPR thấp). Đây là một bước quan trọng trong việc phát triển AI có trách nhiệm và đảm bảo mô hình đáp ứng các tiêu chuẩn lâm sàng do các cơ quan như FDA đặt ra.
Phát hiện Gian lận Thẻ Tín dụng: Các tổ chức tài chính sử dụng mô hình ML để xác định các giao dịch gian lận theo thời gian thực. Đường cong ROC có thể được sử dụng để đánh giá mức độ phân biệt giao dịch gian lận và giao dịch hợp pháp của một mô hình. Ngân hàng có thể sử dụng đường cong này để chọn ngưỡng tối đa hóa khả năng phát hiện gian lận đồng thời giảm thiểu số lượng giao dịch hợp pháp bị từ chối không chính xác, điều này có thể gây khó chịu cho khách hàng. Điều này giúp xây dựng các hệ thống AI mạnh mẽ trong lĩnh vực tài chính .
Mặc dù đường cong ROC rất mạnh nhưng điều quan trọng là phải hiểu chúng khác với các số liệu đánh giá khác như thế nào.
Độ chính xác: Chỉ số này có thể gây hiểu lầm, đặc biệt là với các tập dữ liệu mất cân bằng , trong đó một lớp chiếm ưu thế. Một mô hình có thể đạt được độ chính xác cao chỉ bằng cách dự đoán lớp chiếm đa số. Đường cong ROC và AUC cung cấp một góc nhìn độc lập với ngưỡng, mạnh mẽ hơn trong các trường hợp này.
Độ chính xác và Độ thu hồi: Các chỉ số này tập trung vào hiệu suất của lớp dương. Độ chính xác đo lường độ chính xác của các dự đoán dương, trong khi Độ thu hồi (TPR) đo lường độ bao phủ của các kết quả dương thực tế. Điểm F1 kết hợp cả hai chỉ số này nhưng vẫn phụ thuộc vào một ngưỡng cụ thể. Ngược lại, đường cong ROC đánh giá sự đánh đổi giữa TPR và FPR trên tất cả các ngưỡng. Đối với các tác vụ mà lớp âm rộng và ít được quan tâm, đường cong Độ chính xác-Độ thu hồi có thể cung cấp nhiều thông tin hơn.
mAP và IoU: Đường cong ROC được thiết kế cho phân loại nhị phân . Đối với các tác vụ phức tạp hơn như phát hiện đối tượng hoặc phân đoạn thực thể, thường gặp ở các mô hình như Ultralytics YOLO , các số liệu khác là tiêu chuẩn. Độ chính xác trung bình (mAP) và Giao điểm trên hợp (IoU) được sử dụng để đánh giá cả độ chính xác phân loại và định vị. Để biết thêm chi tiết, hãy xem hướng dẫn của chúng tôi về Chỉ số hiệu suất YOLO . Việc trực quan hóa các số liệu này có thể được thực hiện bằng các nền tảng như PyTorch hoặc TensorFlow .
