Sự chính xác

Độ chính xác là một trong những thước đo đánh giá cơ bản và trực quan nhất trong học máy (ML) . Nó đo lường tỷ lệ dự đoán chính xác của một mô hình so với tổng số dự đoán đã thực hiện. Do tính đơn giản, độ chính xác thường là thước đo đầu tiên mà các nhà phát triển xem xét để có được cái nhìn tổng quan về hiệu suất của một mô hình AI , đặc biệt là trong các tác vụ phân loại. Nó đóng vai trò như một phép kiểm tra nhanh tình trạng trước khi đi sâu vào các đánh giá chi tiết hơn.

Ứng dụng trong thế giới thực

Độ chính xác là một chỉ số hiệu suất quan trọng trong nhiều lĩnh vực mà việc phân loại là rất quan trọng. Dưới đây là hai ví dụ:

• Chẩn đoán y khoa: Trong lĩnh vực chăm sóc sức khỏe sử dụng AI , một mô hình được thiết kế để phân tích hình ảnh y khoa có thể được đào tạo để phân loại hình ảnh X-quang có dấu hiệu viêm phổi hay không. Độ chính xác cao đồng nghĩa với việc mô hình xác định chính xác sự hiện diện hay vắng mặt của bệnh trong tỷ lệ cao các trường hợp, cung cấp hỗ trợ đáng tin cậy cho các bác sĩ X-quang.
• Kiểm soát Chất lượng Sản xuất: Trong sản xuất thông minh , hệ thống thị giác máy tính có thể được triển khai để kiểm tra sản phẩm trên băng chuyền. Mô hình này phân loại từng sản phẩm thành "lỗi" hoặc "không lỗi". Độ chính xác cao đảm bảo sản phẩm lỗi được xác định chính xác để loại bỏ, đồng thời giảm thiểu việc gắn cờ sai sản phẩm tốt, ảnh hưởng trực tiếp đến hiệu quả và chất lượng sản xuất.

Giới hạn độ chính xác

Mặc dù hữu ích, độ chính xác có thể gây hiểu lầm nghiêm trọng, đặc biệt khi xử lý các tập dữ liệu mất cân bằng. Một tập dữ liệu mất cân bằng là tập dữ liệu mà số lượng ví dụ trong các lớp khác nhau thay đổi đáng kể. Ví dụ, trong phát hiện gian lận, số lượng giao dịch hợp lệ vượt xa số lượng giao dịch gian lận. Một mô hình luôn dự đoán "không gian lận" có thể đạt độ chính xác trên 99% nhưng sẽ hoàn toàn vô dụng đối với mục đích ban đầu. Điều này là do nó không xác định được các trường hợp hiếm gặp nhưng quan trọng. Tình huống này làm nổi bật nghịch lý về độ chính xác , trong đó điểm số độ chính xác cao mang lại cảm nhận sai lệch về hiệu quả của mô hình.

Độ chính xác so với các số liệu khác

Để có được bức tranh toàn cảnh về hiệu suất của mô hình, điều quan trọng là phải xem xét các số liệu khác bên cạnh độ chính xác.

• Độ chính xác : Đo lường tỷ lệ dự đoán dương tính thực sự chính xác. Chỉ số này trả lời câu hỏi: "Trong tất cả các dự đoán tôi đưa ra cho lớp dương tính, có bao nhiêu dự đoán đúng?". Độ chính xác cao rất quan trọng khi chi phí cho một kết quả dương tính giả cao.
• Độ thu hồi : Còn được gọi là độ nhạy, chỉ số này đo lường tỷ lệ các ca dương tính thực tế được xác định chính xác. Chỉ số này trả lời câu hỏi: "Trong số tất cả các ca dương tính thực tế, mô hình của tôi đã tìm thấy bao nhiêu ca?". Độ thu hồi cao rất quan trọng khi chi phí cho kết quả âm tính giả cao, chẳng hạn như trong sàng lọc y tế.
• Điểm F1 : Đây là giá trị trung bình hài hòa của độ chính xác và độ thu hồi, cung cấp một điểm số duy nhất cân bằng cả hai. Điểm này đặc biệt hữu ích khi đánh giá các mô hình trên các tập dữ liệu mất cân bằng , trong đó cả kết quả dương tính giả và kết quả âm tính giả đều quan trọng.
• Ma trận nhầm lẫn : Một bảng trực quan hóa hiệu suất của một mô hình phân loại bằng cách hiển thị số lượng kết quả dương tính thật, âm tính thật, dương tính giả và âm tính giả. Bảng này cung cấp dữ liệu cần thiết để tính toán độ chính xác, độ rõ ràng và độ thu hồi.
• Độ chính xác trung bình (mAP) : Đối với các tác vụ phức tạp hơn như phát hiện đối tượng , mAP là thước đo tiêu chuẩn. Nó không chỉ đánh giá tính chính xác của phân loại mà còn đánh giá độ chính xác định vị của các hộp giới hạn dự đoán trên các mức độ tin cậy khác nhau. Để hiểu sâu hơn, bạn có thể khám phá các so sánh mô hình khác nhau.

Cải thiện độ chính xác của mô hình

Một số kỹ thuật có thể giúp cải thiện độ chính xác của mô hình, mặc dù thường liên quan đến sự đánh đổi với các số liệu khác hoặc chi phí tính toán:

• Tăng cường dữ liệu : Tăng cường tính đa dạng của dữ liệu đào tạo một cách nhân tạo mà không cần thu thập các mẫu mới. Xem hướng dẫn Tăng cường dữ liệu YOLO để biết ví dụ.
• Điều chỉnh siêu tham số : Tối ưu hóa các tham số như tốc độ học hoặc kích thước lô được thiết lập trước khi bắt đầu đào tạo. Các hướng dẫn như hướng dẫn Điều chỉnh siêu tham số có thể giúp ích.
• Chọn Kiến trúc Nâng cao: Chọn các mô hình mạnh mẽ hơn như các mô hình Ultralytics YOLO mới hơn hoặc Transformers .
• Học chuyển giao : Sử dụng các mô hình được đào tạo trước trên các tập dữ liệu lớn như ImageNet và tinh chỉnh chúng cho một nhiệm vụ cụ thể.
• Phương pháp tổng hợp : Kết hợp các dự đoán từ nhiều mô hình để cải thiện hiệu suất tổng thể.

Các nguồn tư vấn như Model Training Tips có thể cung cấp hướng dẫn thực tế. Các nền tảng như Ultralytics HUB cho phép người dùng huấn luyện mô hình và dễ dàng theo dõi độ chính xác cùng với các chỉ số quan trọng khác, thường được trực quan hóa bằng các công cụ như TensorBoard . Việc theo dõi tiến độ thực tế có thể được thực hiện thông qua các nguồn như Báo cáo Chỉ số AI Stanford hoặc duyệt qua các tập dữ liệu trên Papers With Code . Các nền tảng như PyTorch và TensorFlow thường được sử dụng để xây dựng và huấn luyện các mô hình này.

Tóm lại, mặc dù độ chính xác là một thước đo trực quan và có giá trị để đánh giá hiệu suất của mô hình AI, nhưng nó hiếm khi nên được sử dụng riêng lẻ. Việc xem xét các mục tiêu cụ thể của tác vụ ML và bản chất của dữ liệu, đặc biệt là sự mất cân bằng tiềm ẩn hoặc chi phí sai sót khác nhau, là điều cần thiết để lựa chọn thước đo đánh giá phù hợp nhất. Việc sử dụng các kỹ thuật từ Explainable AI (XAI) cũng có thể cung cấp những hiểu biết sâu sắc hơn ngoài các giá trị thước đo đơn lẻ.