Sự chính xác

Độ chính xác được tính như thế nào

Độ chính xác được tính bằng cách chia số dự đoán đúng (cả dương tính thật và âm tính thật) cho tổng số dự đoán được đưa ra. Ví dụ, nếu một mô hình xác định đúng 90 trong số 100 hình ảnh, độ chính xác của nó là 90%. Sự đơn giản này khiến nó trở thành điểm khởi đầu phổ biến để đánh giá hiệu suất của mô hình.

Tầm quan trọng trong AI và Học máy

Độ chính xác cung cấp một thước đo trực tiếp về tần suất chính xác của một mô hình nói chung. Nó được sử dụng rộng rãi trong các giai đoạn đầu của quá trình phát triển mô hình và đào tạo mô hình để có được cảm nhận chung về hiệu suất. Độ chính xác cao thường là mục tiêu chính của nhiều ứng dụng, cho thấy mô hình tổng quát hóa tốt với dữ liệu mới, chưa từng thấy. Nhiều mô hình tiên tiến, chẳng hạn như Ultralytics YOLO để phát hiện đối tượng , phấn đấu đạt được độ chính xác cao trong khi cân bằng các yếu tố khác như tốc độ. Bạn có thể xem các so sánh như YOLO11 so với YOLOv8 thường làm nổi bật các điểm chuẩn về độ chính xác.

Giới hạn của độ chính xác

Mặc dù có tính trực quan, độ chính xác vẫn có những hạn chế đáng kể:

• Bộ dữ liệu mất cân bằng: Độ chính xác có thể là một chỉ báo kém về hiệu suất khi xử lý dữ liệu mất cân bằng , trong đó một lớp vượt trội hơn đáng kể so với các lớp khác. Ví dụ, khi phát hiện một căn bệnh hiếm gặp (ví dụ: tỷ lệ mắc bệnh 1%), một mô hình luôn dự đoán "không có bệnh" đạt được độ chính xác 99% nhưng không xác định được bất kỳ trường hợp thực tế nào, khiến nó trở nên vô dụng. Điều này làm nổi bật tầm quan trọng của việc xem xét độ lệch tiềm ẩn của bộ dữ liệu .
• Bỏ qua các loại lỗi: Độ chính xác xử lý tất cả các lỗi như nhau. Tuy nhiên, trong nhiều tình huống thực tế, chi phí của các lỗi khác nhau sẽ khác nhau. Ví dụ, phân loại sai một khối u ác tính thành lành tính (âm tính giả) thường nghiêm trọng hơn nhiều so với phân loại một khối u lành tính thành ác tính (dương tính giả).
• Nghịch lý độ chính xác: Trong một số trường hợp, một mô hình ít chính xác hơn theo định nghĩa chuẩn có thể thực sự hữu ích hơn trong thực tế. Điều này được gọi là Nghịch lý độ chính xác .

Phân biệt độ chính xác với các số liệu khác

Do những hạn chế về độ chính xác, đặc biệt là với dữ liệu mất cân bằng hoặc chi phí lỗi khác nhau, các số liệu khác thường được ưu tiên hoặc sử dụng cùng với nó:

• Độ chính xác : Đo tỷ lệ nhận dạng dương tính thực sự chính xác. Độ chính xác cao rất quan trọng khi chi phí dương tính giả cao (ví dụ: bộ lọc thư rác đánh dấu email quan trọng là thư rác).
• Thu hồi (Độ nhạy) : Đo tỷ lệ dương tính thực tế được xác định chính xác. Thu hồi cao là rất quan trọng khi chi phí âm tính giả cao (ví dụ, bỏ sót chẩn đoán).
• Điểm F1 : Giá trị trung bình hài hòa của Độ chính xác và Độ thu hồi, cung cấp sự cân bằng giữa hai giá trị này. Điều này hữu ích khi cả kết quả dương tính giả và kết quả âm tính giả đều quan trọng.
• Độ chính xác trung bình (mAP) : Một số liệu phổ biến trong phát hiện đối tượng, xem xét cả độ chính xác phân loại và độ chính xác định vị (IoU) trên các mức độ thu hồi khác nhau.
• Ma trận nhầm lẫn : Bảng trực quan hóa hiệu suất của thuật toán phân loại, hiển thị kết quả dương tính thật, kết quả âm tính thật, kết quả dương tính giả và kết quả âm tính giả, giúp tính toán độ chính xác, khả năng thu hồi và độ chính xác.
• Đường cong ROC và AUC: Chúng trực quan hóa sự đánh đổi giữa tỷ lệ dương tính thực (Recall) và tỷ lệ dương tính giả ở nhiều ngưỡng cài đặt khác nhau.

Hiểu được các số liệu hiệu suất YOLO khác nhau này cho phép đánh giá sắc thái hơn về hiệu suất của mô hình phù hợp với các nhu cầu cụ thể.

Ứng dụng AI/ML trong thế giới thực

1. Phân tích hình ảnh y tế: Trong các nhiệm vụ như phát hiện khối u bằng YOLO11 , trong khi độ chính xác tổng thể được xem xét, các số liệu như Thu hồi (độ nhạy) thường được ưu tiên để giảm thiểu rủi ro bỏ sót khối u thực tế (kết quả âm tính giả). Các giải pháp AI trong chăm sóc sức khỏe phải cân bằng cẩn thận các số liệu này.
2. Xe tự hành: Đối với các giải pháp AI trong ô tô , các mô hình phát hiện vật thể cần độ chính xác cao trong việc xác định người đi bộ, phương tiện và chướng ngại vật. Tuy nhiên, chỉ đo độ chính xác tổng thể là không đủ; các số liệu như mAP rất quan trọng để đảm bảo cả phân loại chính xác và định vị chính xác (dự đoán hộp giới hạn ) cho mục đích an toàn.

Cải thiện độ chính xác của mô hình

Một số kỹ thuật có thể giúp cải thiện độ chính xác của mô hình, mặc dù thường liên quan đến sự đánh đổi với các số liệu khác hoặc chi phí tính toán:

• Tăng cường dữ liệu : Tăng cường tính đa dạng của dữ liệu đào tạo một cách nhân tạo mà không cần thu thập các mẫu mới. Xem hướng dẫn Tăng cường dữ liệu YOLO để biết ví dụ.
• Điều chỉnh siêu tham số : Tối ưu hóa các tham số như tốc độ học hoặc kích thước lô được thiết lập trước khi bắt đầu đào tạo. Các hướng dẫn như hướng dẫn Điều chỉnh siêu tham số có thể giúp ích.
• Chọn Kiến trúc Nâng cao: Chọn các mô hình mạnh mẽ hơn như các mô hình Ultralytics YOLO mới hơn hoặc Transformers .
• Học chuyển giao : Sử dụng các mô hình được đào tạo trước trên các tập dữ liệu lớn như ImageNet và tinh chỉnh chúng cho một nhiệm vụ cụ thể.
• Phương pháp tổng hợp : Kết hợp các dự đoán từ nhiều mô hình để cải thiện hiệu suất tổng thể.

Các nguồn tham khảo như Model Training Tips có thể cung cấp hướng dẫn thực tế. Các nền tảng như Ultralytics HUB cho phép người dùng đào tạo các mô hình và dễ dàng theo dõi độ chính xác cùng với các số liệu quan trọng khác, thường được trực quan hóa bằng các công cụ như TensorBoard . Việc theo dõi tiến độ trong lĩnh vực này có thể được thực hiện thông qua các nguồn như Báo cáo chỉ số AI của Stanford hoặc duyệt các tập dữ liệu trên Papers With Code . Các khuôn khổ như PyTorch (xem trang web chính thức ) và TensorFlow (xem trang web chính thức ) thường được sử dụng để xây dựng và đào tạo các mô hình này.

Tóm lại, trong khi độ chính xác là một số liệu có giá trị và trực quan để đánh giá hiệu suất của mô hình AI , thì nó hiếm khi được sử dụng riêng lẻ. Việc xem xét các mục tiêu cụ thể của tác vụ ML và bản chất của dữ liệu, đặc biệt là sự mất cân bằng tiềm ẩn hoặc chi phí khác nhau của lỗi, là điều cần thiết để lựa chọn các số liệu đánh giá phù hợp nhất như độ chính xác, khả năng thu hồi, điểm F1 hoặc mAP. Việc sử dụng các kỹ thuật từ AI có thể giải thích (XAI) cũng có thể cung cấp những hiểu biết sâu sắc hơn ngoài các giá trị số liệu đơn lẻ.