Confusion Matrix

Confusion matrix là một công cụ đo lường hiệu suất dành cho các bài toán phân loại trong machine learning, nơi đầu ra có thể là từ hai lớp trở lên. Đây là một bảng gồm bốn tổ hợp giá trị dự đoán và thực tế khác nhau, đóng vai trò là yếu tố nền tảng cho data visualization trong việc đánh giá model. Không giống như độ chính xác đơn thuần (accuracy) vốn có thể gây hiểu lầm nếu tập dữ liệu không cân bằng, confusion matrix cung cấp một cái nhìn chi tiết về vị trí mà một model computer vision (CV) đang mắc lỗi. Bằng cách so sánh các dự đoán với nhãn ground truth, các developer có thể xác định xem hệ thống có đang nhầm lẫn giữa hai lớp cụ thể hay hoàn toàn không phát hiện được đối tượng.

Các thành phần cốt lõi của ma trận#

Bản thân ma trận này thường được chia thành bốn góc phần tư cho bài toán phân loại nhị phân, mặc dù nó được mở rộng cho các bài toán đa lớp như những bài toán được xử lý bởi Ultralytics YOLO26. Bốn thành phần này đại diện cho sự giao thoa giữa những gì model dự đoán so với những gì thực sự tồn tại trong ảnh.

• True Positives (TP): Model dự đoán đúng lớp dương tính. Ví dụ, trong một tác vụ object detection, model vẽ thành công bounding box xung quanh một người thực sự có mặt trong khung hình.
• True Negatives (TN): Model dự đoán đúng lớp âm tính. Điều này rất quan trọng trong các kịch bản như anomaly detection, nơi hệ thống xác định chính xác rằng một linh kiện được sản xuất không có lỗi nào.
• False Positives (FP): Model dự đoán sai lớp dương tính. Thường được gọi là "lỗi Loại I" (Type I error), hiện tượng này xảy ra khi hệ thống phát hiện một đối tượng không có thực, chẳng hạn như camera an ninh coi cái bóng là kẻ đột nhập.
• False Negatives (FN): Model dự đoán sai lớp âm tính. Được gọi là "lỗi Loại II" (Type II error), điều này xảy ra khi model không phát hiện được một đối tượng đang có mặt, về cơ bản là "bỏ sót" mục tiêu.

Các số liệu bắt nguồn và ý nghĩa#

Các con số thô trong confusion matrix được sử dụng để tính toán các số liệu nâng cao hơn mô tả model performance. Việc hiểu các dẫn xuất này là điều cần thiết để tối ưu hóa neural network.

• Precision: Được tính bằng TP / (TP + FP), số liệu này cho biết các dự đoán dương tính chính xác đến mức nào. Precision cao đồng nghĩa với việc ít báo động giả hơn.
• Recall (Sensitivity): Được tính bằng TP / (TP + FN), chỉ số này đo lường khả năng tìm thấy tất cả các trường hợp dương tính của model. Recall cao là cực kỳ quan trọng khi việc bỏ sót một đối tượng để lại hậu quả nghiêm trọng.
• F1 Score: Trung bình điều hòa (harmonic mean) của precision và recall. Nó cung cấp một điểm số duy nhất cân bằng sự đánh đổi giữa hai yếu tố này, rất hữu ích để so sánh các YOLO26 models khác nhau.

Các ứng dụng trong thực tế#

Chi phí cụ thể của các lỗi được xác định bởi ma trận nhầm lẫn quyết định cách các mô hình được tinh chỉnh cho các ngành công nghiệp khác nhau.

Trong lĩnh vực AI in healthcare, confusion matrix là vấn đề an toàn. Khi huấn luyện một model để medical image analysis nhằm phát hiện khối u, False Negative (bỏ sót khối u) tồi tệ hơn nhiều so với False Positive (đánh dấu một đốm lành tính để bác sĩ xem xét). Do đó, các kỹ sư ưu tiên Recall hơn Precision trong các ma trận này để đảm bảo không bỏ sót rủi ro sức khỏe tiềm ẩn nào.

Ngược lại, trong manufacturing quality control, hiệu quả là yếu tố then chốt. Nếu một hệ thống phân loại linh kiện trên dây chuyền lắp ráp tạo ra quá nhiều False Positive (đánh dấu các bộ phận tốt là bị lỗi), nó sẽ gây lãng phí không cần thiết và làm chậm quá trình sản xuất. Tại đây, confusion matrix giúp các kỹ sư tinh chỉnh model để tối đa hóa Precision, đảm bảo những gì bị loại bỏ thực sự bị lỗi, từ đó tối ưu hóa các luồng công việc automated machine learning.

Tạo Confusion Matrix với Ultralytics YOLO26#

Khi sử dụng các framework hiện đại, việc tạo ra ma trận này thường là một phần của pipeline validation tiêu chuẩn. Ví dụ dưới đây minh họa cách validate một YOLO26 model và truy cập dữ liệu confusion matrix bằng cách sử dụng gói ultralytics.

from ultralytics import YOLO

# Load a pre-trained YOLO26 model
model = YOLO("yolo26n.pt")

# Validate the model on the COCO8 dataset
# This automatically generates and plots the confusion matrix
metrics = model.val(data="coco8.yaml")

# Access the confusion matrix object directly
print(metrics.confusion_matrix.matrix)

Phân biệt các khái niệm liên quan#

Điều quan trọng là phải phân biệt ma trận nhầm lẫn với các thuật ngữ đánh giá tương tự.

• Vs. Accuracy: Accuracy đơn giản là tỷ lệ giữa các dự đoán đúng trên tổng số dự đoán. Mặc dù hữu ích, accuracy có thể rất đánh lừa trong các imbalanced datasets. Ví dụ, nếu 95% email không phải là spam, một model dự đoán "không phải spam" cho mọi email sẽ đạt độ chính xác 95% nhưng lại vô dụng. Confusion matrix vạch trần khiếm khuyết này bằng cách hiển thị số lượng True Positives bằng 0 đối với lớp spam.
• Vs. ROC Curve: Confusion matrix cung cấp một bức ảnh chụp nhanh về hiệu suất tại một confidence threshold cụ thể duy nhất. Ngược lại, đường cong Receiver Operating Characteristic (ROC) trực quan hóa cách Tỷ lệ True Positive và Tỷ lệ False Positive thay đổi khi ngưỡng đó biến đổi. Các công cụ như Ultralytics Platform cho phép người dùng khám phá cả hai hình trực quan hóa để chọn điểm vận hành tối ưu cho việc triển khai của họ.