Confusion Matrix

Confusion matrix는 두 개 이상의 클래스를 가진 머신러닝 분류 문제에 대한 성능 측정 도구입니다. 이는 예측값과 실제값의 4가지 조합을 보여주는 표로서, 모델 평가에서 데이터 시각화를 위한 기초 요소 역할을 합니다. 데이터셋의 균형이 맞지 않을 경우 오해를 불러일으킬 수 있는 단순 정확도와 달리, confusion matrix는 computer vision (CV) 모델이 어느 부분에서 오류를 범하고 있는지 세부적인 분석을 제공합니다. 개발자는 예측값과 ground truth 라벨을 비교함으로써 시스템이 특정 두 클래스를 혼동하고 있는지, 혹은 객체를 전혀 감지하지 못하고 있는지 파악할 수 있습니다.

Link to this section행렬의 핵심 구성 요소#

행렬 자체는 일반적으로 이진 분류를 위해 4개의 사분면으로 나뉘지만, Ultralytics YOLO26에서 다루는 것과 같은 다중 클래스 문제의 경우에는 더 확장됩니다. 이 4가지 구성 요소는 모델이 예측한 값과 이미지에 실제로 존재하는 값의 교차점을 나타냅니다.

• True Positives (TP): 모델이 긍정 클래스를 올바르게 예측한 경우입니다. 예를 들어 object detection 작업에서 모델이 실제 프레임 내에 있는 사람을 감지하여 바운딩 박스를 성공적으로 그리는 경우가 이에 해당합니다.
• True Negatives (TN): 모델이 부정 클래스를 올바르게 예측한 경우입니다. 이는 시스템이 제조된 부품에 결함이 없음을 올바르게 식별하는 anomaly detection과 같은 시나리오에서 매우 중요합니다.
• False Positives (FP): 모델이 부정 클래스를 긍정 클래스로 잘못 예측한 경우입니다. 종종 "제1종 오류"라고 불리며, 보안 카메라가 그림자를 침입자로 인식하는 것처럼 존재하지 않는 객체를 시스템이 감지할 때 발생합니다.
• False Negatives (FN): 모델이 긍정 클래스를 부정 클래스로 잘못 예측한 경우입니다. "제2종 오류"로 알려져 있으며, 이는 모델이 존재하는 객체를 감지하지 못하여 본질적으로 대상을 "놓치는" 상황을 의미합니다.

Link to this section파생 지표 및 중요성#

Confusion matrix의 원시 수치는 model performance를 설명하는 보다 고급 지표를 계산하는 데 사용됩니다. 이러한 파생 지표를 이해하는 것은 신경망을 최적화하는 데 필수적입니다.

• Precision: TP / (TP + FP)로 계산되며, 긍정 예측이 얼마나 정확한지를 나타내는 지표입니다. 정밀도가 높다는 것은 오탐지가 적다는 것을 의미합니다.
• Recall (Sensitivity): TP / (TP + FN)으로 계산되며, 모든 긍정 사례를 찾아내는 모델의 능력을 측정합니다. 객체를 놓쳤을 때 심각한 결과가 초래되는 경우 높은 재현율이 필수적입니다.
• F1 Score: 정밀도와 재현율의 조화 평균입니다. 두 지표 사이의 균형을 보여주는 단일 점수를 제공하며, 서로 다른 YOLO26 models를 비교할 때 유용합니다.

Link to this section실제 애플리케이션 사례#

Confusion matrix에 의해 정의된 오류의 특정 비용에 따라 산업 분야별 모델 튜닝 방식이 결정됩니다.

AI in healthcare 분야에서 confusion matrix는 안전과 직결됩니다. 종양을 감지하기 위해 medical image analysis 모델을 학습시킬 때, False Negative(종양을 놓침)는 False Positive(양성 반응을 의사의 검토 대상으로 분류)보다 훨씬 더 치명적입니다. 따라서 엔지니어들은 잠재적인 건강 위험을 하나도 놓치지 않도록 이 행렬에서 정밀도보다 재현율을 우선시합니다.

반면, **manufacturing quality control**에서는 효율성이 핵심입니다. 조립 라인 부품을 분류하는 시스템이 너무 많은 False Positive(정상 부품을 결함으로 분류)를 생성하면 불필요한 낭비가 발생하고 생산 속도가 느려집니다. 여기서 confusion matrix는 엔지니어들이 정밀도를 극대화하도록 모델을 튜닝하여, 거부된 항목이 실제로 결함이 있는 것인지 확인하고 automated machine learning 워크플로를 간소화하는 데 도움을 줍니다.

Link to this sectionYOLO26으로 Confusion Matrix 생성하기#

When using modern frameworks, generating this matrix is often part of the standard validation pipeline. The example below demonstrates how to validate a YOLO26 model and access the confusion matrix data using the ultralytics package.

from ultralytics import YOLO

# Load a pre-trained YOLO26 model
model = YOLO("yolo26n.pt")

# Validate the model on the COCO8 dataset
# This automatically generates and plots the confusion matrix
metrics = model.val(data="coco8.yaml")

# Access the confusion matrix object directly
print(metrics.confusion_matrix.matrix)

Link to this section관련 개념 구별하기#

Confusion matrix를 유사한 평가 용어와 구별하는 것이 중요합니다.

• Vs. Accuracy: 정확도는 전체 예측 대비 올바른 예측의 비율일 뿐입니다. 유용하기는 하지만, imbalanced datasets에서는 정확도가 매우 기만적일 수 있습니다. 예를 들어 이메일의 95%가 스팸이 아니라면, 모든 이메일을 "스팸 아님"으로 예측하는 모델은 정확도가 95%이지만 사실상 쓸모가 없습니다. Confusion matrix는 스팸 클래스에 대한 True Positive가 0임을 보여줌으로써 이러한 결함을 드러냅니다.
• Vs. ROC Curve: Confusion matrix는 특정 confidence threshold에서의 성능 스냅샷을 제공합니다. 반면, Receiver Operating Characteristic (ROC) 곡선은 해당 임계값이 변함에 따라 True Positive Rate와 False Positive Rate가 어떻게 변하는지를 시각화합니다. Ultralytics Platform과 같은 도구를 사용하면 사용자는 두 시각화를 모두 탐색하여 배포에 최적인 운영 지점을 선택할 수 있습니다.