Confusion Matrix

오차 행렬(confusion matrix)은 출력이 두 개 이상의 클래스가 될 수 있는 머신러닝 분류 문제를 위한 성능 측정 도구입니다. 이는 모델 평가에서 데이터 시각화의 기초적인 요소 역할을 하는, 예측값과 실제값의 네 가지 서로 다른 조합으로 이루어진 표입니다. 데이터셋이 불균형할 경우 오해를 불러일으킬 수 있는 단순 정확도와 달리, 오차 행렬은 컴퓨터 비전 (CV) 모델이 어디서 실수를 저지르고 있는지 세밀한 분석을 제공합니다. 개발자는 예측을 정답(ground truth) 라벨과 비교하여 시스템이 두 특정 클래스를 혼동하고 있는지 아니면 객체를 전혀 감지하지 못하고 있는지 파악할 수 있습니다.

행렬의 핵심 구성 요소#

Ultralytics YOLO26에서 다루는 것과 같은 다중 클래스 문제로 확장되기도 하지만, 행렬 자체는 일반적으로 이진 분류를 위해 4개의 사분면으로 나뉩니다. 이 네 가지 구성 요소는 모델이 예측한 것과 이미지에 실제로 존재하는 것의 교차점을 나타냅니다.

• True Positives (TP): 모델이 양성 클래스를 올바르게 예측했습니다. 예를 들어, 객체 감지 작업에서 모델은 실제로 프레임 안에 있는 사람 주위에 바운딩 박스를 성공적으로 그려냅니다.
• True Negatives (TN): 모델이 음성 클래스를 올바르게 예측했습니다. 이는 시스템이 제조된 부품에 결함이 없음을 정확히 식별하는 이상 감지 같은 시나리오에서 매우 중요합니다.
• False Positives (FP): 모델이 양성 클래스를 잘못 예측했습니다. 흔히 "제1종 오류"라고 부르며, 보안 카메라가 그림자를 침입자로 오인하는 것처럼 시스템이 존재하지 않는 객체를 감지할 때 발생합니다.
• False Negatives (FN): 모델이 음성 클래스를 잘못 예측했습니다. "제2종 오류"로 알려져 있으며, 모델이 존재하는 객체를 감지하지 못하고 사실상 타겟을 "놓칠" 때 발생합니다.

파생 지표 및 중요성#

오차 행렬의 원시 숫자는 모델 성능을 설명하는 보다 고급 지표를 계산하는 데 사용됩니다. 이러한 파생 지표를 이해하는 것은 신경망을 최적화하는 데 필수적입니다.

• Precision: TP / (TP + FP)로 계산되는 이 지표는 양성 예측이 얼마나 정확한지 보여줍니다. 높은 정밀도는 오탐(false alarm)이 적음을 의미합니다.
• Recall (Sensitivity): TP / (TP + FN)으로 계산되며, 모든 양성 인스턴스를 찾아내는 모델의 능력을 측정합니다. 객체를 놓쳤을 때 심각한 결과가 발생하는 경우 높은 재현율이 매우 중요합니다.
• F1 Score: 정밀도와 재현율의 조화 평균입니다. 두 지표 간의 상충 관계(trade-off)의 균형을 맞추는 단일 점수를 제공하며, 다양한 YOLO26 모델을 비교하는 데 유용합니다.

실제 애플리케이션 사례#

Confusion matrix에 의해 정의된 오류의 특정 비용에 따라 산업 분야별 모델 튜닝 방식이 결정됩니다.

AI in healthcare 분야에서 오차 행렬은 안전과 직결된 문제입니다. 종양을 감지하기 위해 의료 이미지 분석 모델을 학습할 때, False Negative(종양을 놓치는 것)는 False Positive(의사의 검토를 위해 양성 점을 잘못 표시하는 것)보다 훨씬 더 치명적입니다. 따라서 엔지니어들은 잠재적인 건강 위험을 놓치지 않도록 이러한 행렬에서 정밀도보다 재현율을 우선시합니다.

반면에 **manufacturing quality control**에서는 효율성이 핵심입니다. 조립 라인 부품을 분류하는 시스템이 너무 많은 False Positives(양품을 불량품으로 표시)를 발생시키면 불필요한 낭비를 유발하고 생산 속도가 느려집니다. 여기에서 오차 행렬은 엔지니어가 모델을 튜닝하여 정밀도를 극대화하고 거부된 부품이 실제로 결함이 있는지 확인하도록 도우며, 자동화된 머신러닝 워크플로우를 간소화합니다.

Ultralytics YOLO26을 사용하여 혼동 행렬(Confusion Matrix) 생성하기#

최신 프레임워크를 사용할 때 이 행렬을 생성하는 것은 대개 표준 검증 파이프라인의 일부입니다. 아래 예시는 ultralytics 패키지를 사용하여 YOLO26 모델을 검증하고 오차 행렬 데이터에 접근하는 방법을 보여줍니다.

from ultralytics import YOLO

# Load a pre-trained YOLO26 model
model = YOLO("yolo26n.pt")

# Validate the model on the COCO8 dataset
# This automatically generates and plots the confusion matrix
metrics = model.val(data="coco8.yaml")

# Access the confusion matrix object directly
print(metrics.confusion_matrix.matrix)

관련 개념 구별하기#

Confusion matrix를 유사한 평가 용어와 구별하는 것이 중요합니다.

• Vs. Accuracy: 정확도는 전체 예측 중 올바른 예측이 차지하는 비율에 불과합니다. 유용하긴 하지만, 정확도는 불균형 데이터셋에서 매우 기만적일 수 있습니다. 예를 들어 이메일의 95%가 스팸이 아닌 경우, 모든 이메일에 대해 "스팸 아님"으로 예측하는 모델은 95%의 정확도를 가지지만 쓸모가 없습니다. 오차 행렬은 스팸 클래스에 대해 True Positives가 0임을 보여줌으로써 이 결함을 드러냅니다.
• Vs. ROC Curve: 오차 행렬은 단일의 특정한 신뢰도 임계값에서의 성능 스냅샷을 제공합니다. 이와 대조적으로, ROC(Receiver Operating Characteristic) 곡선은 해당 임계값이 변경됨에 따라 True Positive Rate과 False Positive Rate가 어떻게 변하는지 시각화합니다. Ultralytics Platform과 같은 도구를 사용하면 사용자가 두 가지 시각화를 모두 탐색하여 배포에 최적의 작동 지점을 선택할 수 있습니다.