오차 행렬

혼동 행렬은 머신 러닝(ML)에서 정확도를 평가하기 위한 분류 모델의 정확도를 평가하기 위한 정확도를 평가하는 데 사용되는 포괄적인 성능 측정 도구입니다. 단순한 정확도 점수와는 달리 단순 정확도 점수와 달리 혼동 행렬은 모델이 각 클래스를 어떻게 분류하는지를 각 클래스를 어떻게 분류하는지에 대한 세분화된 분석을 제공합니다. 혼동 행렬은 예측된 레이블과 실제 실측 데이터 사이의 불일치를 시각화하여 진실 사이의 차이를 시각화하여 개발자가 모델이 '혼동'하거나 시스템적으로 오류를 일으키는 부분을 정확히 찾아낼 수 있도록 해줍니다. 이 세부 수준은 다음과 같은 복잡한 컴퓨터 비전(CV) 시스템과 같이 구축된 Ultralytics YOLO11.

매트릭스의 핵심 구성 요소

혼동 행렬은 분류기의 예측을 네 가지 범주로 분류하며, 일반적으로 그리드 레이아웃으로 배열됩니다. 그리드 레이아웃으로 배열됩니다. 이러한 구성 요소는 모델에 다음과 같은 특정 유형의 오류가 있는지 여부를 식별하는 데 도움이 됩니다. "잘못된 경보" 또는 "누락된 대상":

• 정탐(TP): 모델이 양성 클래스를 정확하게 예측합니다. 예를 들어 물체 감지에서는 모델이 성공적으로 길을 건너는 보행자를 성공적으로 식별합니다.
• 트루 네거티브(TN): 모델이 부정 등급을 정확하게 예측합니다. 제조 분야의 AI를 위한 결함 감지 시스템 에서는 다음과 같은 경우에 발생합니다. 모델이 기능 부품을 결함이 없는 것으로 올바르게 식별할 때 발생합니다.
• 오탐(FP): 모델이 양성 등급을 잘못 예측하는 경우입니다. 이를 흔히 유형 I 오류라고도 합니다. 예를 들어 보안 카메라가 가 흔들리는 나뭇가지를 침입자로 표시하는 것을 예로 들 수 있습니다.
• 거짓 네거티브(FN): 모델이 부정적 클래스를 잘못 예측하는 경우입니다. 이를 유형 II 오류라고 합니다. 이는 다음과 같은 경우에 발생합니다. 의료 진단 도구가 실제로 존재하는 종양을 detect 못한 경우에 발생합니다.

모델 평가의 중요성

광범위한 메트릭은 개괄적인 개요에 유용하지만, 혼동 매트릭스는 다음과 같은 문제를 처리할 때 필수적입니다. 불균형 데이터 집합을 다룰 때 필수적입니다. 데이터 세트에 고양이 95마리와 개 5마리가 포함되어 있는 경우, 매번 '고양이'를 추측하는 모델은 95%의 정확도를 달성하지만 개를 찾는 데는 쓸모가 없습니다. 혼동 행렬은 0을 표시함으로써 이러한 실패를 즉시 드러냅니다. 개 클래스에 대한 정답을 표시함으로써 실패를 즉시 알 수 있습니다.

이 분석은 다른 중요 성능 지표를 계산하는 데 기초가 됩니다. 성능 메트릭을 계산하는 기초가 됩니다. 매트릭스를 분석하면 매트릭스를 분석하여 다음과 같은 결과를 도출할 수 있습니다:

• 정밀도: 긍정 예측의 정확도(TP / (TP + FP)).
• 리콜 (감도): 능력 모든 실제 양성 사례를 포착하는 능력(TP / (TP + FN)).
• F1-Score: 정확도와 회상률의 조화 평균으로, 모델의 견고성을 균형 있게 보여줍니다.

실제 애플리케이션

혼동 행렬의 중요성은 특정 애플리케이션과 다음과 같은 '비용'에 따라 달라집니다. 에 따라 다릅니다.

• 의료 진단: In 의료 분야에서의 AI, 오탐의 비용 의 비용은 매우 높습니다. 엑스레이에서 폐렴을 detect 설계된 모델의 경우, 양성 사례(FN)를 놓치면 생명을 구할 수 있는 치료가 지연될 수 있습니다. 따라서 개발자는 혼동 매트릭스를 분석하여 리콜을 극대화하여 미묘한 질병의 징후도 질병의 징후를 사람이 검토할 수 있도록 표시합니다. 자세한 내용은 의료 영상에서의 평가에 대해 자세히 알아보세요. 스테이크.
• 사기 탐지: 금융 시스템에서 오탐지(합법적인 거래를 사기)는 고객을 불편하게 하고 자금에 대한 접근을 차단할 수 있습니다. 그러나 오탐(실제 사기를 허용)은 다음과 같은 직접적인 금전적 손실을 초래합니다. 직접적인 금전적 손실을 초래합니다. 데이터 과학자는 혼동 매트릭스를 사용하여 최적의 신뢰도 임계값을 조정하여 최적의 절충점을 찾을 수 있습니다, 보안과 사용자 경험의 균형을 맞출 수 있습니다.
• 자율 주행 차량: 용 자율주행차의 경우, 정지된 물체와 정지된 물체와 움직이는 보행자를 구분하는 것이 중요합니다. 혼동 매트릭스는 시스템이 가로등 기둥을 사람으로 착각하는 등 특정 클래스를 자주 혼동하는지 가로등 기둥을 사람으로 착각하는 등 특정 클래스를 자주 혼동하는지 파악하는 데 도움이 됩니다. 데이터 증강을 통해 동작을 수정할 수 있습니다.

코드로 결과 분석하기

그리고 ultralytics 라이브러리는 유효성 검사 프로세스 중에 혼동 행렬을 자동으로 계산하고 저장합니다. 프로세스 중에 혼동 행렬을 자동으로 계산하고 저장합니다. 이를 통해 사용자는 데이터 세트의 모든 클래스에서 성능을 시각화할 수 있습니다.

from ultralytics import YOLO

# Load the YOLO11 model
model = YOLO("yolo11n.pt")

# Validate the model on a dataset like COCO8
# This generates the confusion matrix in the 'runs/detect/val' directory
results = model.val(data="coco8.yaml")

# You can also programmatically access the matrix data
print(results.confusion_matrix.matrix)

관련 용어와 비교

혼동 행렬과 파생된 지표를 구분하는 것이 중요합니다. 정확도, 정확도 및 회수율은 단일 숫자로 요약된 수치인 반면, 혼동 매트릭스는 혼동 매트릭스는 이러한 수치가 계산되는 원시 데이터 소스입니다. 혼동 매트릭스는 "전체 그림"을 제공합니다. 또한 객체 감지에서 행렬은 종종 다음과 상호 작용합니다. 유니온에 대한 교차(IoU) 임계값과 상호 작용하여 무엇이 정탐으로 간주되는지 결정하여 컴퓨터 비전 작업에서 평가의 깊이를 더합니다. 컴퓨터 비전 작업.