AUC(Area Under the Curve)

곡선 아래 면적(AUC)은 분류 모델의 성능을 정량화하는 데 사용되는 기본적인 지표입니다, 특히 머신 러닝(ML). 이는 모델이 클래스를 구분하는 능력 클래스를 구분하는 모델의 능력(예: 긍정적인 인스턴스와 부정적인 인스턴스를 구분하는 능력)을 측정합니다. 단일 결정에 의존하는 메트릭 와 달리, AUC는 가능한 모든 임계값에 대한 포괄적인 성능 보기를 제공합니다. 임계값. 따라서 지도 학습 알고리즘을 평가하는 데 필수적인 도구로 지도 학습 알고리즘을 평가하는 데 필수적인 도구입니다. 모델의 예측 기능이 강력하고 특정 임계값에 의해 편향되지 않음을 보장합니다. 일반적으로 AUC 값이 높을수록 점수가 높을수록 성능이 우수한 모델임을 나타내며, 1.0은 완벽한 분류를 의미합니다.

AUC와 ROC의 관계

AUC라는 용어는 구체적으로 아래의 수신기 작동 특성(ROC) 곡선 아래 영역을 의미합니다. ROC 곡선은 이진 분류기 시스템의 진단 능력을 보여주는 그래픽 플롯입니다. 이 그래프는 리콜이라고도 하는 진양성률(TPR)과 오탐률(FPR)을 다양한 임계값 설정에서 비교합니다.

• 진양성률: 실제 양성 사례 중 모델에 의해 효과적으로 식별된 사례의 비율입니다.
• 오탐률: 실제 음성 사례 중 양성으로 잘못 식별되는 비율. 양성.

데이터 과학자는 AUC를 계산함으로써 ROC 곡선에 포함된 정보를 하나의 수치로 압축합니다. 이는 모델 평가를 간소화하여 서로 다른 아키텍처 간의 비교가 더 쉬워집니다. ResNet-50 백본을 더 가벼운 대안과 비교하는 것과 같이 서로 다른 아키텍처를 더 쉽게 비교할 수 있습니다.

악보 해석하기

AUC 점수는 0에서 1 사이의 범위로, 모델의 순위 품질에 대한 확률적 해석을 제공합니다.

• AUC = 1.0: 완벽한 분류기. 포지티브 클래스와 네거티브 클래스를 100% 정확하게 구분할 수 있습니다. 정확하게 구분할 수 있습니다.
• 0.5 < AUC < 1.0: The model has a better-than-random chance of classifying instances correctly. This is the target range for most predictive modeling tasks.
• AUC = 0.5: 이 모델은 변별력이 없으며 무작위 추측(동전 던지기와 같은 동전 던지기).
• AUC < 0.5: This suggests the model is performing worse than random chance, often indicating that the predictions are inverted or there is a significant issue with the training data.

분류 메커니즘에 대해 더 자세히 알아보려면 다음과 같은 리소스를 참조하세요. Google 머신 러닝 단기 강좌 와 같은 리소스가 훌륭한 시각적 설명을 제공합니다.

실제 애플리케이션

AUC는 오탐과 오탐의 결과가 다양한 시나리오에서 특히 유용합니다. 특히 유용합니다.

1. 의료 진단: In 의료 분야의 AI 모델은 종종 다음과 같이 훈련됩니다. 종양이나 MRI 스캔에서 이상 징후를 detect 모델을 학습시킵니다. AUC 점수가 높으면 모델이 악성 사례를 양성 사례보다 양성 사례보다 악성 사례를 더 높게 평가합니다. 이러한 신뢰성은 방사선 전문의가 사용하는 임상 의사 결정 지원 시스템에 매우 중요합니다. 방사선 전문의. 예를 들어 종양 발견에 도움을 주는YOLO11 는 생명과 직결된 애플리케이션에서 강력한 평가 지표의 중요성을 강조합니다.
2. 금융 사기 탐지: 금융 기관은 컴퓨터 비전(CV) 및 패턴 인식 을 사용하여 사기 거래를 탐지합니다. 합법적인 거래가 사기 거래보다 훨씬 많기 때문에 데이터의 불균형. AUC는 다음과 같은 요인에 치우치지 않고 사기 확률의 순위를 평가하기 때문에 선호됩니다. 원시 데이터와 달리 합법적인 부정 거래가 많기 때문에 정확도. 이는 보안을 유지하면서 고객과의 마찰을 최소화하는 고객 마찰을 최소화하면서 보안을 유지하는 시스템을 구축하는 데 도움이 됩니다. 시스템을 구축하는 데 도움이 됩니다.

AUC와 다른 지표 비교

성공적인 모델 배포를 위해서는 다른 지표와 비교하여 AUC를 사용해야 하는 시점을 이해하는 것이 모델 배포의 핵심입니다.

• AUC 대 정확도: 정확도: 정확도는 정확한 예측의 비율을 측정합니다. 그러나 불균형한 데이터 세트(예: 99% 부정적 클래스)에서는 모델이 다음과 같은 결과를 얻을 수 있습니다. 예측력이 0임에도 불구하고 모든 것을 '부정'으로 예측하여 99%의 정확도를 달성할 수 있습니다. AUC는 클래스 불균형에 변하지 않으므로 이러한 문제에 대해 보다 정직한 지표가 됩니다.
• AUC와 정밀 리콜: ROC AUC는 TPR과 FPR을 모두 고려합니다, 정밀도와 리콜은 특히 포지티브 클래스에 초점을 맞춥니다. 다음과 같은 경우 오양성은 허용되지만 오음성은 허용되지 않는 경우(예: 초기 질병 스크리닝)에는 정확도-재콜 트레이드오프 를 분석하는 것이 ROC AUC보다 더 많은 정보를 제공할 수 있습니다.
• AUC 대 mAP: For 다음과 같은 모델이 수행하는 객체 감지 작업의 경우 YOLO11와 같은 모델에서 수행되는 물체 감지 작업의 경우 표준 메트릭은 평균 평균 정밀도(mAP). mAP 는 기본적으로 특정 교차점의 경계 상자에 대한 정밀도-재콜 곡선 아래의 면적을 계산합니다. UnionIoU) 임계값의 경계 상자에 대한 정밀도-재콜 곡선 아래의 면적을 계산하는 반면, AUC는 일반적으로 객체의 분류 신뢰도에 사용됩니다.

클래스 확률 계산하기

AUC를 계산하려면 최종 클래스 레이블이 아닌 양성 클래스의 확률 점수가 필요합니다. 다음 다음 예시는 이러한 확률을 구하는 방법을 보여줍니다. 이미지 분류 모델에서 ultralytics 라이브러리.

from ultralytics import YOLO

# Load a pre-trained YOLO11 classification model
model = YOLO("yolo11n-cls.pt")

# Run inference on an image
results = model("path/to/image.jpg")

# Access the probability scores for all classes
# These scores are the inputs needed to calculate AUC against ground truth
probs = results[0].probs.data
print(f"Class Probabilities: {probs}")

데이터 집합에 대한 확률을 확보한 후에는 다음과 같은 표준 라이브러리를 사용할 수 있습니다. Scikit-learn 최종 AUC 점수를 계산할 수 있습니다.