정확성

정확도 계산 방법

정확도는 정확한 예측 수(정탐과 정탐 모두)를 총 예측 수로 나누어 계산합니다. 예를 들어, 모델이 100개의 이미지 중 90개를 올바르게 식별하면 정확도는 90%입니다. 이러한 단순성 때문에 모델 성능을 평가하는 데 널리 사용되는 시작점입니다.

AI 및 머신 러닝의 중요성

정확도는 모델이 전반적으로 얼마나 자주 정확한지를 간단하게 측정할 수 있는 지표입니다. 모델 개발 및 모델 학습의 초기 단계에서 일반적인 성능을 파악하기 위해 널리 사용됩니다. 높은 정확도는 종종 많은 애플리케이션의 주요 목표이며, 이는 모델이 보이지 않는 새로운 데이터에 대해 잘 일반화한다는 것을 나타냅니다. 다음과 같은 많은 최신 모델은 다음과 같습니다. Ultralytics YOLO 와 같은 많은 최신 모델은 속도와 같은 다른 요소와 균형을 맞추면서 높은 정확도를 위해 노력합니다. 정확도 벤치마크를 강조하는 YOLO11 대 YOLOv8 같은 비교를 볼 수 있습니다.

정확도의 한계

직관성에도 불구하고 정확도에는 상당한 한계가 있습니다:

• 불균형 데이터 세트: 한 클래스가 다른 클래스보다 훨씬 많은 불균형 데이터를 처리할 때 정확도는 성능에 대한 좋지 않은 지표가 될 수 있습니다. 예를 들어, 희귀 질병(예: 유병률 1%)을 탐지할 때 항상 "질병 없음"을 예측하는 모델은 99%의 정확도를 달성하지만 실제 사례를 식별하지 못하여 무용지물이 될 수 있습니다. 이는 잠재적인 데이터 세트 편향성을 고려하는 것이 중요하다는 점을 강조합니다.
• 오류 유형 무시: 정확도는 모든 오류를 동일하게 처리합니다. 그러나 많은 실제 시나리오에서 다양한 오류로 인한 비용은 다양합니다. 예를 들어, 악성 종양을 양성으로 잘못 분류하는 것(위음성)은 양성을 악성으로 분류하는 것(위양성)보다 훨씬 더 중요한 경우가 많습니다.
• 정확도의 역설: 어떤 상황에서는 표준 정의에 따른 정확도가 낮은 모델이 실제로는 더 유용할 수 있습니다. 이를 정확도 역설이라고 합니다.

다른 지표와 정확도 구별하기

정확도의 한계로 인해, 특히 불균형한 데이터나 다양한 오류 비용으로 인해 다른 지표가 선호되거나 함께 사용되는 경우가 많습니다:

• 정밀도: 실제로 정답인 양성 식별의 비율을 측정합니다. 오탐으로 인한 비용이 높은 경우(예: 스팸 필터가 중요한 이메일을 스팸으로 표시하는 경우)에는 높은 정밀도가 중요합니다.
• 리콜(감도): 실제 양성으로 정확하게 식별된 비율을 측정합니다. 오탐으로 인한 비용이 높을 때(예: 진단 누락) 높은 리콜은 매우 중요합니다.
• F1-Score: 정확도와 회수율의 조화 평균으로, 둘 사이의 균형을 제공합니다. 오탐과 오탐이 모두 중요할 때 유용합니다.
• 평균 평균 정밀도(mAP): 다양한 리콜 수준에서 분류 정확도와 위치 정확도(IoU)를 모두 고려하는 객체 감지의 일반적인 측정 지표입니다.
• 혼동 매트릭스: 분류 알고리즘의 성능을 시각화하여 정탐, 정탐, 오탐, 미탐을 표시하는 표로 정밀도, 회수율, 정확도를 계산하는 데 도움이 됩니다.
• ROC 곡선 및 AUC: 다양한 임계값 설정에서 진양성률(Recall)과 오양성률 간의 균형을 시각화합니다.

이러한 다양한 YOLO 성과 지표를 이해하면 특정 요구 사항에 맞는 모델 성능을 보다 미묘하게 평가할 수 있습니다.

실제 AI/ML 애플리케이션

1. 의료 이미지 분석: YOLO11 사용한 종양 감지와 같은 작업에서는 전반적인 정확도를 고려하지만, 실제 종양을 놓칠 위험(오탐)을 최소화하기 위해 리콜(민감도)과 같은 메트릭을 우선시하는 경우가 많습니다. 의료 분야의 AI 솔루션은 이러한 메트릭 간의 균형을 신중하게 고려해야 합니다.
2. 자율주행 차량: 차량용 AI 솔루션의 경우, 객체 감지 모델은 보행자, 차량, 장애물을 식별하는 데 있어 높은 정확도가 필요합니다. 그러나 단순히 전반적인 정확도를 측정하는 것만으로는 충분하지 않으며, 안전을 위해 정확한 분류와 정확한 위치 파악(경계 상자 예측) 을 보장하려면 mAP와 같은 메트릭이 중요합니다.

모델 정확도 향상

여러 가지 기술이 모델 정확도를 개선하는 데 도움이 될 수 있지만, 다른 지표나 계산 비용과의 절충이 필요한 경우가 많습니다:

• 데이터 증강: 새로운 샘플을 수집하지 않고 인위적으로 학습 데이터의 다양성을 높이는 방법. 예시는 YOLO 데이터 증강 가이드를 참조하세요.
• 하이퍼파라미터 튜닝: 학습 시작 전에 설정하는 학습 속도 또는 배치 크기와 같은 매개변수를 최적화합니다. 하이퍼파라미터 튜닝 가이드와 같은 가이드가 도움이 될 수 있습니다.
• 고급 아키텍처 선택: 최신 Ultralytics YOLO 모델이나 트랜스포머와 같은 더 강력한 모델 선택.
• 이전 학습: 이미지넷과 같은 대규모 데이터 세트에서 사전 학습된 모델을 사용하여 특정 작업에 맞게 미세 조정합니다.
• 앙상블 방법: 여러 모델의 예측을 결합하여 전반적인 성능을 개선합니다.

모델 트레이닝 팁과 같은 컨설팅 리소스는 실질적인 지침을 제공할 수 있습니다. Ultralytics HUB와 같은 플랫폼을 통해 사용자는 모델을 훈련하고 다른 주요 메트릭과 함께 정확도를 쉽게 추적할 수 있으며, 종종 TensorBoard와 같은 도구를 사용하여 시각화할 수 있습니다. 스탠포드 AI 인덱스 보고서와 같은 리소스를 통해 해당 분야의 진행 상황을 추적하거나 Papers With Code에서 데이터 세트를 검색할 수 있습니다. 다음과 같은 프레임워크 PyTorch ( 공식 사이트 참조) 및 TensorFlow ( 공식 사이트 참조)와 같은 프레임워크가 이러한 모델을 구축하고 훈련하는 데 일반적으로 사용됩니다.

결론적으로 정확도는 AI 모델 성능을 평가하는 데 유용하고 직관적인 지표이기는 하지만, 정확도만 단독으로 사용해서는 안 됩니다. ML 작업의 구체적인 목표와 데이터의 특성, 특히 잠재적인 불균형이나 다양한 오류 비용을 고려해야 정확도, 리콜, F1 점수 또는 mAP와 같은 가장 적절한 평가 지표를 선택할 수 있습니다. 설명 가능한 AI(XAI) 의 기술을 활용하면 단일 메트릭 값 이상의 심층적인 인사이트를 얻을 수도 있습니다.