F1-Score

F1 점수는 정밀도와 재현율을 하나의 조화 평균으로 결합하는 머신 러닝의 핵심 성능 지표입니다. 데이터셋의 클래스 불균형이 있거나 거짓 양성 및 거짓 음성에 서로 다른 비용이 발생하는 분류 모델을 평가할 때 특히 유용합니다. 한 클래스가 데이터셋을 지배하는 경우 오해를 불러일으킬 수 있는 단순한 정확도와 달리, F1 점수는 오류를 최소화하면서 관련 인스턴스를 정확하게 식별하는 모델의 능력을 보다 균형 있게 보여줍니다. 극단적인 값에 페널티를 적용하므로 정밀도와 재현율이 모두 합리적으로 높을 때만 높은 점수를 얻을 수 있으며, 따라서 의료 진단부터 정보 검색에 이르는 다양한 분야에서 핵심 지표로 사용됩니다.

머신 러닝에서 F1 점수가 중요한 이유#

많은 실제 시나리오에서는 올바른 예측의 비율(정확도)만 아는 것으로는 충분하지 않습니다. 예를 들어, 이상 탐지에서는 정상 사례가 이상 사례보다 훨씬 많습니다. 모든 입력을 "정상"으로 예측하는 모델은 99%의 정확도를 달성할 수 있지만 실제 문제를 탐지하는 데는 쓸모가 없습니다. F1 점수는 다음 두 가지 상충하는 지표의 균형을 맞춰 이 문제를 해결합니다.

• 정밀도: 양성 예측의 품질을 측정합니다. 이는 "모델이 양성으로 분류한 모든 인스턴스 중 실제로 양성인 것은 몇 개인가?"라는 질문에 답합니다.
• 재현율: 양성 예측의 수량을 측정합니다. 이는 "실제 양성 인스턴스 중 모델이 정확하게 식별한 것은 몇 개인가?"라는 질문에 답합니다.

정밀도를 높이면 재현율이 낮아지고 그 반대도 마찬가지인 경우가 많기 때문에 F1 점수는 최적의 균형점을 찾기 위한 통합 지표로 사용됩니다. 이는 다양한 조건에서 견고한 성능을 보장하기 위해 하이퍼파라미터 최적화를 사용하여 모델을 튜닝할 때 매우 중요합니다.

실제 적용 사례#

F1 점수는 오류 비용이 큰 다양한 산업 분야에서 유용하게 활용됩니다.

• 의료 진단: 헬스케어 분야의 AI, 특히 종양 탐지와 같은 작업에서는 거짓 음성(종양을 놓치는 경우)이 생명을 위협하는 반면, 거짓 양성(양성 조직을 의심 사례로 표시하는 경우)은 불필요한 불안을 유발합니다. F1 점수는 연구자들이 YOLO26과 같은 모델을 최적화하여 시스템이 질병을 놓치지 않을 만큼 민감하면서도 의사에게 거짓 경보를 과도하게 알리지 않도록 지원합니다.
• 정보 검색 및 검색 엔진: 검색 엔진과 문서 분류 시스템은 관련성을 평가하기 위해 F1 점수를 사용합니다. 사용자는 관련 문서를 모두 확인하고 싶어 하지만(높은 재현율), 관련 없는 결과를 일일이 살펴보기를 원하지는 않습니다(높은 정밀도). 높은 F1 점수는 검색 엔진이 불필요한 정보로 결과를 어지럽히지 않으면서 올바른 정보를 효과적으로 검색하고 있음을 나타냅니다.
• 스팸 필터링: 이메일 서비스는 텍스트 분류를 사용하여 스팸을 분류합니다. 시스템은 스팸 이메일을 탐지해야 하지만(재현율), 중요한 업무 이메일을 정크 메일로 분류해서는 안 됩니다(정밀도). F1 점수는 이러한 필터의 주요 벤치마크로 사용됩니다.

Ultralytics를 사용한 F1 점수 계산#

최신 컴퓨터 비전 프레임워크는 이러한 지표의 계산을 간소화합니다. 객체 탐지 모델을 학습할 때 F1 점수는 검증 단계에서 자동으로 계산됩니다. Ultralytics Platform은 이러한 지표를 실시간 차트로 시각화하므로 사용자는 다양한 confidence threshold에 따른 F1 점수 곡선을 확인할 수 있습니다.

다음은 Python API를 사용하여 F1 점수의 구성 요소를 포함한 검증 지표에 액세스하는 방법입니다.

from ultralytics import YOLO

# Load a pre-trained YOLO26 model
model = YOLO("yolo26n.pt")

# Validate the model on a dataset (metrics are computed automatically)
# This returns a validator object containing precision, recall, and mAP
metrics = model.val(data="coco8.yaml")

# Print the Mean Average Precision (mAP50-95), which correlates with F1 performance
print(f"mAP50-95: {metrics.box.map}")

# Access precision and recall arrays to manually inspect the balance
print(f"Precision: {metrics.box.p}")
print(f"Recall: {metrics.box.r}")

F1 점수와 관련 지표 비교#

프로젝트에 적합한 도구를 선택하려면 F1 점수가 다른 평가 기준과 어떻게 다른지 이해해야 합니다.

• 정확도와의 차이: 정확도는 모든 오류를 동일하게 취급합니다. F1 점수는 양성 클래스(관심 대상인 소수 클래스)의 성능에 초점을 맞추기 때문에 불균형 데이터셋에 더 적합합니다.
• mAP와의 관계: 평균 정밀도(mAP)는 모든 confidence threshold에서 객체 탐지 모델을 비교하는 표준 지표입니다. 그러나 F1 점수는 배포를 위한 최적 confidence threshold를 결정하는 데 자주 사용됩니다. 애플리케이션을 배포할 때 F1 곡선이 정점에 도달하는 threshold를 선택할 수 있습니다.
• 혼동 행렬: 혼동 행렬은 F1 점수를 계산하는 데 사용되는 원시 개수(참 양성, 거짓 양성 등)를 제공합니다. 혼동 행렬은 세부적인 정보를 제공하는 반면, F1 점수는 빠른 비교를 위한 단일 요약 통계를 제공합니다.
• ROC-AUC: 곡선 아래 면적(AUC)은 모든 threshold에서의 분리 가능성을 측정합니다. 클래스 분포가 크게 치우친 경우(예: 사기가 드문 사기 탐지)에는 일반적으로 ROC-AUC보다 F1 점수가 선호됩니다.

F1 점수 개선하기#

모델의 F1 점수가 낮다면 몇 가지 전략을 활용할 수 있습니다. 데이터 증강은 양성 예제의 다양성을 높여 모델의 일반화 성능을 향상할 수 있습니다. 강력한 foundation model에서 전이 학습을 적용하면 네트워크가 사전 학습된 특징을 활용할 수 있습니다. 또한 추론 중 confidence threshold를 조정하면 정밀도와 재현율 사이의 균형을 수동으로 변경하여 특정 사용 사례에 맞게 F1 점수를 극대화할 수 있습니다.