F1-점수

F1 점수는 머신러닝(ML)에서 중요한 성능 지표입니다. 머신 러닝(ML)의 중요한 성능 지표입니다. 분류 모델의 정확도를 평가하는 데 사용되는 중요한 성능 지표입니다. 올바른 예측의 비율을 계산하는 단순 정확도와 달리, F1 점수는 F1-Score는 다른 두 가지 중요한 메트릭인 정확도와 리콜을하나의 값으로 결합합니다. F1 점수는 다음과 같이 정의됩니다. 정확도와 회수율의 조화 평균으로 정의됩니다. 따라서 F1 점수는 특히 훈련된 모델을 평가하는 데 유용합니다. 한 클래스의 샘플 수가 다른 클래스보다 훨씬 많은 불균형 데이터 세트. 이러한 경우, 모델은 단순히 다수 클래스를 예측하는 것만으로 높은 정확도를 달성할 수 있지만, 종종 더 큰 관심사인 소수 클래스를 식별하지 못할 수 있습니다. 식별하지 못할 수 있습니다.

정밀도와 회상률의 균형

F1 점수를 이해하려면 구성 요소 간의 장력을 파악해야 합니다. 정확도는 양성 예측의 양성 예측의 품질(오탐 최소화)을 측정하는 반면, Recall은 식별된 진성 양성(오탐 최소화)의 양을 (오탐 최소화)의 양을 측정합니다. 이러한 지표 중 하나가 증가하면 다른 지표가 감소하는 경우가 종종 있습니다. 이 현상을 정밀도-리콜 트레이드오프. F1-Score는 극단적인 값에 불이익을 줌으로써 균형 잡힌 시각을 제공합니다. F1 점수는 1(완벽함)에서 최고 값에 도달하고( 정확도 및 회수율)에서 최고값에 도달하고 0에서 최악값에 도달합니다. 이 균형은 두 가지를 모두 놓치지 않는 강력한 강력한 예측 모델링 시스템을 개발하는 데 필수적입니다. 탐지 및 오경보 모두 상당한 비용을 수반하는 강력한 예측 모델링 시스템을 개발하는 데 필수적입니다.

실제 애플리케이션

F1 점수는 오류 비용이 높거나 데이터 분포가 왜곡된 시나리오에서 필수적인 요소입니다.

• 의료 영상 분석: 의료 분야에서 종양과 같은 질환을 진단하려면 높은 민감도가 필요합니다. 위음성(종양을 놓치는 것)은 위험하며, 위양성(건강한 조직을 종양으로 판별)은 불필요한 스트레스를 유발합니다. 솔루션 의료 분야에서 AI를 활용하는 것은 F1-Score를 사용하여 모델이 안전한 균형을 유지하여 거짓 경보로 의사를 압도하지 않고 가능한 한 많은 실제 사례를 감지하도록 보장합니다. 최대한 많은 실제 사례를 감지합니다.
• 금융 분야의이상 징후 탐지: 금융 기관은 AI를 사용하여 사기 거래를 detect . 실제 사기는 합법적인 거래에 비해 드물기 때문에 거래에 비해 실제 사기는 드물기 때문에 모델은 모든 거래를 정상 거래로 분류하여 99.9%의 정확도를 주장할 수 있습니다. 하지만 이는 사기를 사기를 잡아내는 데는 쓸모가 없습니다. F1-Score에 최적화함으로써, 금융 분야의 AI 시스템은 의심스러운 활동을 효과적으로 표시하는 동시에 유효한 카드 차단으로 인한 혼란을 최소화할 수 있습니다.

Ultralytics F1-점수YOLO11

다음과 같은 컴퓨터 비전(CV) 작업의 경우 개체 감지와 같은 컴퓨터 비전(CV) 작업의 경우 F1 점수는 모델이 경계를 얼마나 모델이 경계를 얼마나 잘 정의하고 특정 신뢰 임계값에서 객체를 분류하는지를 결정하는 데 도움이 됩니다. 다음과 같은 모델을 훈련할 때 Ultralytics YOLO11와 같은 모델을 훈련할 때 검증 프로세스는 정확도, 회수율 및 F1 점수를 계산하여 엔지니어가 최상의 모델 가중치를 선택할 수 있도록 도와줍니다.

다음 Python 코드는 사전 학습된 YOLO11 모델의 유효성을 검사하고 성능 메트릭에 액세스하는 방법을 보여줍니다.

from ultralytics import YOLO

# Load a pretrained YOLO11 model
model = YOLO("yolo11n.pt")

# Run validation on a dataset like COCO8
# The .val() method computes metrics including Precision, Recall, and mAP
metrics = model.val(data="coco8.yaml")

# Print the mean results
# While F1 is computed internally for curves, mAP is the primary summary metric
print(f"Mean Average Precision (mAP50-95): {metrics.box.map}")
print(f"Precision: {metrics.box.mp}")
print(f"Recall: {metrics.box.mr}")

F1 점수와 관련 지표 구분하기

올바른 메트릭을 선택하는 것은 AI 프로젝트의 구체적인 목표에 따라 달라집니다.

• 정확도: 예측의 전반적인 정확도를 측정합니다. 클래스 분포가 거의 동일할 때 가장 잘 사용됩니다. 반대로 F1-Score는 클래스 분포가 고르지 않을 때 선호되는 지표입니다.
• 평균 평균 정밀도mAP: F1 점수는 특정 신뢰 임계값에서 계산되는 경우가 많지만 신뢰 임계값으로 계산되는 경우가 많지만, mAP 다양한 리콜 수준에서 평균 정밀도를 평가합니다. mAP 객체 감지 모델을 비교하기 위한 표준인 반면, F1은 특정 작동 지점을 최적화하는 데 유용합니다.
• 곡선 아래 면적(AUC): AUC는 곡선 아래 면적을 나타냅니다. 수신기 작동 특성(ROC) 곡선 아래의 면적을 나타냅니다. AUC는 모든 임계값에 걸쳐 클래스를 구분하는 분류기의 능력을 측정하는 반면, F1-Score 는 단일 임계값에서 긍정적인 클래스 성능에 특히 초점을 맞춥니다.

모델 F1 점수 개선

F1 점수를 향상하려면 모델과 데이터에 대한 반복적인 개선이 수반되는 경우가 많습니다.

• 하이퍼파라미터 튜닝: 학습 속도와 같은 설정을 조정합니다, 배치 크기, 손실 함수와 같은 설정을 조정하면 모델이 정확도와 회상률의 균형을 보다 효과적으로 맞추는 솔루션으로 수렴하는 데 도움이 될 수 있습니다.
• 데이터 증강: 훈련 데이터에 뒤집기, 스케일링 또는 노이즈 추가와 같은 기술은 훈련 데이터에 노이즈를 추가하는 등의 기술은 모델을 더 다양한 사례에 노출시켜 예제에 노출시켜 일반화하기 어려운 양성 사례를 정확하게 식별하는 능력을 향상시킵니다.
• 이전 학습: 대규모의 다양한 데이터 세트에 대해 사전 학습된 모델로 시작하면 네트워크가 학습된 특징 추출기를 활용할 수 있습니다. 추출기를 활용할 수 있어 데이터가 제한된 특수 작업에서 더 높은 F1 점수를 얻을 수 있습니다.