F1-Score

F1-Scoreは、適合率（precision）と再現率（recall）を単一の調和平均に統合する、機械学習における重要なパフォーマンス指標です。これは、データセットが不均衡な場合や、偽陽性（false positive）と偽陰性（false negative）のコストが異なる場合に、分類モデルを評価するのに特に有用です。あるクラスがデータセットを支配している場合に誤解を招く可能性がある単純な正解率（accuracy）とは異なり、F1-Scoreは、エラーを最小限に抑えつつ関連するインスタンスを正確に特定するモデルの能力を、よりバランスの取れた視点で提供します。極端な値をペナルティとして扱うことで、適合率と再現率の両方が十分に高い場合にのみ高いスコアが得られるようになり、医療診断から情報検索に至るまで、幅広い分野で標準的な指標となっています。

機械学習におけるF1-Scoreの重要性#

多くの実世界のシナリオにおいて、正解率（accuracy）の割合を知るだけでは不十分です。例えば、anomaly detectionでは、正常なケースが異常ケースをはるかに上回ります。すべての入力に対して「正常」と予測するモデルは、99%の正解率を達成するかもしれませんが、実際の問題を検出するには役に立ちません。F1-Scoreは、競合する2つのメトリクスをバランスさせることでこれに対処します。

• Precision: これはポジティブ予測の品質を測定します。「モデルがポジティブとラベル付けしたすべてのインスタンスのうち、実際にポジティブだったものはいくつあるか？」という疑問に答えます。
• Recall: これはポジティブ予測の量を測定します。「実際のすべてのポジティブインスタンスのうち、モデルが正しく特定できたものはいくつあるか？」という疑問に答えます。

精度を向上させると再現率が低下する傾向があるというトレードオフ（逆もまた然り）が存在することが多いため、F1-Scoreは最適なバランスポイントを見つけるための統合されたメトリクスとして機能します。これは、多様な条件にわたって堅牢なパフォーマンスを確保するために、hyperparameter optimizationを使用してモデルをチューニングする際に非常に重要です。

実社会での応用#

F1-Scoreの有用性は、エラーのコストが大きいさまざまな業界に広がっています。

• 医療診断: AI in healthcare、具体的には腫瘍検出などのタスクにおいて、偽陰性（腫瘍の見逃し）は生命に関わる一方で、偽陽性（良性組織のフラグ付け）は不要な不安を引き起こします。F1-Scoreは、研究者がYOLO26などのモデルを最適化し、医師に誤報の嵐を浴びせることなく疾患を捉えるために十分な感度をシステムに持たせることを支援します。
• 情報検索と検索: 検索エンジンや文書分類システムは、F1-Scoreを使用して関連性を評価します。ユーザーはすべての関連文書を見たい（高い再現率）一方で、無関係な結果に目を通したくはありません（高い適合率）。高いF1-Scoreは、エンジンが不要な情報を含めずに正しい情報を効果的に取得していることを示しています。
• スパムフィルタリング: メールサービスは、スパムを分離するためにtext classificationを使用します。システムはスパムメールを捕捉する必要があり（再現率）、さらに重要なことに、重要な仕事のメールをジャンクとしてラベル付けしてはなりません（精度）。F1-Scoreは、これらのフィルターの主要なベンチマークとして機能します。

Ultralyticsを使用したF1-Scoreの計算#

近代的なコンピュータビジョンフレームワークは、これらのメトリクスの計算を簡素化します。物体検出モデルのトレーニング時、F1-Scoreはバリデーションフェーズ中に自動的に計算されます。Ultralytics Platformは、これらのメトリクスをリアルタイムチャートで視覚化し、ユーザーがさまざまな信頼度しきい値に対するF1-Scoreの曲線を確認できるようにします。

Python APIを使用して、F1-Scoreのコンポーネントを含む検証指標にアクセスする方法は以下の通りです。

from ultralytics import YOLO

# Load a pre-trained YOLO26 model
model = YOLO("yolo26n.pt")

# Validate the model on a dataset (metrics are computed automatically)
# This returns a validator object containing precision, recall, and mAP
metrics = model.val(data="coco8.yaml")

# Print the Mean Average Precision (mAP50-95), which correlates with F1 performance
print(f"mAP50-95: {metrics.box.map}")

# Access precision and recall arrays to manually inspect the balance
print(f"Precision: {metrics.box.p}")
print(f"Recall: {metrics.box.r}")

F1-Scoreと関連指標の比較#

プロジェクトに適したツールを選択するには、F1-Scoreが他の評価基準とどのように異なるかを理解することが不可欠です。

• 正解率との違い: Accuracyはすべてのエラーを平等に扱います。F1-Scoreは、ポジティブクラス（関心のある少数派クラス）のパフォーマンスに焦点を当てているため、不均衡データセットに対して優れています。
• mAPとの関係: Mean Average Precision (mAP)は、すべての信頼度しきい値にわたって物体検出モデルを比較するための標準です。しかし、F1-Scoreはデプロイのための最適な信頼度しきい値を決定するためによく使用されます。アプリケーションをデプロイするために、F1曲線がピークに達するしきい値を選択することができます。
• 混同行列: confusion matrixは、F1-Scoreの導出元となる生のカウント（真陽性、偽陽性など）を提供します。マトリクスは詳細な粒度を提供しますが、F1-Scoreは迅速な比較のための単一のサマリー統計を提供します。
• ROC-AUC: Area Under the Curve (AUC)は、すべてのしきい値にわたる分離可能性を測定します。F1-Scoreは、不正検出のように不正が稀であるなど、クラス分布が極端に偏っている場合に一般的にROC-AUCよりも好まれます。

F1-Scoreを向上させる方法#

モデルのF1-Scoreが低い場合、いくつかの戦略が役立ちます。Data augmentationはポジティブサンプルの多様性を高め、モデルの汎化性能を向上させるのに役立ちます。堅牢な基盤モデルからのtransfer learningを採用することで、ネットワークは事前に学習された特徴を活用できます。さらに、推論中にconfidence thresholdを調整することで、特定のユースケースに合わせてF1-Scoreを最大化するために、精度と再現率の間のバランスを手動でシフトさせることができます。