F1スコア

F1スコアは、機械学習（ML）における重要なパフォーマンス指標である。 機械学習(ML)における 分類モデルの精度を評価するために使用されます。予測の正答率を計算する単純な精度とは異なり F1-Scoreは他の2つの重要な指標-Precisionと Recall-を1つの値にまとめたものです。これは の調和平均として定義されます。これにより F1-Scoreは、特に以下のような不均衡なデータセットで学習されたモデルを評価するのに役立ちます。 不均衡なデータセット、つまりあるクラスのサンプル数が他のクラスよりも著しく多い場合。このような場合、モデルは を予測するだけで、高い精度を達成できるかもしれません。 を識別できないことがあります。

精度と再現性のバランス

F1スコアを理解するには、その構成要素間の緊張関係を把握する必要がある。Precisionは は陽性予測の質（偽陽性の最小化）を測定し、Recall は同定された真陽性の量（偽陰性の最小化）を測定する。 Recallは特定された真陽性の量を測定する（偽陰性を最小化する）。多くの場合、これらのメトリクスの一方を増加させると、もう一方が減少します。 として知られる現象である。 と呼ばれる現象である。F1-Scoreは極端な値にペナルティを課すことで、バランスの取れた見方を提供します。F1-Scoreは、1（完全な このバランスは、ロバストな予測モデリング・システムを開発するために不可欠である。 予測モデリング・システムの開発には不可欠である。 検出と誤警報の両方が大きなコストを伴う。

実際のアプリケーション

F1-Scoreは、エラーのコストが高かったり、データの分布が偏っていたりするシナリオでは不可欠である。

• 医用画像解析:医療において、腫瘍のような疾患の診断には高い感度が要求される。偽陰性（腫瘍を見逃す）は危険で は危険であり、一方、偽陽性（健康な組織を腫瘍と識別）は不必要なストレスを引き起こす。ソリューション ヘルスケアにおけるAIの活用は F1スコアは、モデルが安全なバランスを維持し、誤報で医師を圧倒することなく、できるだけ多くの真の症例を検出することを保証する。 医師を誤報で圧倒することなく
• 金融における異常検知： 金融機関はAIを使って不正取引をdetect いる。実際の不正は合法的な取引に比べれば稀であるため 実際の不正は合法的な取引に比べれば稀であるため、単純にすべてを合法的な取引としてラベル付けすることで、99.9％の精度を主張することができる。しかし、これでは を最適化することで、不正を発見することができる。F1スコアの最適化によって、 ファイナンスにおけるAI システムは、有効なカードをブロックすることによる混乱を最小限に抑えながら、疑わしい行為に効果的にフラグを立てることができる。

Ultralytics YOLO11F1スコア

物体検出のようなコンピュータビジョン（CV）タスクでは のようなコンピュータビジョン（CV）タスクでは、F1-Scoreは、モデルがどの程度境界を定義し F1-Scoreは、モデルがどれだけうまく境界を定義し、特定の信頼閾値でオブジェクトを分類するかを決定するのに役立ちます。以下のようなモデルを学習する場合 Ultralytics YOLO11のようなモデルをトレーニングする場合、検証プロセスでは エンジニアが最適なモデルの重みを選択するのに役立ちます。

以下のPython コードは、事前にトレーニングされたYOLO11 モデルを検証し、パフォーマンス・メトリクスにアクセスする方法を示しています。

from ultralytics import YOLO

# Load a pretrained YOLO11 model
model = YOLO("yolo11n.pt")

# Run validation on a dataset like COCO8
# The .val() method computes metrics including Precision, Recall, and mAP
metrics = model.val(data="coco8.yaml")

# Print the mean results
# While F1 is computed internally for curves, mAP is the primary summary metric
print(f"Mean Average Precision (mAP50-95): {metrics.box.map}")
print(f"Precision: {metrics.box.mp}")
print(f"Recall: {metrics.box.mr}")

F1スコアと関連指標の区別

適切な指標を選択するかどうかは、AIプロジェクトの具体的な目標に依存する。

• 精度:これは予測の全体的な正しさを測定する。クラス分布がほぼ等しい場合に最適です。 対照的に、F1-Scoreはクラス分布が不均等な場合に好ましい指標です。
• 平均平均精度mAP:F1-Scoreがしばしば特定の信頼閾値で計算されるのに対し mAP 異なる想起レベル間の平均精度を評価する。 mAP 物体検出モデルを比較するための基準である。 は特定の動作点を最適化するのに有用である。
• 曲線下面積（AUC）:AUCは ROC (Receiver Operating Characteristic) 曲線の下での面積を表す．AUCは、すべての閾値にわたってクラスを区別する分類器の能力を測定しますが、F1-Score は、特に1つの閾値における正クラスの性能に焦点を当てます。

モデルF1スコアの向上

F1-Scoreを向上させるには、多くの場合、モデルとデータの改善を繰り返す必要がある。

• ハイパーパラメータのチューニング:学習率 バッチサイズや損失関数などの設定を調整することで、モデル より効果的に精度と想起のバランスをとる解に収束させることができる。
• データ拡張:データを反転させたり、スケーリングしたり、ノイズを加えたりすることで 学習データにノイズを加えるなどの手法により、モデルをより多様な 一般化し、困難なポジティブケースを正しく識別する能力を向上させる。
• トランスファー・ラーニング:大規模で多様なデータセットで事前に訓練されたモデルから始めることで、ネットワークは学習された特徴抽出器を活用することができる。 を活用することができ、限られたデータで特化したタスクでより高いF1スコアが得られることが多い。