Receiver Operating Characteristic (ROC)曲線

ROC曲線（Receiver Operating Characteristic）は、2値分類モデルの性能を評価するために使用されるグラフ表現である。 二値分類モデルの性能を評価するために使用されるグラフ表現です。これは、さまざまな分類しきい値にわたる真陽性率（TPR）と偽陽性率（FPR）の間のトレードオフを視覚化します。 (FPR)のトレードオフを可視化します。機械学習（ML）では 機械学習（ML）では、この曲線は 機械学習（ML）において、この曲線は、モデルが「スパム」対「スパムでない」、「病気」対「病気でない」のような2つのクラスをどの程度区別できるかを評価するための基本的なものである。 "スパム "対 "スパムでない"、"病気 "対 "健康 "など。これらの割合をプロットすることで、ROC曲線 は、モデルの診断能力を包括的に示すものであり、精度のような単数値の指標を超えたものである。 単独では誤解を招きかねないaccuracyのような単一の数値指標を超えるものです。

軸を理解する

ROC曲線を正しく解釈するには、その軸にプロットされた2つの指標を理解することが不可欠である：

• 真陽性率（TPR）：しばしば この指標は、モデルが正しく識別した実際の陽性インスタンス モデルが正しく識別した実際の陽性インスタンスの割合を測定します。例えば、セキュリティシステムでは、これは 実際の侵入者を正しく検出した割合です。
• 偽陽性率（FPR）：このメトリクスは、実際の否定的なインスタンスのうち、正と誤って識別された（誤警報）割合を計算します。 の割合を計算する。FPR が低いほど、誤警報が少ないことを示します。 のようなシステムにおけるユーザーの信頼にとって極めて重要です。 バイオメトリクス認証のようなシステムにおけるユーザーの信頼にとって極めて重要です。

この曲線は 曲線は、分類器の信頼しきい値を0から1まで変化させることによって生成される。ROC曲線上の各点は ROC曲線上の各点は、特定の判定しきい値に対応する感度/特異度のペアを表す。A 左下から右上に向かう斜めの線は、予測スキルのないランダムな分類器（コイントス トス）を表し、左上に向かって急峻に曲がる曲線は、高性能モデルを表す。

実際のアプリケーション

ROC曲線は、モデル展開のための決定しきい値を最適化するために、様々な業界で広く利用されている。 モデル展開に広く利用されている。

1. 医療診断医療画像解析では 医療画像分析では ROC曲線を用いて、肺炎や腫瘍などの状態を検出するモデルを調整する。高いTPRが優先される。 高いTPRが優先される。このバランスは このバランスは FDA。
2. 金融詐欺の検出：金融機関が採用 金融機関では、不正取引を特定するために 不正取引を特定する。この場合、ROC曲線は、アナリストが、正当な取引にフラグを立てすぎ ることなく、不正行為の大半を捕捉する（高いRecall）閾値を選択するのに役立つ。 は、正当な取引にフラグを立てすぎることなく、不正行為の大半を検知できる（高いRecall）閾値を選択するのに役立ちます。 エクスペリエンスに悪影響を与えることになる。

ROCの確率計算

ROC曲線をプロットするには、最終的なクラス・ラベルだけでなく、正のクラスの予測確率が必要です。 ラベルが必要である。次の例では，これらの確率を YOLO11 の分類モデルである。 ultralytics パッケージで提供される。

from ultralytics import YOLO

# Load a pretrained YOLO11 classification model
model = YOLO("yolo11n-cls.pt")

# Run inference on an image to get prediction results
results = model("path/to/image.jpg")

# Access the probability distribution for all classes
# These scores are necessary inputs for calculating ROC and AUC
probs = results[0].probs.data
print(f"Class probabilities: {probs}")

テストデータセットに対してこれらの確率が得られると、次のようなライブラリが利用できる。 のようなライブラリを のようなライブラリを使用して、曲線のプロットに必要な FPR と TPR の値を計算することができる。

ROCと他の評価指標との比較

ROC曲線は強力なツールであるが、関連する評価概念と区別することが有用である：

• 曲線下面積（AUC）：曲線下面積 曲線下面積（AUC）は、ROC曲線から得られるスカラー値である。 ROC曲線から得られるスカラー値である。ROCが視覚的なプロットであるのに対して、AUCは全体的なパフォーマンスを0～1の間の1つの数値に定量化する。 異なる教師あり学習モデル間の比較を容易にする。 教師あり学習モデル間の比較が容易になります。
• 精度-再現曲線：精度-再現率曲線：高度に不均衡なデータセット（例えば、人口の1％が罹患する希少病 を扱う場合、ROC曲線は時として過度に楽観的な見方をすることがある。このような場合 精度-再現率曲線 の方がより有益であることが多い。 否定。
• 混乱マトリックスA 混同行列は 真の陽性、偽陽性、偽陰性の正確な数を示す、 真陰性、偽陰性の正確な数を示す。ROC曲線は、あらゆる閾値で生成された混同行列からの情報を効果的に要約する。 から得られる情報を効果的に要約したものである。

物体検出を含むタスクでは、以下のようなメトリクスが使用されます。 平均平均精度 のようなメトリクスが一般的に使用されますが、ROC カーブは、これらのモデルの基本的な分類コンポーネントに引き続き関連します。 このような違いを理解することで、開発者は特定のコンピュータ・ビジョン（CV）の課題に適したメトリックを選択することができます。 コンピュータ・ビジョン（CV）の課題に適したメトリックを選択することができます。