Receiver Operating Characteristic (ROC)曲線

Receiver Operating Characteristic（ROC）曲線は、二値分類モデルの識別閾値を変化させたときの診断能力を示すグラフプロットです。これは、分類器の性能を評価および比較するための機械学習（ML）における基本的なツールです。この曲線は、さまざまな閾値設定で真陽性率（TPR）を偽陽性率（FPR）に対してプロットすることによって作成され、可能なすべての分類閾値におけるモデルの性能の包括的なビューを提供します。これにより、教師あり学習タスクにおける感度と特異性の間のトレードオフを理解するための非常に貴重な資産となります。

ROC曲線について

ROC曲線の概念を理解するには、その2つの軸を理解することが不可欠です。

• True Positive Rate (TPR): Recall（再現率）または感度とも呼ばれ、TPRは実際に陽性であるもののうち、正しく識別されたものの割合を測定します。例えば、医療検査では、これは疾患を持つ患者のうち、正しく診断された患者の割合となります。
• 偽陽性率（FPR）: FPRは、実際には陰性であるものが誤って陽性として識別される割合を測定します。同じ医療検査の例では、これは病気と誤診された健康な患者の割合になります。

分類モデルは通常、各インスタンスの確率または信頼スコアを出力します。次に、このスコアに閾値を適用して、最終的なバイナリ決定（例：陽性または陰性）を行います。ROC曲線は、この閾値を0から1まで体系的に変化させ、各値に対して得られたTPRとFPRのペアをプロットすることによって生成されます。モデルのパフォーマンスの視覚化は、TensorBoardなどのツールを使用するか、Ultralytics HUBなどのプラットフォームを介して行うことができます。

ROC曲線（受信者動作特性曲線）の解釈方法

ROC曲線（受信者動作特性曲線）の形状と位置は、モデルの性能について多くのことを示します。

• ランダム分類器： （0,0）から（1,1）への対角線は、識別力のないモデルを表します。これは、ランダムな推測と同等です。
• 優れた分類器: 左上の角に向かって湾曲している曲線は、優れた分類器を示します。曲線が左上に近いほど性能が良く、低い FPR（偽陽性率）を維持しながら高い TPR（真陽性率）を達成します。
• 完全な分類器: 完全な分類器の曲線は、(0,0)から(0,1)までまっすぐ上に伸び、次に(1,1)まで横に伸びるはずです。これにより、0%のFPRで100%のTPRを達成します。

ROC曲線から導出される一般的な指標は、曲線下面積（AUC）です。AUCは、分類器がランダムに選択された陽性インスタンスをランダムに選択された陰性インスタンスよりも上位にランク付けする確率を表します。AUCが1.0の場合は完璧なモデルを意味し、AUCが0.5の場合はランダムなモデルに対応します。この単一のスカラー値は、異なるモデルの比較に役立ちます。

実際のアプリケーション

ROC曲線は、さまざまな業界でデプロイメントに最適なモデルを評価および選択するために広く使用されています。

1. 医療診断: 医用画像解析 では、深層学習 モデルは、マンモグラムから癌を検出するようにトレーニングされる場合があります。ROC 曲線は、放射線科医とエンジニアが、悪性腫瘍と良性腫瘍を区別するモデルの能力を評価するのに役立ちます。曲線を分析することにより、できるだけ多くの癌を検出する必要性（高い TPR）と、誤報による不必要な生検を引き起こすリスク（低い FPR）のバランスを取る分類しきい値を選択できます。これは、責任ある AI 開発 における重要なステップであり、FDA などの機関が設定した臨床基準をモデルが満たしていることを保証します。

2. クレジットカードの不正検出: 金融機関は、MLモデルを使用して、不正な取引をリアルタイムで識別します。ROC曲線は、モデルが不正な取引と正当な取引をどれだけうまく分離できるかを評価するために使用できます。銀行は、顧客をイライラさせる可能性のある、誤って拒否される正当な取引の数を最小限に抑えながら、不正検出を最大化するしきい値を選択するために、この曲線を使用する場合があります。これは、金融におけるAIのための堅牢なシステムを構築するのに役立ちます。

ROC曲線とその他の指標の比較

ROC曲線は強力ですが、他の評価指標とどのように異なるかを理解することが重要です。

• 精度: このメトリックは、特に1つのクラスが支配的な不均衡なデータセットでは、誤解を招く可能性があります。モデルは、単に多数派のクラスを予測することで高い精度を達成する可能性があります。ROC曲線とAUCは、これらのシナリオでより堅牢な、しきい値に依存しないビューを提供します。

• 適合率と再現率: これらの指標は、ポジティブクラスのパフォーマンスに焦点を当てています。適合率は、ポジティブ予測の精度を測定し、再現率（TPR）は、実際ポジティブのカバー率を測定します。F1スコアはこれらを組み合わせますが、特定の閾値に依存します。対照的に、ROC曲線は、すべての閾値にわたるTPRとFPRのトレードオフを評価します。ネガティブクラスが広大であまり関心がないタスクの場合、適合率-再現率曲線の方が有益な場合があります。

• mAPとIoU：ROC曲線は、二値分類用に設計されています。物体検出やインスタンスセグメンテーションのような、Ultralytics YOLOのようなモデルで一般的な、より複雑なタスクの場合、他のメトリクスが標準です。平均適合率（mAP）とIntersection over Union（IoU）は、分類とローカリゼーションの両方の精度を評価するために使用されます。詳細については、YOLOパフォーマンスメトリクスに関するガイドをご覧ください。これらのメトリクスの視覚化は、PyTorchやTensorFlowのようなフレームワークで行うことができます。