受信者動作特性（ROC）曲線

ROC曲線（Receiver Operating Characteristic）とは、二値分類モデルの識別閾値を変化させたときの診断能力を示すグラフプロットである。機械学習（ML）において、分類器の性能を評価・比較するための基本的なツールである。この曲線は、様々な閾値設定における偽陽性率（FPR）に対する真陽性率（TPR）をプロットすることによって作成され、すべての可能な分類閾値にわたるモデルの性能の包括的なビューを提供します。これは、教師あり学習タスクにおける感度と特異度のトレードオフを理解するための貴重な資産となります。

ロカーブを理解する

ROC曲線の概念を理解するには、その2つの軸を理解することが不可欠である：

• 真陽性率（TPR）： Recallまたは感度としても知られるTPRは、正しく識別された実際の陽性の割合を測定する。例えば、医療検査では、ある病気の患者が正しく診断された割合となる。
• 偽陽性率（FPR）：FPRは、誤って陽性と判定された実際の陰性の割合を測定する。同じ医療検査の例では、これは病気と間違って診断された健康な患者の割合となる。

分類モデルは通常、各インスタンスの確率または信頼スコアを出力する。そして、このスコアにしきい値を適用して、最終的な2値判定（たとえば、肯定か否定か）を行う。ROC曲線は、このしきい値を0から1まで系統的に変化させ、各値に対する結果のTPRとFPRのペアをプロットすることで生成される。モデルのパフォーマンスを視覚化することは、TensorBoard のようなツールを使ったり、Ultralytics HUB のようなプラットフォームを使って行うことができる。

ロックの解釈の仕方

ROC曲線の形と位置は、モデルの性能について多くのことを明らかにする。

• ランダム分類器．(0,0)から(1,1)までの対角線は、識別力のないモデルを表す。
• 良い分類器：左上に向かって弓なりになっている曲線は、良い分類器を示します。曲線が左上に近ければ近いほど、FPRを低く維持しながら高いTPRを達成するため、その性能は高くなります。
• 完璧な分類器：完璧な分類器は、(0,0)から(0,1)にまっすぐ上がり、(1,1)に横切る曲線を持ち、100%のTPRと0%のFPRを達成する。

ROC曲線から得られる一般的な指標は、曲線下面積（AUC）である。AUC は，分類器がランダムに選ばれた陽性のインスタンスを，ランダムに選ばれた陰性のインスタンスよりも上位にランク付けする確率を表す．AUC 1.0は完全なモデルを意味し、AUC 0.5はランダムなモデルに対応します。この単一のスカラー値は，異なるモデルを比較するのに便利である．

実世界での応用

ROC曲線は、配備に最適なモデルを評価・選択するために、さまざまな業界で広く使用されている。

1. 医療診断： 医療画像解析では、マンモグラムから癌を検出するためにディープラーニングモデルをトレーニングすることがある。ROC曲線は、放射線技師やエンジニアが悪性腫瘍と良性腫瘍を区別するモデルの能力を評価するのに役立つ。この曲線を分析することで、できるだけ多くのがんを検出する必要性（高いTPR）と、誤警報による不要な生検を引き起こすリスク（低いFPR）のバランスがとれた分類しきい値を選択することができる。これは、責任あるAI開発と、FDAのような機関が設定した臨床基準をモデルが満たすことを保証するための重要なステップである。

2. クレジットカードの不正検知：金融機関はMLモデルを使ってリアルタイムで不正取引を特定する。ROC曲線は、モデルがどの程度不正な取引と正当な取引を区別しているかを評価するために使用することができる。銀行はこの曲線を用いて、不正検出を最大化する一方で、不正に拒否される正当な取引の数を最小化する閾値を選択することができる。これは金融におけるAIの堅牢なシステム構築に役立つ。

ロカーブとその他の指標その他の指標

ROC曲線は強力であるが、他の評価指標との違いを理解することが重要である。

• 精度：この指標は、特に1つのクラスが優勢な不均衡なデータセットでは、誤解を招く可能性がある。モデルは単純に多数クラスを予測することで、高い精度を達成することができる。ROC曲線とAUCは、このようなシナリオにおいてよりロバストな、閾値に依存しないビューを提供する。

• PrecisionとRecall：これらのメトリクスは、ポジティブ・クラスの性能に焦点を当てる。Precisionは陽性の予測精度を測定し、Recall(TPR)は実際の陽性のカバレッジを測定する。F1スコアはこれらを組み合わせますが、特定のしきい値に依存します。対照的に、ROC曲線はすべての閾値にわたってTPRとFPRのトレードオフを評価する。ネガティブ・クラスが膨大であまり関心のないタスクの場合、Precision-Recall曲線がより有益である可能性がある。

• mAPとIoU：ROC曲線は二値分類用に設計されている。Ultralytics YOLOのようなモデルで一般的なオブジェクト検出や インスタンスのセグメンテーションのような、より複雑なタスクには、他のメトリクスが標準的です。平均平均精度（mAP）とIntersection over Union（IoU）は、分類とローカリゼーションの両方の精度を評価するために使用されます。詳細については、YOLOパフォーマンス・メトリクスのガイドを参照してください。これらのメトリクスを可視化するには、PyTorchや TensorFlowのようなフレームワークを使用します。