機械学習における正解率・適合率・再現率の比較

機械学習（ML）は、データから学習するシステムの構築に重点を置く、人工知能（AI）の一分野です。画像を解釈するコンピュータービジョンや、人間の言語を理解して生成する自然言語処理など、AIの多くの領域で中心的な役割を果たしています。

こうしたAIモデルは、多くの場合、データから予測するためにディープラーニングの手法を使います。こうしたシステムは非常に効果的な場合がありますが、常に正しい予測を出すとは限りません。正確な出力もあれば、目標を外す出力もあります。

こうした誤りがどのように発生するかを把握することは、モデルの性能を評価するうえで重要です。性能を測定するには、モデル評価指標を使用できます。

一般的な評価指標には、正解率（全体的な正しさ）、適合率（陽性予測の信頼性）、再現率（実際の陽性をモデルがどの程度特定できるか）があります。一見似ているように思えますが、それぞれモデルの動作の異なる側面に着目しています。

この記事では、これらのAIモデルのパフォーマンス指標をそれぞれ詳しく見ていきます。また、各指標の関係や、ユースケースに適した指標の選び方についても解説します。

機械学習でモデル評価指標が重要な理由#

機械学習モデルは、最初は良好に動作しているように見えるかもしれません。しかし、適切な評価指標がなければ、結果がどの程度正確なのかを把握するのは困難です。評価指標はモデル評価に一定の基準を与え、重要な問いへの答えに役立ちます。つまり、そのモデルの予測は、特定のタスクにおいて有用で信頼できるのでしょうか。

正解率、適合率、再現率などの指標は、AI開発者がモデルの動作を明確に測定する方法を提供します。たとえば、異なるモデルを比較する際、これらの指標によって特定のタスクで最も優れた性能を発揮するモデルを確認できます。また、性能評価に役立ち、AIプロジェクトの目標に最も適したモデルの選択を支援します。

図1. モデルの学習と評価のワークフロー（出典）

こうした指標は、性能比較の客観性も高めます。推測や不完全な観察に頼るのではなく、さまざまな状況におけるモデルの動作について、測定可能な知見を提供します。これにより、それぞれの状況でどの性能要素が最も重要かが明らかになります。

たとえば、指標の選択はアプリケーションによって異なることがよくあります。医療分野のAIアプリケーションでは、誤って陰性を陽性と判定するケースがあっても、できるだけ多くの陽性例を特定することが目標であるため、再現率が重要です。一方、メールのスパムフィルターでは、正当なメールを誤ってスパムと判定しないよう、適合率を優先する場合があります。

混同行列：分類指標の基礎#

二値分類では、混同行列はAIモデルの評価に欠かせない2行2列の表です。実際の結果と予測結果（モデルが出した答え）を比較し、予測を4つのカテゴリに分類します。

この比較により、モデルの性能を詳細に把握できます。混同行列は、行列内の値から直接計算される適合率や再現率など、主要な評価指標の基礎となります。

表の行は実際のクラスを、列は予測されたクラスを表します。各セルには、そのカテゴリーに該当する結果の件数が示されます。簡単に言えば、予測が何件正しかったか、またモデルがどのような誤りをしたかが分かります。

混同行列は、一部のカテゴリーの例が他のカテゴリーより大幅に多い、不均衡なデータを扱う場合に特に役立ちます。また、誤りの種類によってコストが異なる場合にも有用です。

たとえば不正検知では、不正行為を見つけることが重要ですが、正当な取引を誤って不正と判定することも問題を引き起こします。混同行列を使うと、それぞれの種類の誤りがどの程度発生しているかを明確に把握できます。

混同行列の要素#

混同行列を構成する各要素を紹介します。

• 真陽性（TP）： モデルが陽性の事例を正しく予測した場合、真陽性として記録されます。たとえば、コンピュータービジョンモデルが画像内の車両を正しく分類した場合が該当します。
• 真陰性（TN）： モデルが陰性の事例を正しく特定した場合、真陰性となります。たとえば、メール分類器が通常のメッセージをスパムではないと判定するケースです。
• 偽陽性（FP）： 実際には負例であるインスタンスを誤って正例と予測すると、偽陽性が発生します。第I種過誤とも呼ばれ、不正検知システムが正当な取引を不正として判定する場合などに起こります。
• 偽陰性（FN）： 正例を検出できず、誤って負例と予測した場合、偽陰性として記録されます。第II種過誤とも呼ばれ、実際には病気である患者の疾患を診断ツールが見逃す場合などに起こります。

図2. 混同行列の構成要素（出典）

混同行列の視覚的な表現と解釈#

混同行列はグリッド形式で表示されます。縦軸は実際のクラス、横軸は予測されたクラスを示します。正しい予測は対角線上に表示され、真陽性と真陰性を表します。

誤りは対角線の外側に表示され、偽陽性と偽陰性が含まれます。この構造により、強みと弱点を簡単に把握できます。

機械学習における正解率とは何ですか？#

正解率は、機械学習モデルの性能を評価するために広く使われている指標の1つです。すべてのクラスを対象に、予測がどの程度正しいかを測定します。つまり、「AIモデルが行ったすべての予測のうち、何件が正解だったか」という簡単な問いに答える指標です。

正解率は、正しい予測の数（真陽性と真陰性の両方を含む）を予測の総数で割って算出します。計算が簡単で理解しやすいため、モデル評価の出発点としてよく使われます。

一般に、正解率はクラスのバランスが取れたデータセットでは信頼できる指標です。しかし、1つのクラスが他のクラスより優勢な不均衡データセットでは、正解率が誤解を招くことがあります。常に多数派クラスを予測するモデルでも、高い正解率を達成しながら、少数派クラスを検出できない場合があります。

たとえば、歩行者を含む画像が少数しかないデータセットでは、すべての画像に「歩行者なし」と予測するモデルでも高い正解率を達成する一方、実際の歩行者をまったく検出できない場合があります。

これは、正解率だけではモデルがどのような誤りをするのか、また、その誤りがどの程度の頻度で起きるのかが分からないためです。そのため、AIモデルの性能を十分に理解するには、適合率や再現率などの指標も確認することが重要です。

適合率を詳しく見る：誤警報の最小化#

適合率は、モデルの陽性予測の正確さを測る重要な評価指標です。「陽性と予測された事例のうち、何件が正しかったか」という問いに答えます。

適合率は、真陽性の数を真陽性と偽陽性の合計で割って算出します。陽性予測が誤りだった場合に大きなコストが発生する状況では、特に重要です。

図3. 正解率と適合率の比較（出典）

たとえば不正検知では、適合率の低いモデルは正当な取引を多数不正と判定し、ユーザーとサポートチームの双方に不要な問題を引き起こす可能性があります。適合率の高いモデルは、不正と判定された取引が実際に不正である可能性を高め、このリスクを低減します。

適合率が高いことは望ましい一方で、適合率を重視しすぎるモデルは判定が非常に厳しくなり、実際の陽性例を見逃すことがあります。そのため、性能のバランスを保つために、適合率は再現率と併せて確認されることがよくあります。

再現率とは何ですか？#

再現率は、実際の陽性例をモデルがどの程度適切に特定できるかを測定する指標です。感度または真陽性率とも呼ばれ、「実際の陽性例のうち、モデルが正しく検出したのは何件か」という問いに答えます。

再現率は、真陽性の数を真陽性と偽陰性の合計で割って算出します。再現率のスコアが高いことは、データ内の実際の陽性例の大半をモデルが検出できていることを示します。

再現率は、状態を見逃すと治療が遅れ、患者を危険にさらす可能性がある医療などの業界で不可欠です。一部の陰性例を誤って陽性と判定しても、実際の陽性例をすべて特定することが最優先です。

ただし、再現率だけを重視するモデルは偽陽性を過剰に検出し、適合率を低下させ、モデル全体の効率を損なう可能性があります。信頼性の高いAIモデルの性能を実現するには、再現率と適合率のバランスが重要です。

バランスの取り方：適合率と再現率のトレードオフ#

適合率と再現率は、反対方向に変化することがよくあります。一方が向上すると、もう一方が低下する場合があります。このトレードオフは、機械学習タスクでよく直面する課題です。

適合率の高いモデルは、確信がある場合にのみ陽性と予測します。これにより誤警報は減りますが、実際の陽性例を見逃して再現率が低下する可能性があります。すべての陽性例を捉えようとするモデルは再現率を高めますが、誤警報が増え、適合率が低下するリスクがあります。

このトレードオフは、モデルの判定しきい値を調整すると、より明確になります。しきい値とは、スコアや確率をアクションまたはラベルに変換する際にシステムが用いる境界値です。しきい値を下げると、システムが陽性と判定する頻度が増え、再現率は向上する可能性がありますが、適合率が低下することがあります。しきい値を上げると反対の効果が生じます。モデルの陽性予測が減り、適合率は向上しますが、通常は再現率が低下します。

迷惑メール検出に取り組んでいるとします。モデルは、迷惑メールを受信トレイに通してしまうリスクと、本物のメールをブロックしてしまうリスクのバランスを取る必要があります。厳格なフィルターは正当なメッセージを誤ってブロックする可能性があり、緩やかなフィルターは一部の迷惑メールを通してしまう可能性があります。適切なバランスはユースケースと、それぞれのエラーがもたらすコストによって異なります。

適合率・再現率曲線の意義#

適合率・再現率曲線（PR曲線）は、モデルの判定しきい値に応じて適合率と再現率がどのように変化するかを示します。各点は両者の異なるトレードオフを表します。PR曲線は、あるクラスの出現頻度が他のクラスより大幅に低い不均衡データセットで特に有用です。

不均衡データでは、モデルがさまざまな判定しきい値で正例と負例をどれほど適切に分離できるかを示すROC曲線よりも、有用な洞察が得られることがよくあります。適合率と再現率がどちらも高いモデルでは、適合率–再現率曲線が右上隅付近を保ち、一般に理想的な状態となります。

F1スコアの紹介：バランスを示す複合指標#

F1スコアは、適合率と再現率のバランスを1つの値で示します。F1スコアは、適合率と再現率の積を2倍し、適合率と再現率の合計で割って算出します。偽陽性と偽陰性の両方が重要な場合に有用で、不均衡データセットを扱う場合や、モデルの性能をバランスよく評価する必要がある場合にも役立ちます。

図4. 適合率と再現率を使ったF1スコアの計算（出典）

正確度、適合率、再現率に加えて#

正確度、適合率、再現率は重要ですが、その他の指標からは、モデルの種類やデータセットの特性に応じた追加の知見が得られます。

さまざまな性能面の評価に役立つ、一般的に使用される指標をいくつか紹介します。

• 特異度： 実際に陰性であるものをモデルがどの程度適切に識別できるかを測定します。偽陽性を避けることが重要な場合に役立ちます。
• AUC： AUC（曲線下面積）は、モデルがクラスをどれほど適切に識別できるかを示す単一のスコアです。
• 対数損失： 対数損失は、モデルが予測にどの程度自信を持っているかを測定する指標で、自信を持って行った誤予測に対してより大きなペナルティを与えます。ここでいう信頼度とは、モデルが予測にどの程度の確信を持っているかを指します。
• マルチラベル評価： マルチラベルタスクでは、モデル全体の性能を反映するため、ラベル間で指標を平均します。

コンピュータービジョンにおける正確度、適合率、再現率の活用#

正解率、適合率、再現率をより明確に理解できたところで、これらの指標がコンピュータービジョンにどのように適用されるかを見ていきましょう。

Ultralytics YOLO11などのコンピュータービジョンモデルは、画像内にどのような物体があるかを識別し、バウンディングボックスで位置を特定する物体検出などのタスクに対応しています。各予測には物体のラベルと位置の両方が含まれるため、評価はラベルが正しいかどうかを確認するだけの場合より複雑になります。

図5. Ultralytics YOLO11を使用した物体検出の例（出典）

カメラを使って棚の商品を自動で追跡する小売分野のアプリケーションを考えてみましょう。物体検出モデルは、シリアルの箱、ソーダ缶、水のボトルなどを識別し、それぞれの位置を示すことができます。

この場合、適合率から、検出された商品のうち実際に正しいものがどれだけあるかが分かります。適合率が高いと、影や背景の物体を商品としてラベル付けするような偽陽性を防げます。再現率からは、棚にある実際の商品をモデルがどれだけ検出できたかが分かります。再現率が高いと見落としが減るため、正確な在庫数を把握するうえで重要です。

正確度は全般的な正しさを示す指標として役立ちますが、このような環境では、商品を数点見落としたり、存在しない商品を検出したりするだけでも、在庫管理に大きな影響を及ぼす可能性があります。そのため開発者は、システムが信頼でき、実環境で実用的であることを確認するために、適合率、再現率、正確度を併せて確認します。

正確度、適合率、再現率：重要なポイント#

正確度、適合率、再現率は、それぞれ機械学習モデルの性能の異なる側面を示します。単一の指標だけに頼ると、誤解を招く可能性があります。

混同行列、適合率・再現率曲線、F1スコアなどのツールや指標は、トレードオフを明らかにし、MLモデルの改善に向けた判断に役立ちます。特定のAIソリューションに適した指標の組み合わせを選ぶことで、実環境のアプリケーションにおいて、モデルの正確性、信頼性、有効性を確保できます。

成長を続けるコミュニティにぜひご参加ください！AIについて詳しく知るには、GitHubリポジトリをご覧ください。コンピュータービジョンプロジェクトを始める準備はできていますか？ライセンスの選択肢をご確認ください。ソリューションページでは、農業におけるAIとロボティクスにおけるビジョンAIをご紹介しています！