自信

機械学習では、信頼スコアは個々の予測に割り当てられる数値であり、その予測が正しいというモデルの確信度を示す。0と1の間のパーセンテージまたは確率値として表現され、単一インスタンスに対するモデル自身の出力に対するモデルの「確信」を定量化する。例えば、物体検出タスクにおいて、Ultralytics YOLO11のようなモデルは、画像内の車を識別し、0.95（または95%）の信頼スコアを割り当てるかもしれません。このスコアは、ユーザーが実世界のシナリオでモデルの結果をフィルタリングし、優先順位を付け、解釈するのに役立つ重要な出力です。

信頼スコアは通常、ニューラルネットワーク（NN）の最終層の出力から導き出され、多くの場合、ソフトマックスまたはシグモイド関数である。この値は実用的なアプリケーションで有用であり、信頼度のしきい値が設定され、ある一定レベルを下回る予測は破棄される。この閾値を調整することで、開発者は、関連するすべての検出を捕捉することと、モデル展開において重要な考慮事項である誤検出を最小限に抑えることとの間のトレードオフのバランスをとることができます。

実世界での応用

信頼性スコアは、AIシステムをより信頼性の高い実用的なものにするために不可欠である。これによってシステムは不確実性を測定し、それに応じてさまざまな反応を引き起こすことができる。

• 自律走行車： 自動運転車では、信頼度スコアが安全性に不可欠である。例えば、物体検知器が歩行者を98％の信頼度で検知した場合、車両は減速または停止の明確なシグナルを発する。逆に、信頼度が30％しかない物体を検出した場合、システムはその物体を不確実なものとしてフラグを立て、行動を起こす前に他のセンサーを使ってその性質を確認するかもしれない。これは、確実性の高い脅威に集中することで事故を防ぐのに役立ちます。このトピックの詳細については、自動運転車におけるAIの役割についてをお読みください。
• 医療画像分析：AIモデルが医療画像から腫瘍を検出するなど、病気の兆候について医療スキャンを分析する場合、信頼度スコアは非常に貴重です。信頼度99％の検出は、直ちに放射線科医のレビューのためにフラグを立てることができる。信頼度60％の所見は、「曖昧」または「要再検査」とマークされるかもしれないので、誤報で専門家を圧倒することなく、不確実なケースが人間の精査を受けることを保証する。FDAは医療機器のAI/MLに関するガイダンスを提供している。

信頼度とその他の指標

個々の予測の信頼度スコアとモデル全体の評価指標を混同しないことが重要です。関連はありますが、これらはパフォーマンスの異なる側面を測定します：

• 精度：データセット全体における予測の全体的な正答率を測定する。これはモデルの性能の一般的な感覚を提供するが、個々の予測の確実性を反映するものではない。モデルの精度が高くても、信頼度の低い予測をすることもあります。
• 精度：実際に正しかった予測の割合を示す。精度が高いということは、誤報が少ないことを意味する。確信度（Confidence）: 予測に対するモデルの確信度を表します。
• Recall (感度)：モデルが正しく識別した実際の陽性インスタンスの割合を測定する。リコールが高いということは、検出漏れが少ないことを意味する。確信度は、実際の陽性の検出数に直接関係しない。
• F1スコア：PrecisionとRecallの調和平均で、両方のバランスをとる単一の指標を提供する。Confidenceは予測レベルのスコアのままであり、モデルのパフォーマンスの総合的な尺度ではない。
• 平均平均精度 (mAP)：異なる信頼度閾値とクラスにわたる精度-回収曲線を要約した、物体検出における一般的なメトリック。mAPの計算は信頼閾値を含むが、信頼スコア自体は個々の検出に適用される。
• キャリブレーション：信頼度スコアが実際の正しい確率とどの程度一致しているかを指す．うまくキャリブレーションされたモデルの信頼度80％の予測は、約80％の確率で正しいはずである。モデルのキャリブレーションに関する研究で議論されているように、最新のニューラルネットワークからの信頼スコアは、必ずしも本質的によくキャリブレーションされているとは限りません。

要約すると、確信度は、個々のAI予測の確実性を評価するための価値ある出力であり、実世界のアプリケーションにおいて、より良いフィルタリング、優先順位付け、意思決定を可能にする。これは、Ultralytics HUBのようなツールを使って追跡・分析できるような、モデルの全体的なパフォーマンスを評価するメトリクスを補完するものではあるが、それとは異なるものである。