Confidence

In the realm of artificial intelligence and machine learning, a confidence score is a metric that quantifies the level of certainty a model has regarding a specific prediction. This value typically ranges from 0 to 1 (or 0% to 100%) and represents the estimated probability that the algorithm's output aligns with the ground truth. For instance, in an object detection task, if a system identifies a region of an image as a "bicycle" with a confidence of 0.92, it suggests a 92% estimated likelihood that the classification is correct. These scores are derived from the final layer of a neural network, often processed through an activation function such as Softmax for multi-class categorization or the Sigmoid function for binary decisions.

Link to this section推論における信頼度の役割#

信頼度スコアは推論エンジンのワークフローにおける基本的な要素であり、質の高い予測と背景ノイズを区別するためのフィルターとして機能します。しきい値処理（thresholding）と呼ばれるこのフィルタリングプロセスにより、開発者はアプリケーションの感度を調整できます。最小信頼度しきい値を設定することで、重要な適合率と再現率のトレードオフを管理できます。しきい値を下げるとより多くの物体を検出できる反面、偽陽性のリスクが高まります。一方、しきい値を上げると適合率は向上しますが、微妙なインスタンスを見逃す可能性があります。

Ultralytics YOLO26のような高度なアーキテクチャでは、信頼度スコアは非最大値抑制 (NMS)などの後処理技術に不可欠です。NMSはこれらのスコアを利用して、大きく重複する冗長なバウンディングボックスを削除し、最も確率の高い検出結果のみを保持します。このステップにより、最終的な出力はクリーンな状態となり、物体計数や追跡といった後続のタスクに対応できるようになります。

以下のPythonの例は、ultralyticsパッケージを使用して信頼度に基づいて予測をフィルタリングする方法を示しています。

from ultralytics import YOLO

# Load the latest YOLO26n model
model = YOLO("yolo26n.pt")

# Run inference with a confidence threshold of 0.5 (50%)
# Only detections with a score above this value are returned
results = model.predict("https://ultralytics.com/images/bus.jpg", conf=0.5)

# Inspect the confidence scores of the detected objects
for box in results[0].boxes:
    print(f"Class: {box.cls}, Confidence: {box.conf.item():.2f}")

Link to this section実社会での応用#

信頼度スコアは、コンピュータビジョン (CV)が適用されるあらゆる業界において不可欠な解釈可能性を提供します。これらは、自動化システムがいつ自律的に処理を進め、いつ人間による確認のための警告を発すべきかを判断するのに役立ちます。

• 自動運転: 自動車分野におけるAIセクターでは、自動運転車は乗客の安全を確保するために信頼度指標に依存しています。認識システムが低い信頼度で障害物を検知した場合、緊急操作を実行する前に、LiDARセンサーやレーダーとこのデータを照合して物体の存在を確認することがあります。この冗長性は、影や眩しさによって引き起こされる「ファントムブレーキ」を防ぐのに役立ちます。
• 医療診断: ヘルスケア分野におけるAIを活用する場合、モデルはイメージングデータ内の潜在的な異常をフラグ付けすることで医療専門家を支援します。例えば腫瘍検出のために構築されたシステムは、高い信頼度を持つ領域を強調して即時の診断を促し、信頼度の低い予測は二次分析のためにログに記録されます。このヒューマン・イン・ザ・ループワークフローにより、専門家の判断を置き換えることなく、AIが臨床意思決定を強化することが可能になります。
• 産業オートメーション: スマートマニュファクチャリングにおいて、ロボットアームは組み立てライン上の物体を操作するために信頼度スコアを使用します。ビジョンAIを搭載したロボットは、検出信頼度が90%を超えた場合にのみ部品を把持しようとする設定にすることで、位置ズレによる精密部品の損傷リスクを軽減できます。

Link to this section信頼度と関連用語の区別#

モデル評価で使用される他の統計指標と信頼度を区別することは極めて重要です。

• 信頼度 vs 精度: 精度 (Accuracy)は、データセット全体を通してモデルがどれだけ正しいかを示す包括的な指標です（例：「モデルの精度は92%」）。対照的に、信頼度は局所的で予測固有の値です（例：「モデルは、この特定の画像に猫が含まれていると92%確信している」）。モデルが高い全体精度を持っていても、エッジケースでは低い信頼度しか出さない場合があります。
• 信頼度 vs 確率のキャリブレーション: 生の信頼度スコアが、常に真の正解確率と一致するとは限りません。モデルが「適切にキャリブレーションされている」とは、信頼度0.8で行われた予測が約80%の確率で正解することを意味します。スコアを実証的な確率と一致させるために、プラットスケーリングや等張回帰などの手法がよく用いられます。
• 信頼度 vs 適合率: 適合率 (Precision)は、陽性と識別されたものの中で実際に正解であったものの割合を測定します。信頼度のしきい値を上げると一般的に適合率は向上しますが、多くの場合、再現率を犠牲にすることになります。開発者は、アプリケーションが物体の見逃しを減らすことを優先するのか、それとも誤警報を最小限に抑えることを優先するのかに基づいて、このしきい値を調整する必要があります。

Link to this sectionモデル信頼度の向上#

モデルが有効な物体に対して一貫して低い信頼度を出力する場合、多くはトレーニングデータとデプロイ環境の間に不一致があることを示しています。これを軽減する戦略には、照明や回転、ノイズを変化させてデータセットを人工的に拡張するデータ拡張があります。さらに、Ultralytics Platformを使用してアクティブラーニングパイプラインを実装すれば、開発者は低い信頼度のサンプルを簡単に特定し、アノテーションを行い、モデルを再トレーニングできます。この反復サイクルは、動的で現実世界の環境において確実に動作する堅牢なAIエージェントを作成するために不可欠です。