Confidence Interval
信頼区間は、精度やmAPなどのモデル指標におけるサンプリングの不確実性を定量化します。95%区間は、長期的なカバレッジを示します。
信頼区間 (CI)とは、未知の母集団の値を所定の割合で捉えるよう設計された方法を用いて、標本から算出される範囲です。機械学習では、テストスコアを使って、テストセットが表す種類の入力に対して固定モデルがどのように機能するかを推定します。信頼区間は、有限の標本からその性能をどれほど正確に推定できているかを示します。
95%信頼区間が示すもの#
テストデータの比較可能な標本を繰り返し抽出し、その都度同じ方法で信頼区間を計算した場合、カバー率が95%の手順では、長期的に見ると100個の区間のうち約95個が真の指標を捉えます。指標は固定されていますが、区間の上下限は標本ごとに変わります。Jerzy Neymanは、1934年の標本抽出に関する論文で、この頻度論的な枠組みを提唱しました。
同じデータから計算する場合、信頼水準を高くすると通常は区間が広くなります。信頼水準を固定すると、独立した観測数が多いほど、一般に区間は狭くなります。区間の幅は標本抽出の精度を示します。データセットのバイアスによってテスト標本が実運用条件を代表していない場合でも、区間が狭くなることはあります。
信頼区間の計算方法#
標本平均には、推定値 ± 誤差幅という一般的な計算式があり、誤差幅は臨界値に標準誤差を乗じた値です。標準誤差は、標本を繰り返し抽出したときに推定値がどれほど変動するかを示します。同じ母集団から得られた独立した観測値の場合、平均の推定標準誤差は、標本標準偏差を標本サイズの平方根で割って求めます。両側95%正規信頼区間では臨界値に1.96を用い、両側の裾にそれぞれ2.5%を残します。1標本t区間では、標本サイズから1を引いた自由度に対応するStudentのt臨界値を用います。同じ正規母集団から得られた独立した観測値については、カバー率が厳密に成り立ちます。
手法は、指標とテストデータの標本抽出方法によって異なります。
- 分類精度:画像が互いに独立しており、分類が正解となる確率が共通している場合、Wilsonスコア区間では正解予測数とテストセットのサイズを使ってその確率を推定します。上下限はいずれも0%から100%の範囲に収まります。
- 平均適合率 (mAP):復元抽出でテスト対象の標本を再抽出し、各抽出標本についてmAPを再計算することで、指標全体をブートストラップします。95%パーセンタイル区間では、それらのスコアの2.5パーセンタイルと97.5パーセンタイルを使用します。画像単位のブートストラップでは、各画像とその予測およびアノテーションをひとまとまりとして扱います。
計算例:手書き数字の精度#
scikit-learnの数字分類の例では、同梱された数字画像の前半でサポートベクターマシンを学習し、後半で評価します。コードでは同じデータ分割を使用し、SciPyの二項比率APIでWilson区間を計算します。
from scipy.stats import binomtest
from sklearn.datasets import load_digits
from sklearn.svm import SVC
X, y = load_digits(return_X_y=True)
split = len(y) // 2
model = SVC(gamma=0.001)
model.fit(X[:split], y[:split])
predictions = model.predict(X[split:])
correct = int((predictions == y[split:]).sum())
accuracy = binomtest(correct, len(y[split:]))
interval = accuracy.proportion_ci(confidence_level=0.95, method="wilson")
print(f"Accuracy: {accuracy.statistic:.1%} (95% CI: {interval.low:.1%}–{interval.high:.1%})")分類器は899枚の画像のうち871枚を正しく分類します。独立画像モデルを前提とした場合、精度は96.9%、95% Wilson区間は95.5%~97.8%です。同梱画像は、13人の書き手から収集されたUCI手書き数字テストセットのものです。同じ書き手の画像には筆跡の特徴が共通している可能性があるため、新しい書き手に対する精度を推定するには、このグループ分けを考慮する必要があります。
信頼区間、スコア、予測#
信頼度スコアは、1つの予測に対するモデルの出力です。Ultralytics YOLOの予測モードでは、confによって検出結果を保持するために必要な最小スコアを設定します。その閾値における再現率の信頼区間は、テスト標本から再現率を推定する際の不確実性を定量化します。
予測区間は、将来の観測値を対象とします。たとえば、コンフォーマル予測は、新しいフレームの深度推定に対するKITTIのピクセル単位の予測区間の構築に用いられています。
コンピュータービジョンモデルの比較#
固定モデルの信頼区間は、テストセットの標本抽出による不確実性を測定します。トレーニングパイプラインを比較する場合は、ランダム初期化やハイパーパラメータのチューニングなどの要因による変動も考慮します。この変動は、トレーニングを繰り返し実行することで測定できます。
2つの物体検出器を同じテストセットで実行する場合、ペアードブートストラップでは両方のモデルに同じ対象を抽出し、各抽出標本でmAPの差を計算します。独立して標本抽出された静止画像は、1枚ずつ抽出できます。独立して標本抽出された動画に相関のあるフレームが含まれる場合は、動画全体を抽出することでフレーム間の依存関係を維持できます。隣接フレームを独立とみなすと、信頼区間が狭くなりすぎる可能性があります。同じ入力に対する結果の関連性をペアリングによって維持できるため、2つの個別の信頼区間が重なっていても、mAPの差の信頼区間がゼロを含まない場合があります。










