YOLOのライセンス
Ultralytics用語集に戻る

Confidence Interval

信頼区間は、精度やmAPなどのモデル指標におけるサンプリングの不確実性を定量化します。95%区間は、長期的なカバレッジを示します。

信頼区間 (CI)とは、未知の母集団の値を所定の割合で捉えるよう設計された方法を用いて、標本から算出される範囲です。機械学習では、テストスコアを使って、テストセットが表す種類の入力に対して固定モデルがどのように機能するかを推定します。信頼区間は、有限の標本からその性能をどれほど正確に推定できているかを示します。

95%信頼区間が示すもの#

テストデータの比較可能な標本を繰り返し抽出し、その都度同じ方法で信頼区間を計算した場合、カバー率が95%の手順では、長期的に見ると100個の区間のうち約95個が真の指標を捉えます。指標は固定されていますが、区間の上下限は標本ごとに変わります。Jerzy Neymanは、1934年の標本抽出に関する論文で、この頻度論的な枠組みを提唱しました。

同じデータから計算する場合、信頼水準を高くすると通常は区間が広くなります。信頼水準を固定すると、独立した観測数が多いほど、一般に区間は狭くなります。区間の幅は標本抽出の精度を示します。データセットのバイアスによってテスト標本が実運用条件を代表していない場合でも、区間が狭くなることはあります。

信頼区間の計算方法#

標本平均には、推定値 ± 誤差幅という一般的な計算式があり、誤差幅は臨界値に標準誤差を乗じた値です。標準誤差は、標本を繰り返し抽出したときに推定値がどれほど変動するかを示します。同じ母集団から得られた独立した観測値の場合、平均の推定標準誤差は、標本標準偏差を標本サイズの平方根で割って求めます。両側95%正規信頼区間では臨界値に1.96を用い、両側の裾にそれぞれ2.5%を残します。1標本t区間では、標本サイズから1を引いた自由度に対応するStudentのt臨界値を用います。同じ正規母集団から得られた独立した観測値については、カバー率が厳密に成り立ちます。

手法は、指標とテストデータの標本抽出方法によって異なります。

  • 分類精度:画像が互いに独立しており、分類が正解となる確率が共通している場合、Wilsonスコア区間では正解予測数とテストセットのサイズを使ってその確率を推定します。上下限はいずれも0%から100%の範囲に収まります。
  • 平均適合率 (mAP):復元抽出でテスト対象の標本を再抽出し、各抽出標本についてmAPを再計算することで、指標全体をブートストラップします。95%パーセンタイル区間では、それらのスコアの2.5パーセンタイルと97.5パーセンタイルを使用します。画像単位のブートストラップでは、各画像とその予測およびアノテーションをひとまとまりとして扱います。

計算例:手書き数字の精度#

scikit-learnの数字分類の例では、同梱された数字画像の前半でサポートベクターマシンを学習し、後半で評価します。コードでは同じデータ分割を使用し、SciPyの二項比率APIでWilson区間を計算します。

from scipy.stats import binomtest
from sklearn.datasets import load_digits
from sklearn.svm import SVC

X, y = load_digits(return_X_y=True)
split = len(y) // 2
model = SVC(gamma=0.001)
model.fit(X[:split], y[:split])
predictions = model.predict(X[split:])

correct = int((predictions == y[split:]).sum())
accuracy = binomtest(correct, len(y[split:]))
interval = accuracy.proportion_ci(confidence_level=0.95, method="wilson")
print(f"Accuracy: {accuracy.statistic:.1%} (95% CI: {interval.low:.1%}–{interval.high:.1%})")

分類器は899枚の画像のうち871枚を正しく分類します。独立画像モデルを前提とした場合、精度は96.9%、95% Wilson区間は95.5%~97.8%です。同梱画像は、13人の書き手から収集されたUCI手書き数字テストセットのものです。同じ書き手の画像には筆跡の特徴が共通している可能性があるため、新しい書き手に対する精度を推定するには、このグループ分けを考慮する必要があります。

信頼区間、スコア、予測#

信頼度スコアは、1つの予測に対するモデルの出力です。Ultralytics YOLOの予測モードでは、confによって検出結果を保持するために必要な最小スコアを設定します。その閾値における再現率の信頼区間は、テスト標本から再現率を推定する際の不確実性を定量化します。

予測区間は、将来の観測値を対象とします。たとえば、コンフォーマル予測は、新しいフレームの深度推定に対するKITTIのピクセル単位の予測区間の構築に用いられています。

コンピュータービジョンモデルの比較#

固定モデルの信頼区間は、テストセットの標本抽出による不確実性を測定します。トレーニングパイプラインを比較する場合は、ランダム初期化やハイパーパラメータのチューニングなどの要因による変動も考慮します。この変動は、トレーニングを繰り返し実行することで測定できます。

2つの物体検出器を同じテストセットで実行する場合、ペアードブートストラップでは両方のモデルに同じ対象を抽出し、各抽出標本でmAPの差を計算します。独立して標本抽出された静止画像は、1枚ずつ抽出できます。独立して標本抽出された動画に相関のあるフレームが含まれる場合は、動画全体を抽出することでフレーム間の依存関係を維持できます。隣接フレームを独立とみなすと、信頼区間が狭くなりすぎる可能性があります。同じ入力に対する結果の関連性をペアリングによって維持できるため、2つの個別の信頼区間が重なっていても、mAPの差の信頼区間がゼロを含まない場合があります。

ソリューションを見る

スポーツにおけるコンピュータービジョン

スポーツにおけるコンピュータービジョン

Ultralytics YOLOが、選手やボールの追跡、パフォーマンス分析、コーチングへの知見、アスリートのリハビリを通じて、スポーツビジョンをどのように支えるかをご紹介します。
詳しく見る
航空画像向けコンピュータービジョン

航空画像向けコンピュータービジョン

Ultralytics YOLOを使用して、ドローンや航空画像をリアルタイムの知見に変換し、農業、水産養殖、自然保護、地理空間分析に活用できます。
詳しく見る
航空宇宙分野のコンピュータービジョン

航空宇宙分野のコンピュータービジョン

Ultralytics YOLOを活用して航空宇宙分野でコンピュータビジョンを導入し、航空機検査、滑走路上のFOD検出、空港の地上業務、複合材の欠陥検出に活用できます。
詳しく見る
セキュリティ分野のコンピュータービジョン

セキュリティ分野のコンピュータービジョン

Ultralytics YOLOモデルであらゆる施設を保護しましょう。ビジョンAIは、周辺監視、脅威検知、ナンバープレート認識、職場の安全管理を支援します。
詳しく見る
ロボティクス分野のコンピュータービジョン

ロボティクス分野のコンピュータービジョン

Ultralytics YOLOモデルで、よりスマートなマシンを実現しましょう。ロボティクスにおけるビジョンAIは、自律ナビゲーション、認識、物体追跡、リアルタイム制御を支援します。
詳しく見る
物流におけるコンピュータービジョン

物流におけるコンピュータービジョン

Ultralytics YOLOモデルで物流を効率化しましょう。ビジョンAIにより、荷物検査、仕分け、車両追跡、倉庫のリアルタイム安全監視を実現します。
詳しく見る
小売業におけるコンピュータービジョン

小売業におけるコンピュータービジョン

Ultralytics YOLOモデルで小売のあり方を変革しましょう。ビジョンAIにより、在庫追跡、棚の監視、行列管理、より高度な顧客インサイトを実現します。
詳しく見る
医療分野におけるコンピュータービジョン

医療分野におけるコンピュータービジョン

Ultralytics YOLOモデルで医療ソリューションを構築しましょう。医療分野のビジョンAIは、医用画像処理の高速化、より高度な診断、患者モニタリングを実現します。
詳しく見る
製造業におけるコンピュータービジョン

製造業におけるコンピュータービジョン

Ultralytics YOLOモデルで製造を最適化しましょう。ビジョンAIは、品質管理、欠陥検出、PPE準拠、組立ラインの自動化を推進します。
詳しく見る
自動車分野におけるコンピュータービジョン

自動車分野におけるコンピュータービジョン

Ultralytics YOLOモデルで自動車分野にコンピュータービジョンを導入しましょう。ビジョンAIは、道路の安全性、運転支援、車両の自動化を向上させ、よりスマートな道路を実現します。
詳しく見る
農業におけるコンピュータービジョン

農業におけるコンピュータービジョン

Ultralytics YOLOモデルでスマート農業にビジョンAIを導入しましょう。作物のモニタリング、家畜の追跡、精密農業を支援し、より高く効率的な収量を実現します。
詳しく見る

AIの未来を一緒に築きましょう!

機械学習の未来に向けた歩みを始めましょう