Confidence Interval
置信区间用于量化准确率和 mAP 等模型指标的抽样不确定性。95% 置信区间描述的是长期覆盖率。
置信区间 (CI) 是根据样本计算出的一个范围,采用的方法旨在以指定的概率覆盖某个未知的总体参数。在机器学习中,测试分数用于估计固定模型在测试集所代表的输入类型上的表现。区间反映了根据有限样本估算该性能的精确程度。
95% 置信区间的含义#
如果你反复抽取具有可比性的测试数据样本,并每次都用相同方法计算区间,那么长期来看,覆盖率为 95% 的程序生成的区间中,大约有 95 个(共 100 个)会包含真实指标。指标是固定的;区间上下限会随样本而变化。Jerzy Neyman 在其1934 年关于抽样的论文中提出了这一频率学派框架。
置信水平越高,基于相同数据得到的区间通常越宽。在置信水平固定时,独立观测值越多,区间通常越窄。区间宽度衡量的是抽样精度:即使数据集偏差导致测试样本无法代表部署条件,区间也可能很窄。
如何计算置信区间#
对于样本均值,常用公式为估计值 ± 误差范围,其中误差范围等于临界值乘以标准误。标准误衡量估计值在重复抽样中的变动程度。对于来自同一总体的独立观测值,均值的标准误估计值等于样本标准差除以样本量的平方根。双侧 95% 正态区间使用 1.96 作为临界值,因此每个尾部占 2.5%。单样本 t 区间使用自由度为样本量减一的 Student t 临界值。如果观测值独立且来自同一个正态总体,其覆盖率是精确的。
具体方法取决于指标以及测试数据的抽样方式:
- 分类准确率:如果图像相互独立,且分类正确的概率相同,Wilson 得分区间会使用正确预测的数量和测试集大小来估计该概率。上下限都在 0% 到 100% 之间。
- 平均精度均值 (mAP):通过有放回重采样测试单元并对每次抽样重新计算 mAP,对整个指标进行自助法估计。95% 百分位区间使用这些分数的第 2.5 和第 97.5 百分位数。在按图像进行自助抽样时,每张图像的预测和标注会一起保留。
实例演算:手写数字准确率#
scikit-learn 数字分类示例使用捆绑数字图像的前一半训练支持向量机,并在后一半图像上评估模型。代码采用相同的数据划分,并使用 SciPy 的二项比例 API计算 Wilson 区间。
from scipy.stats import binomtest
from sklearn.datasets import load_digits
from sklearn.svm import SVC
X, y = load_digits(return_X_y=True)
split = len(y) // 2
model = SVC(gamma=0.001)
model.fit(X[:split], y[:split])
predictions = model.predict(X[split:])
correct = int((predictions == y[split:]).sum())
accuracy = binomtest(correct, len(y[split:]))
interval = accuracy.proportion_ci(confidence_level=0.95, method="wilson")
print(f"Accuracy: {accuracy.statistic:.1%} (95% CI: {interval.low:.1%}–{interval.high:.1%})")分类器在 899 张图像中正确识别了 871 张:在图像独立模型假设下,准确率为 96.9%,95% Wilson 区间为 95.5%–97.8%。这些捆绑图像来自加州大学欧文分校手写数字测试集,由 13 位书写者提供。同一位书写者的图像可能具有相似的书写特征,因此若要估计对新书写者的准确率,就需要考虑这种分组情况。
置信区间、分数和预测#
置信度分数是模型针对单次预测输出的分数。在 Ultralytics YOLO 预测模式中,conf 设置检测结果保留所需的最低分数。召回率在该阈值下的置信区间,用于量化根据测试样本估计召回率时的不确定性。
预测区间针对的是未来观测值。例如,保形预测已用于构建 KITTI 上的逐像素预测区间,以估计新帧的深度。
比较计算机视觉模型#
固定模型的区间衡量的是测试集抽样带来的不确定性。比较训练流水线时,还需要考虑随机初始化和超参数调优等因素造成的差异,这些差异可以通过多次训练来衡量。
当两个目标检测器在同一个测试集上运行时,配对自助抽样会为两个模型抽取相同的测试单元,并在每次抽样中计算 mAP 差值。独立抽样的静态图像可以逐张抽取。如果独立抽样的视频包含相关帧,抽取整段视频就能保留帧间的依赖关系。将相邻帧视为独立帧可能会使区间过窄。由于配对抽样保留了同一输入上的结果关联,即使两个模型各自的置信区间重叠,mAP 差值的区间仍可能不包含零。










