获取 YOLO 许可
返回 Ultralytics 术语表

Confidence Interval

置信区间用于量化准确率和 mAP 等模型指标的抽样不确定性。95% 置信区间描述的是长期覆盖率。

置信区间 (CI) 是根据样本计算出的一个范围,采用的方法旨在以指定的概率覆盖某个未知的总体参数。在机器学习中,测试分数用于估计固定模型在测试集所代表的输入类型上的表现。区间反映了根据有限样本估算该性能的精确程度。

95% 置信区间的含义#

如果你反复抽取具有可比性的测试数据样本,并每次都用相同方法计算区间,那么长期来看,覆盖率为 95% 的程序生成的区间中,大约有 95 个(共 100 个)会包含真实指标。指标是固定的;区间上下限会随样本而变化。Jerzy Neyman 在其1934 年关于抽样的论文中提出了这一频率学派框架。

置信水平越高,基于相同数据得到的区间通常越宽。在置信水平固定时,独立观测值越多,区间通常越窄。区间宽度衡量的是抽样精度:即使数据集偏差导致测试样本无法代表部署条件,区间也可能很窄。

如何计算置信区间#

对于样本均值,常用公式为估计值 ± 误差范围,其中误差范围等于临界值乘以标准误。标准误衡量估计值在重复抽样中的变动程度。对于来自同一总体的独立观测值,均值的标准误估计值等于样本标准差除以样本量的平方根。双侧 95% 正态区间使用 1.96 作为临界值,因此每个尾部占 2.5%。单样本 t 区间使用自由度为样本量减一的 Student t 临界值。如果观测值独立且来自同一个正态总体,其覆盖率是精确的。

具体方法取决于指标以及测试数据的抽样方式:

  • 分类准确率:如果图像相互独立,且分类正确的概率相同,Wilson 得分区间会使用正确预测的数量和测试集大小来估计该概率。上下限都在 0% 到 100% 之间。
  • 平均精度均值 (mAP):通过有放回重采样测试单元并对每次抽样重新计算 mAP,对整个指标进行自助法估计。95% 百分位区间使用这些分数的第 2.5 和第 97.5 百分位数。在按图像进行自助抽样时,每张图像的预测和标注会一起保留。

实例演算:手写数字准确率#

scikit-learn 数字分类示例使用捆绑数字图像的前一半训练支持向量机,并在后一半图像上评估模型。代码采用相同的数据划分,并使用 SciPy 的二项比例 API计算 Wilson 区间。

from scipy.stats import binomtest
from sklearn.datasets import load_digits
from sklearn.svm import SVC

X, y = load_digits(return_X_y=True)
split = len(y) // 2
model = SVC(gamma=0.001)
model.fit(X[:split], y[:split])
predictions = model.predict(X[split:])

correct = int((predictions == y[split:]).sum())
accuracy = binomtest(correct, len(y[split:]))
interval = accuracy.proportion_ci(confidence_level=0.95, method="wilson")
print(f"Accuracy: {accuracy.statistic:.1%} (95% CI: {interval.low:.1%}–{interval.high:.1%})")

分类器在 899 张图像中正确识别了 871 张:在图像独立模型假设下,准确率为 96.9%,95% Wilson 区间为 95.5%–97.8%。这些捆绑图像来自加州大学欧文分校手写数字测试集,由 13 位书写者提供。同一位书写者的图像可能具有相似的书写特征,因此若要估计对新书写者的准确率,就需要考虑这种分组情况。

置信区间、分数和预测#

置信度分数是模型针对单次预测输出的分数。在 Ultralytics YOLO 预测模式中,conf 设置检测结果保留所需的最低分数。召回率在该阈值下的置信区间,用于量化根据测试样本估计召回率时的不确定性。

预测区间针对的是未来观测值。例如,保形预测已用于构建 KITTI 上的逐像素预测区间,以估计新帧的深度。

比较计算机视觉模型#

固定模型的区间衡量的是测试集抽样带来的不确定性。比较训练流水线时,还需要考虑随机初始化和超参数调优等因素造成的差异,这些差异可以通过多次训练来衡量。

当两个目标检测器在同一个测试集上运行时,配对自助抽样会为两个模型抽取相同的测试单元,并在每次抽样中计算 mAP 差值。独立抽样的静态图像可以逐张抽取。如果独立抽样的视频包含相关帧,抽取整段视频就能保留帧间的依赖关系。将相邻帧视为独立帧可能会使区间过窄。由于配对抽样保留了同一输入上的结果关联,即使两个模型各自的置信区间重叠,mAP 差值的区间仍可能不包含零。

探索解决方案

体育领域的计算机视觉

体育领域的计算机视觉

了解 Ultralytics YOLO 如何通过球员和球追踪、表现分析、教练洞察及运动员康复,推动体育视觉技术的发展。
了解详情
航空影像计算机视觉

航空影像计算机视觉

使用 Ultralytics YOLO 将无人机和航空影像转化为农业、水产养殖、保护工作和地理空间分析的实时洞察。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 将计算机视觉应用于航空航天领域,包括飞机检查、跑道 FOD 检测、机场地面作业和复合材料缺陷检测。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情

让我们携手构建 AI 的未来!

开启你的旅程,迎接机器学习的未来