Confidence Interval
Доверительный интервал количественно описывает неопределённость выборки в метриках модели, таких как точность и mAP. Интервал 95% показывает долгосрочный охват.
Доверительный интервал (CI) — это диапазон, рассчитанный по выборке с помощью метода, предназначенного для охвата неизвестной величины в генеральной совокупности с заданной частотой. В машинном обучении оценка на тестовых данных показывает, как фиксированная модель работает на типах входных данных, представленных в тестовой выборке. Интервал показывает, насколько точно эта производительность оценена по конечной выборке.
Что означает 95%-й доверительный интервал#
Если многократно отбирать сопоставимые тестовые данные и каждый раз рассчитывать интервал одним и тем же способом, то процедура с 95%-м уровнем охвата будет в долгосрочной перспективе включать истинное значение метрики примерно в 95 из 100 интервалов. Значение метрики фиксировано, а границы интервала меняются от выборки к выборке. Джерзи Нейман заложил основы этого частотного подхода в своей работе о выборочных исследованиях 1934 года.
При более высоком уровне доверия для одних и тех же данных обычно получается более широкий интервал. Чем больше независимых наблюдений, тем, как правило, уже интервал при фиксированном уровне доверия. Ширина показывает точность оценки по выборке: интервал может быть узким, даже если смещение набора данных делает тестовую выборку нерепрезентативной для условий развёртывания.
Как рассчитать доверительный интервал#
Для среднего значения выборки часто используют формулу оценка ± погрешность, где погрешность равна критическому значению, умноженному на стандартную ошибку. Стандартная ошибка показывает, насколько меняется оценка в повторных выборках. Для независимых наблюдений из одной генеральной совокупности оценка стандартной ошибки среднего равна выборочному стандартному отклонению, делённому на квадратный корень из объёма выборки. В двустороннем 95%-м нормальном интервале критическое значение равно 1,96, а на каждый хвост распределения приходится 2,5%. В t-интервале для одной выборки используется критическое значение распределения Стьюдента с числом степеней свободы, равным объёму выборки минус один. Такой интервал имеет точный уровень охвата для независимых наблюдений из одной нормальной генеральной совокупности.
Метод зависит от метрики и способа отбора тестовых данных:
- Точность классификации: Если изображения независимы, а вероятность правильной классификации одинакова для каждого изображения, интервал Уилсона использует число правильных предсказаний и размер тестовой выборки для оценки этой вероятности. Обе границы остаются в диапазоне от 0% до 100%.
- Средняя точность (mAP): Применяй бутстрэп к полной метрике: повторно выбирай тестовые единицы с возвращением и пересчитывай mAP для каждой выборки. 95%-й процентильный интервал определяется 2,5-м и 97,5-м процентилями полученных значений. При бутстрэп-анализе на уровне изображений каждое изображение выбирается вместе со связанными с ним предсказаниями и аннотациями.
Пример расчёта: точность распознавания рукописных цифр#
В примере классификации цифр из scikit-learn метод опорных векторов обучается на первой половине входящих в набор изображений цифр и оценивается на второй половине. В коде используется то же разбиение, а доверительный интервал Уилсона рассчитывается с помощью API для биномиальных долей из SciPy.
from scipy.stats import binomtest
from sklearn.datasets import load_digits
from sklearn.svm import SVC
X, y = load_digits(return_X_y=True)
split = len(y) // 2
model = SVC(gamma=0.001)
model.fit(X[:split], y[:split])
predictions = model.predict(X[split:])
correct = int((predictions == y[split:]).sum())
accuracy = binomtest(correct, len(y[split:]))
interval = accuracy.proportion_ci(confidence_level=0.95, method="wilson")
print(f"Accuracy: {accuracy.statistic:.1%} (95% CI: {interval.low:.1%}–{interval.high:.1%})")Классификатор правильно определяет 871 из 899 изображений: точность 96,9% с 95%-м интервалом Уилсона 95,5%–97,8% при предположении о независимости изображений. Входящие в набор изображения взяты из тестового набора рукописных цифр UCI, созданного на основе записей 13 авторов. У изображений одного автора могут быть общие особенности почерка, поэтому для оценки точности на данных новых авторов нужно учитывать такую группировку.
Доверительные интервалы, оценки и предсказания#
Оценка уверенности — это выход модели для одного предсказания. В режиме предсказания Ultralytics YOLO параметр conf задаёт минимальную оценку, необходимую для сохранения обнаруженного объекта. Доверительный интервал для полноты при этом пороге показывает неопределённость оценки полноты по тестовой выборке.
Предиктивный интервал относится к будущему наблюдению. Например, конформное предсказание использовалось для построения попиксельных предиктивных интервалов на KITTI для оценок глубины в новых кадрах.
Сравнение моделей компьютерного зрения#
Интервал для фиксированной модели показывает неопределённость, связанную с выборкой тестовых данных. При сравнении конвейеров обучения нужно также учитывать вариации, вызванные такими факторами, как случайная инициализация и настройка гиперпараметров; их можно оценить, многократно повторив обучение.
Если два детектора объектов работают с одним и тем же тестовым набором, парный бутстрэп выбирает одни и те же единицы для обеих моделей и при каждой итерации рассчитывает разность mAP. Независимо отобранные неподвижные изображения можно выбирать по одному. Если независимо отобранные видео содержат коррелирующие кадры, выбор целых видео позволяет сохранить зависимость между кадрами. Если считать соседние кадры независимыми, интервал может оказаться слишком узким. Поскольку парный метод сохраняет связь между результатами для одних и тех же входных данных, интервал для разности mAP может не включать ноль, даже если два отдельных доверительных интервала перекрываются.










