Лицензия YOLO
Назад к глоссарию Ultralytics

Confidence Interval

Доверительный интервал количественно описывает неопределённость выборки в метриках модели, таких как точность и mAP. Интервал 95% показывает долгосрочный охват.

Доверительный интервал (CI) — это диапазон, рассчитанный по выборке с помощью метода, предназначенного для охвата неизвестной величины в генеральной совокупности с заданной частотой. В машинном обучении оценка на тестовых данных показывает, как фиксированная модель работает на типах входных данных, представленных в тестовой выборке. Интервал показывает, насколько точно эта производительность оценена по конечной выборке.

Что означает 95%-й доверительный интервал#

Если многократно отбирать сопоставимые тестовые данные и каждый раз рассчитывать интервал одним и тем же способом, то процедура с 95%-м уровнем охвата будет в долгосрочной перспективе включать истинное значение метрики примерно в 95 из 100 интервалов. Значение метрики фиксировано, а границы интервала меняются от выборки к выборке. Джерзи Нейман заложил основы этого частотного подхода в своей работе о выборочных исследованиях 1934 года.

При более высоком уровне доверия для одних и тех же данных обычно получается более широкий интервал. Чем больше независимых наблюдений, тем, как правило, уже интервал при фиксированном уровне доверия. Ширина показывает точность оценки по выборке: интервал может быть узким, даже если смещение набора данных делает тестовую выборку нерепрезентативной для условий развёртывания.

Как рассчитать доверительный интервал#

Для среднего значения выборки часто используют формулу оценка ± погрешность, где погрешность равна критическому значению, умноженному на стандартную ошибку. Стандартная ошибка показывает, насколько меняется оценка в повторных выборках. Для независимых наблюдений из одной генеральной совокупности оценка стандартной ошибки среднего равна выборочному стандартному отклонению, делённому на квадратный корень из объёма выборки. В двустороннем 95%-м нормальном интервале критическое значение равно 1,96, а на каждый хвост распределения приходится 2,5%. В t-интервале для одной выборки используется критическое значение распределения Стьюдента с числом степеней свободы, равным объёму выборки минус один. Такой интервал имеет точный уровень охвата для независимых наблюдений из одной нормальной генеральной совокупности.

Метод зависит от метрики и способа отбора тестовых данных:

  • Точность классификации: Если изображения независимы, а вероятность правильной классификации одинакова для каждого изображения, интервал Уилсона использует число правильных предсказаний и размер тестовой выборки для оценки этой вероятности. Обе границы остаются в диапазоне от 0% до 100%.
  • Средняя точность (mAP): Применяй бутстрэп к полной метрике: повторно выбирай тестовые единицы с возвращением и пересчитывай mAP для каждой выборки. 95%-й процентильный интервал определяется 2,5-м и 97,5-м процентилями полученных значений. При бутстрэп-анализе на уровне изображений каждое изображение выбирается вместе со связанными с ним предсказаниями и аннотациями.

Пример расчёта: точность распознавания рукописных цифр#

В примере классификации цифр из scikit-learn метод опорных векторов обучается на первой половине входящих в набор изображений цифр и оценивается на второй половине. В коде используется то же разбиение, а доверительный интервал Уилсона рассчитывается с помощью API для биномиальных долей из SciPy.

from scipy.stats import binomtest
from sklearn.datasets import load_digits
from sklearn.svm import SVC

X, y = load_digits(return_X_y=True)
split = len(y) // 2
model = SVC(gamma=0.001)
model.fit(X[:split], y[:split])
predictions = model.predict(X[split:])

correct = int((predictions == y[split:]).sum())
accuracy = binomtest(correct, len(y[split:]))
interval = accuracy.proportion_ci(confidence_level=0.95, method="wilson")
print(f"Accuracy: {accuracy.statistic:.1%} (95% CI: {interval.low:.1%}–{interval.high:.1%})")

Классификатор правильно определяет 871 из 899 изображений: точность 96,9% с 95%-м интервалом Уилсона 95,5%–97,8% при предположении о независимости изображений. Входящие в набор изображения взяты из тестового набора рукописных цифр UCI, созданного на основе записей 13 авторов. У изображений одного автора могут быть общие особенности почерка, поэтому для оценки точности на данных новых авторов нужно учитывать такую группировку.

Доверительные интервалы, оценки и предсказания#

Оценка уверенности — это выход модели для одного предсказания. В режиме предсказания Ultralytics YOLO параметр conf задаёт минимальную оценку, необходимую для сохранения обнаруженного объекта. Доверительный интервал для полноты при этом пороге показывает неопределённость оценки полноты по тестовой выборке.

Предиктивный интервал относится к будущему наблюдению. Например, конформное предсказание использовалось для построения попиксельных предиктивных интервалов на KITTI для оценок глубины в новых кадрах.

Сравнение моделей компьютерного зрения#

Интервал для фиксированной модели показывает неопределённость, связанную с выборкой тестовых данных. При сравнении конвейеров обучения нужно также учитывать вариации, вызванные такими факторами, как случайная инициализация и настройка гиперпараметров; их можно оценить, многократно повторив обучение.

Если два детектора объектов работают с одним и тем же тестовым набором, парный бутстрэп выбирает одни и те же единицы для обеих моделей и при каждой итерации рассчитывает разность mAP. Независимо отобранные неподвижные изображения можно выбирать по одному. Если независимо отобранные видео содержат коррелирующие кадры, выбор целых видео позволяет сохранить зависимость между кадрами. Если считать соседние кадры независимыми, интервал может оказаться слишком узким. Поскольку парный метод сохраняет связь между результатами для одних и тех же входных данных, интервал для разности mAP может не включать ноль, даже если два отдельных доверительных интервала перекрываются.

Изучи решения

Компьютерное зрение в спорте

Компьютерное зрение в спорте

Узнай, как Ultralytics YOLO обеспечивает компьютерное зрение в спорте: отслеживание игроков и мяча, аналитика результатов, полезные выводы для тренеров и реабилитация спортсменов.
Подробнее
Компьютерное зрение для аэросъёмки

Компьютерное зрение для аэросъёмки

Превращай снимки с дронов и аэрофотоснимки в полезные данные в реальном времени для сельского хозяйства, аквакультуры, охраны природы и геопространственного анализа с Ultralytics YOLO.
Подробнее
Компьютерное зрение в аэрокосмической отрасли

Компьютерное зрение в аэрокосмической отрасли

Применяй компьютерное зрение в аэрокосмической отрасли с Ultralytics YOLO: для осмотра самолётов, обнаружения посторонних предметов на взлётно-посадочных полосах, наземного обслуживания аэропортов и выявления дефектов композитных материалов.
Подробнее
Компьютерное зрение в сфере безопасности

Компьютерное зрение в сфере безопасности

Защити любой объект с помощью моделей Ultralytics YOLO. ИИ на базе компьютерного зрения обеспечивает мониторинг периметра, обнаружение угроз, распознавание номерных знаков и безопасность на рабочем месте.
Подробнее
Компьютерное зрение в робототехнике

Компьютерное зрение в робототехнике

Создавай более интеллектуальные машины с моделями Ultralytics YOLO. ИИ на базе компьютерного зрения в робототехнике обеспечивает автономную навигацию, восприятие, отслеживание объектов и управление в реальном времени.
Подробнее
Компьютерное зрение в логистике

Компьютерное зрение в логистике

Оптимизируй логистику с моделями Ultralytics YOLO. Визуальный AI обеспечивает проверку посылок, сортировку, отслеживание транспорта и мониторинг безопасности на складе в реальном времени.
Подробнее
Компьютерное зрение в розничной торговле

Компьютерное зрение в розничной торговле

Переосмысли розничную торговлю с моделями Ultralytics YOLO. Визуальный AI обеспечивает отслеживание запасов, мониторинг полок, управление очередями и более глубокое понимание поведения покупателей.
Подробнее
Компьютерное зрение в здравоохранении

Компьютерное зрение в здравоохранении

Создавай решения для здравоохранения с моделями Ultralytics YOLO. Визуальный AI в здравоохранении ускоряет медицинскую визуализацию, улучшает диагностику и мониторинг пациентов.
Подробнее
Компьютерное зрение в производстве

Компьютерное зрение в производстве

Оптимизируй производство с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ обеспечивает контроль качества, обнаружение дефектов, контроль использования СИЗ и автоматизацию сборочных линий.
Подробнее
Компьютерное зрение в автомобильной отрасли

Компьютерное зрение в автомобильной отрасли

Применяй компьютерное зрение в автомобильной отрасли с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ повышает безопасность дорожного движения, улучшает помощь водителю и автоматизацию автомобилей, делая дороги умнее.
Подробнее
Компьютерное зрение в сельском хозяйстве

Компьютерное зрение в сельском хозяйстве

Внедряй ИИ для компьютерного зрения в умное сельское хозяйство с моделями Ultralytics YOLO. Используй их для мониторинга посевов, отслеживания скота и точного земледелия, чтобы повысить урожайность и эффективность.
Подробнее

Давай вместе строить будущее ИИ!

Начни свой путь в будущее машинного обучения