Confidence

Оценка уверенности — это число от 0 до 1, которое модель присваивает предсказанию, чтобы выразить вероятность его правильности. Классификаторы присваивают оценку каждой метке класса, а модели обнаружения объектов — каждой ограничивающей рамке. В последнем случае оценка отвечает на более узкий вопрос: насколько вероятно, что в этой рамке находится объект данного класса? Приложения используют уверенность, чтобы решать, какие предсказания оставить, в каком порядке их ранжировать и какие передать человеку на проверку.

Как модели вычисляют уверенность#

Уверенность формируется на последнем слое нейросети. Одноклассовый классификатор передаёт необработанные выходные значения, называемые логитами, в softmax, который нормирует оценки классов так, чтобы их сумма равнялась 1, и возвращает наибольшее значение. Детекторы обычно независимо применяют сигмоиду к каждому классу, поэтому одна рамка может получить высокие оценки для двух родственных классов, и сумма оценок необязательно равна 1. В детекторах с отдельным выходом объектности, например YOLOv5, его умножали на вероятность класса. Многие безъякорные детекторы, включая современные модели YOLO, отказываются от объектности и используют в качестве уверенности рамки наибольшую оценку класса.

Пороги уверенности#

Порог уверенности преобразует оценки в решения: предсказания выше порога сохраняются, остальные отбрасываются. Повышение порога удаляет ложноположительные результаты и повышает точность. Снижение порога позволяет обнаружить слабые, мелкие или частично скрытые объекты и повышает полноту, но увеличивает число ложных срабатываний. Порог, при котором достигает максимума кривая F1-меры, обеспечивает баланс между ними. По умолчанию YOLO26 оставляет рамки с оценкой выше 0,25 во время предсказания, а при валидации порог снижается до 0,001, чтобы кривые точности и полноты охватывали почти все возможные рабочие точки.

from ultralytics import YOLO

# Load a pretrained YOLO26 nano detector
model = YOLO("yolo26n.pt")
image = "https://ultralytics.com/images/bus.jpg"

# Run the same image at a low and a high confidence threshold
for threshold in (0.1, 0.6):
    results = model(image, conf=threshold)
    scores = results[0].boxes.conf.tolist()
    print(f"conf={threshold}: {len(scores)} boxes, scores {[round(s, 2) for s in scores]}")

Запуск с порогом 0.1 возвращает все рамки из запуска с порогом 0.6 и все более слабые кандидаты, поэтому повышение порога может только удалять обнаружения, начиная с наименее уверенных.

Использование уверенности в приложениях#

Во многих системах используют два порога. Предсказания ниже нижнего порога отбрасываются, предсказания выше верхнего порога запускают автоматическое действие, а промежуточный диапазон передают человеку, второй модели или другому датчику. Инструмент медицинского скрининга может сразу отмечать результаты с высокой степенью уверенности и ставить сомнительные результаты в очередь для радиолога, а цикл активного обучения направляет промежуточный диапазон к аннотаторам — эту стратегию называют выборкой по неопределённости.

Уверенность и калибровка#

Оценка 0.9 служит пригодной для использования вероятностью, только если модель откалибрована, то есть примерно 90% всех предсказаний с оценкой 0.9 верны. Современные глубокие сети обычно чрезмерно уверены: их оценки выше фактической доли верных ответов. Масштабирование температуры исправляет большую часть этого эффекта, деля логиты на одну константу, подобранную на отложенных данных, а инструменты калибровки scikit-learn подбирают отображения Платта (сигмоидальное) или изотонические отображения и строят графики надежности. Калибровка важна всякий раз, когда оценку интерпретируют как вероятность, например при задании порога риска. Метрики ранжирования, такие как средняя точность (mAP), зависят только от порядка оценок.

Уверенность и связанные термины#

• Точность: доля верных предсказаний на уровне набора данных. У откалиброванной модели средняя уверенность равна точности.
• Статистические доверительные интервалы: отдельное понятие, совпадающее по названию. Уровень доверия 95% описывает, как часто процедура построения интервала охватывает истинное значение при повторении выборки.
• Конформное предсказание: преобразует исходные оценки в наборы предсказаний с гарантированным покрытием, так что при целевом уровне 90% набор содержит истинную метку как минимум в 90% случаев на обменных данных.