Confidence

В сфере искусственного интеллекта и машинного обучения оценка уверенности (confidence score) — это показатель, определяющий степень уверенности модели в конкретном предсказании. Это значение обычно варьируется от 0 до 1 (или от 0% до 100%) и представляет собой предполагаемую вероятность того, что результат работы алгоритма соответствует истинным данным. Например, в задаче обнаружения объектов, если система определяет область изображения как «велосипед» с уверенностью 0,92, это означает 92% предполагаемой вероятности правильности классификации. Эти оценки извлекаются из последнего слоя нейронной сети и часто обрабатываются с помощью функции активации, такой как Softmax для многоклассовой категоризации или сигмоидная функция для бинарных решений.

Link to this sectionРоль уверенности в инференсе#

Оценки уверенности являются фундаментальным компонентом рабочего процесса механизма инференса, действуя как фильтр для отделения высококачественных предсказаний от фонового шума. Этот процесс фильтрации, называемый пороговой обработкой (thresholding), позволяет тебе настраивать чувствительность приложения. Устанавливая минимальный порог уверенности, ты можешь управлять критически важным компромиссом между точностью и полнотой. Низкий порог может помочь обнаружить больше объектов, но увеличивает риск возникновения ложноположительных результатов, тогда как более высокий порог повышает точность, но может привести к пропуску неочевидных экземпляров.

В продвинутых архитектурах, таких как Ultralytics YOLO26, оценки уверенности необходимы для методов постобработки, например, немаксимального подавления (NMS). NMS использует эти оценки для удаления избыточных ограничивающих рамок (bounding boxes), которые значительно перекрываются, сохраняя только те детекции, которые имеют наивысшую вероятность. Этот шаг гарантирует, что итоговый результат будет чистым и готовым для последующих задач, таких как подсчет объектов или трекинг.

Следующий пример на Python демонстрирует, как фильтровать предсказания по уровню уверенности с помощью пакета ultralytics:

from ultralytics import YOLO

# Load the latest YOLO26n model
model = YOLO("yolo26n.pt")

# Run inference with a confidence threshold of 0.5 (50%)
# Only detections with a score above this value are returned
results = model.predict("https://ultralytics.com/images/bus.jpg", conf=0.5)

# Inspect the confidence scores of the detected objects
for box in results[0].boxes:
    print(f"Class: {box.cls}, Confidence: {box.conf.item():.2f}")

Link to this sectionРеальные приложения#

Оценки уверенности обеспечивают уровень интерпретируемости, который незаменим в отраслях, где применяется компьютерное зрение (CV). Они помогают автоматизированным системам определять, когда действовать автономно, а когда подавать сигнал для проверки человеком.

• Автономное вождение: В секторе ИИ в автомобильной индустрии беспилотные транспортные средства полагаются на показатели уверенности для обеспечения безопасности пассажиров. Если система восприятия обнаруживает препятствие с низкой уверенностью, она может сопоставить эти данные с LiDAR сенсорами или радаром, чтобы подтвердить наличие объекта перед выполнением аварийного маневра. Эта избыточность помогает предотвратить «фантомное торможение», вызванное тенями или бликами.
• Медицинская диагностика: При использовании ИИ в здравоохранении модели помогают медицинским специалистам, отмечая потенциальные аномалии в данных визуализации. Система, созданная для обнаружения опухолей, может выделять области с высокой уверенностью для немедленной диагностики, в то время как предсказания с низкой уверенностью сохраняются для вторичного анализа. Этот рабочий процесс с участием человека гарантирует, что ИИ дополняет процесс принятия клинических решений, не заменяя суждение эксперта.
• Промышленная автоматизация: В умном производстве роботы-манипуляторы используют оценки уверенности для взаимодействия с объектами на сборочных линиях. Робот, оснащенный vision AI, может попытаться захватить компонент только в том случае, если уверенность в обнаружении превышает 90%, тем самым снижая риск повреждения хрупких деталей из-за неправильного позиционирования.

Link to this sectionОтличие уверенности от связанных терминов#

Крайне важно отличать уверенность от других статистических показателей, используемых при оценке моделей.

• Уверенность против точности (Accuracy): Точность (Accuracy) — это глобальный показатель, который описывает, как часто модель бывает права во всем наборе данных (например, «Модель точна на 92%»). В отличие от этого, уверенность — это локальное, специфичное для конкретного предсказания значение (например, «Модель на 92% уверена, что на этом конкретном изображении есть кошка»). Модель может обладать высокой общей точностью, но при этом выдавать низкую уверенность на граничных случаях.
• Уверенность против калибровки вероятности: Необработанная оценка уверенности не всегда совпадает с истинной вероятностью правильности. Модель считается «хорошо откалиброванной», если предсказания, сделанные с уверенностью 0,8, оказываются верными примерно в 80% случаев. Такие методы, как масштабирование Платта или изотоническая регрессия, часто применяются для приведения оценок в соответствие с эмпирическими вероятностями.
• Уверенность против Precision: Precision измеряет долю положительных идентификаций, которые действительно оказались верными. Хотя повышение порога уверенности обычно повышает Precision, это часто происходит ценой снижения recall. Тебе необходимо настраивать этот порог в зависимости от того, что приоритетнее для твоего приложения: пропустить меньше объектов или минимизировать ложные срабатывания.

Link to this sectionУлучшение уверенности модели#

Если модель стабильно выдает низкую уверенность для валидных объектов, это часто сигнализирует о расхождении между обучающими данными и средой развертывания. Стратегии по смягчению этой проблемы включают аугментацию данных, которая искусственно расширяет набор данных за счет изменения освещения, поворота и добавления шума. Кроме того, использование платформы Ultralytics для внедрения конвейеров активного обучения позволяет тебе легко находить образцы с низкой уверенностью, аннотировать их и дообучать модель. Этот итеративный цикл жизненно важен для создания надежных ИИ-агентов, способных стабильно работать в динамичных условиях реального мира.