Confidence

В области искусственного интеллекта и машинного обучения оценка уверенности (confidence score) — это метрика, которая количественно определяет степень уверенности модели в отношении конкретного предсказания. Это значение обычно находится в диапазоне от 0 до 1 (или от 0% до 100%) и представляет собой расчетную вероятность того, что результат работы алгоритма совпадает с истинными данными (ground truth). Например, в задаче обнаружения объектов если система определяет область изображения как «велосипед» с уверенностью 0,92, это указывает на 92% расчетную вероятность правильности классификации. Эти оценки получены из финального слоя нейронной сети, часто обрабатываемого через функцию активации, такую как Softmax для многоклассовой категоризации или функцию сигмоиды для бинарных решений.

Роль уверенности в инференсе#

Оценки уверенности являются фундаментальным компонентом рабочего процесса механизма инференса, выступая в роли фильтра для отделения качественных предсказаний от фонового шума. Этот процесс фильтрации, известный как пороговая обработка (thresholding), позволяет разработчикам настраивать чувствительность приложения. Установив минимальный порог уверенности, ты можешь управлять критическим компромиссом точности и полноты. Более низкий порог может обнаружить больше объектов, но увеличивает риск ложноположительных срабатываний, тогда как более высокий порог улучшает точность, но может привести к пропуску неуловимых экземпляров.

В продвинутых архитектурах, таких как Ultralytics YOLO26, оценки уверенности важны для методов постобработки, таких как немаксимальное подавление (NMS). NMS использует эти оценки для удаления избыточных ограничивающих рамок (bounding boxes), которые значительно перекрываются, сохраняя только обнаружение с наибольшей вероятностью. Этот шаг гарантирует, что конечный результат будет чистым и готовым для последующих задач, таких как подсчет объектов или трекинг.

Следующий пример на Python демонстрирует, как фильтровать предсказания по уверенности с помощью пакета ultralytics:

from ultralytics import YOLO

# Load the latest YOLO26n model
model = YOLO("yolo26n.pt")

# Run inference with a confidence threshold of 0.5 (50%)
# Only detections with a score above this value are returned
results = model.predict("https://ultralytics.com/images/bus.jpg", conf=0.5)

# Inspect the confidence scores of the detected objects
for box in results[0].boxes:
    print(f"Class: {box.cls}, Confidence: {box.conf.item():.2f}")

Реальные приложения#

Оценки уверенности обеспечивают уровень интерпретируемости, который незаменим в отраслях, где применяется компьютерное зрение (CV). Они помогают автоматизированным системам определять, когда действовать автономно, а когда инициировать оповещения для проверки человеком.

• Автономное вождение: В секторе ИИ в автомобилестроении самоуправляемые транспортные средства полагаются на метрики уверенности для обеспечения безопасности пассажиров. Если система восприятия обнаруживает препятствие с низкой уверенностью, она может сопоставить эти данные с LiDAR-сенсорами или радаром, чтобы проверить присутствие объекта перед выполнением аварийного маневра. Эта избыточность помогает предотвратить «фантомное торможение», вызванное тенями или бликами.
• Медицинская диагностика: При использовании ИИ в здравоохранении модели помогают медицинским работникам, выявляя потенциальные аномалии в данных визуализации. Система, созданная для обнаружения опухолей, может выделять области с высокой уверенностью для немедленной диагностики, в то время как предсказания с более низкой уверенностью регистрируются для вторичного анализа. Этот рабочий процесс с участием человека в контуре управления гарантирует, что ИИ дополняет клиническое принятие решений, не заменяя экспертную оценку.
• Промышленная автоматизация: В умном производстве роботизированные руки используют оценки уверенности для взаимодействия с объектами на сборочных линиях. Робот, оснащенный ИИ компьютерного зрения, может попытаться захватить компонент только в том случае, если уверенность обнаружения превышает 90%, тем самым снижая риск повреждения хрупких деталей из-за смещения.

Отличие уверенности от связанных терминов#

Крайне важно отличать уверенность от других статистических метрик, используемых при оценке моделей.

• Уверенность против точности: Точность (Accuracy) — это глобальная метрика, которая описывает, как часто модель права по всему набору данных (например, «Модель точна на 92%»). В отличие от этого, уверенность — это локальное значение, специфичное для конкретного предсказания (например, «Модель на 92% уверена, что на этом конкретном изображении есть кот»). Модель может иметь высокую общую точность, но все равно выдавать низкую уверенность на краевых случаях.
• Уверенность против калибровки вероятностей: Необработанная оценка уверенности не всегда совпадает с истинной вероятностью правильности. Модель считается «хорошо откалиброванной», если предсказания, сделанные с уверенностью 0,8, оказываются верными примерно в 80% случаев. Такие методы, как скейлинг Платта или изотоническая регрессия, часто используются для согласования оценок с эмпирическими вероятностями.
• Уверенность против прецизионности: Прецизионность (Precision) измеряет долю положительных идентификаций, которые действительно оказались верными. Хотя повышение порога уверенности обычно повышает прецизионность, это часто происходит за счет полноты (recall). Разработчики должны настраивать этот порог в зависимости от того, что приоритетнее для их приложения: пропускать меньше объектов или минимизировать ложные тревоги.

Улучшение уверенности модели#

Если модель стабильно выдает низкую уверенность для валидных объектов, это часто сигнализирует о несоответствии между обучающими данными и средой развертывания. Стратегии смягчения этой проблемы включают аугментацию данных, которая искусственно расширяет набор данных за счет изменения освещения, поворота и шума. Кроме того, использование платформы Ultralytics для внедрения пайплайнов активного обучения позволяет разработчикам легко выявлять образцы с низкой уверенностью, аннотировать их и переобучать модель. Этот итеративный цикл жизненно важен для создания надежных ИИ-агентов, способных стабильно работать в динамичных условиях реального мира.