Достоверность

В области искусственного интеллекта и машинного обучения показатель достоверности — это метрика, которая количественно оценивает степень уверенности модели в отношении конкретного прогноза. Это значение обычно колеблется от 0 до 1 (или от 0% до 100%) и представляет собой расчетную вероятность того, что результат алгоритма будет соответствовать реальной ситуации. Например , в задаче обнаружения объектов, если система идентифицирует область изображения как «велосипед» с уверенностью 0,92, это означает, что вероятность правильности классификации составляет 92% . Эти оценки получают из последнего слоя нейронной сети, часто обрабатываемого с помощью функции активации, такой как Softmax для многоклассовой категоризации или сигмоидная функция для бинарных решений.

Роль уверенности в выводах

Оценки достоверности являются фундаментальным компонентом рабочего процесса механизма вывода, действуя как фильтр для отделения высококачественных прогнозов от фонового шума. Этот процесс фильтрации, известный как пороговое значение, позволяет разработчикам настраивать чувствительность приложения. Установив минимальный порог достоверности, вы можете управлять критическим компромиссом между точностью и воспроизводимостью. Более низкий порог может detect объектов, но увеличивает риск ложных срабатываний, тогда как более высокий порог улучшает точность, но может привести к пропуску незначительных экземпляров.

NMS передовых архитектурах, таких как Ultralytics , показатели достоверности имеют важное значение для методов постобработки, таких как немаксимальное подавление (NMS). NMS использует эти показатели для удаления избыточных ограничительных рамок, которые значительно перекрываются, сохраняя только обнаружение с наибольшей вероятностью. Этот шаг гарантирует, что конечный результат будет чистым и готовым для последующих задач, таких как подсчет или отслеживание объектов.

Следующий Python демонстрирует, как фильтровать прогнозы по степени достоверности с помощью ultralytics пакет:

from ultralytics import YOLO

# Load the latest YOLO26n model
model = YOLO("yolo26n.pt")

# Run inference with a confidence threshold of 0.5 (50%)
# Only detections with a score above this value are returned
results = model.predict("https://ultralytics.com/images/bus.jpg", conf=0.5)

# Inspect the confidence scores of the detected objects
for box in results[0].boxes:
    print(f"Class: {box.cls}, Confidence: {box.conf.item():.2f}")

Применение в реальном мире

Оценки достоверности обеспечивают уровень интерпретируемости, который незаменим во всех отраслях, где применяется компьютерное зрение (CV). Они помогают автоматизированным системам определять, когда действовать автономно, а когда запускать оповещения для проверки человеком.

• Автономное вождение: в секторе ИИ в автомобилестроении самоуправляемые транспортные средства полагаются на показатели достоверности для обеспечения безопасности пассажиров. Если система восприятия обнаруживает препятствие с низкой достоверностью, она может сверить эти данные с данными датчиков LiDAR или радара , чтобы подтвердить наличие объекта перед выполнением экстренного маневра. Такая избыточность помогает предотвратить «фантомное торможение», вызванное тенями или бликами.
• Медицинская диагностика: при использовании ИИ в здравоохранении модели помогают медицинским специалистам, выделяя потенциальные аномалии в данных визуализации. Система, созданная для обнаружения опухолей , может выделять области с высокой степенью достоверности для немедленной диагностики, в то время как прогнозы с более низкой степенью достоверности регистрируются для вторичного анализа. Такой рабочий процесс с участием человека гарантирует, что ИИ дополняет клиническое принятие решений, а не заменяет экспертное суждение.
• Промышленная автоматизация: в интеллектуальном производстве роботизированные манипуляторы используют показатели достоверности для взаимодействия с объектами на сборочных линиях. Робот, оснащенный искусственным интеллектом , может пытаться захватить компонент только в том случае, если достоверность обнаружения превышает 90 %, что снижает риск повреждения хрупких деталей из-за неправильного выравнивания.

Отличие уверенности от смежных терминов

Крайне важно отличать уверенность от других статистических показателей, используемых в оценке моделей.

• Уверенность против точности: Точность — это глобальный показатель, который описывает, насколько часто модель дает правильные результаты по всему набору данных (например, «Точность модели составляет 92% »). В отличие от этого, уверенность — это локальное значение, специфичное для конкретного прогноза (например, «Модель на 92% уверена, что на этом конкретном изображении есть кошка»). Модель может иметь высокую общую точность, но при этом давать низкую уверенность в крайних случаях.
• Уверенность против калибровки вероятности: сырой показатель уверенности не всегда соответствует истинной вероятности правильности. Модель считается «хорошо откалиброванной», если прогнозы, сделанные с уверенностью 0,8, оказываются правильными примерно в 80 % случаев. Для приведения показателей в соответствие с эмпирическими вероятностями часто используются такие методы, как масштабирование Платта или изотоническая регрессия .
• Уверенность против точности: Точность измеряет долю положительных идентификаций, которые были действительно правильными. Хотя повышение порога уверенности обычно повышает точность, часто это происходит за счет снижения воспроизводимости. Разработчики должны настраивать этот порог в зависимости от того, что является приоритетом для их приложения: меньшее количество пропущенных объектов или минимизация ложных срабатываний.

Повышение уверенности модели

Если модель постоянно выдает низкий уровень достоверности для действительных объектов, это часто сигнализирует о несоответствии между данными обучения и средой развертывания. Стратегии по смягчению этой проблемы включают увеличение объема данных, которое искусственно расширяет набор данных за счет изменения освещения, поворота и шума. Кроме того, использование Ultralytics для реализации конвейеров активного обучения позволяет разработчикам легко идентифицировать образцы с низким уровнем достоверности, аннотировать их и переобучить модель. Этот итеративный цикл имеет жизненно важное значение для создания надежных ИИ-агентов, способных надежно работать в динамичных реальных условиях.