Уверенность

В машинном обучении показатель уверенности - это числовое значение, присваиваемое отдельному предсказанию и указывающее на уверенность модели в том, что это предсказание верно. Выражаясь в процентах или в виде значения вероятности между 0 и 1, он количественно определяет "веру" модели в свой собственный результат для одного экземпляра. Например, в задаче обнаружения объектов модель, подобная Ultralytics YOLO11, может идентифицировать автомобиль на изображении и присвоить балл уверенности 0,95 (или 95 %), что означает, что она очень уверена в своем выводе. Эта оценка является важным результатом, который помогает пользователям фильтровать, определять приоритеты и интерпретировать результаты модели в реальных сценариях.

Показатель уверенности обычно определяется на выходе конечного слоя нейронной сети (НС), часто с помощью функции softmax или сигмоида. Это значение играет важную роль в практических приложениях, где порог доверия устанавливается для отбрасывания предсказаний, которые не соответствуют определенному уровню уверенности. Настраивая этот порог, разработчики могут сбалансировать компромисс между захватом всех релевантных обнаружений и минимизацией ложных срабатываний, что является ключевым моментом при развертывании модели.

Применение в реальном мире

Показатели уверенности важны для повышения надежности и эффективности систем ИИ. Они позволяют системам оценивать неопределенность и вызывать различные реакции в соответствии с ней.

• Автономные транспортные средства: В самоуправляемых автомобилях показатели уверенности имеют огромное значение для безопасности. Детектор объектов может идентифицировать пешехода с 98 % уверенностью, что является четким сигналом для автомобиля замедлиться или остановиться. И наоборот, если он обнаружит объект с достоверностью всего 30 %, система может отметить его как неопределенный и использовать другие датчики для проверки его природы, прежде чем предпринимать какие-либо действия. Это помогает предотвратить аварии, концентрируясь на угрозах с высокой степенью достоверности. Более подробно об этой теме вы можете прочитать в статье о роли искусственного интеллекта в самодвижущихся автомобилях.
• Анализ медицинских изображений: Когда модель искусственного интеллекта анализирует медицинские снимки на предмет признаков заболевания, например для обнаружения опухолей на медицинских снимках, оценка достоверности имеет неоценимое значение. Обнаружение с уверенностью 99 % может быть немедленно помечено для проверки радиологом. Обнаружение с достоверностью 60 % может быть помечено как "неоднозначное" или "требующее дополнительного изучения", что гарантирует, что неопределенные случаи будут рассмотрены человеком, не перегружая экспертов ложными тревогами. FDA предоставляет руководство по ИИ/МЛ в медицинских устройствах.

Уверенность по сравнению с другими показателями

Важно не путать показатель достоверности отдельного предсказания с общими показателями оценки модели. Хотя они и связаны между собой, они измеряют разные аспекты производительности:

• Точность: Измеряет общий процент правильных предсказаний по всему набору данных. Она дает общее представление о производительности модели, но не отражает достоверность отдельных предсказаний. Модель может иметь высокую точность, но при этом делать некоторые предсказания с низкой степенью уверенности.
• Точность: Указывает на долю положительных прогнозов, которые оказались верными. Высокая точность означает меньшее количество ложных срабатываний. Уверенность отражает веру модели в свои предсказания, которая может совпадать или не совпадать с правильностью.
• Recall (чувствительность): Измеряет долю реальных положительных случаев, которые модель определила правильно. Высокий показатель recall означает меньшее количество пропущенных обнаружений. Уверенность не имеет прямого отношения к количеству найденных положительных результатов.
• F1-Score: Среднее гармоническое значение Precision и Recall, представляющее собой единую метрику, которая уравновешивает оба показателя. Уверенность остается показателем уровня предсказания, а не совокупной мерой эффективности модели.
• Средняя точность (mAP): Общая метрика для обнаружения объектов, которая суммирует кривую "точность-отзыв" для различных порогов уверенности и классов. Хотя при расчете mAP используются пороги уверенности, сам показатель уверенности применяется к каждому отдельному обнаружению.
• Калибровка: Относится к тому, насколько хорошо доверительные оценки соответствуют фактической вероятности правильности. Предсказания хорошо откалиброванной модели с доверительной вероятностью 80 % должны быть верными примерно в 80 % случаев. Показатели уверенности современных нейронных сетей не всегда хорошо откалиброваны, что обсуждается в исследованиях по калибровке моделей.

Таким образом, уверенность - это ценный показатель для оценки уверенности отдельных прогнозов ИИ, позволяющий лучше фильтровать, расставлять приоритеты и принимать решения в реальных приложениях. Он дополняет, но отличается от метрик, оценивающих общую производительность модели, например тех, которые можно отслеживать и анализировать с помощью таких инструментов, как Ultralytics HUB.