Достоверность

В сфере машинного обучения и искусственного В сфере машинного обучения и искусственного интеллекта доверительный балл - это числовое значение, отражающее вероятность того, что конкретное предсказание, сделанное моделью, является правильным. Обычно выражается в виде вероятности от 0 до 1 (или в процентах от 0% до 100%). это количественная оценка уверенности нейронной сети в отношении ее выходных данных. Например, Например, в задаче обнаружения объектов система может предсказать присутствие "кошки" с доверительной вероятностью 0,95, что указывает на сильную уверенность в точности этой метки. Эти оценки обычно получаются на последнем слое модели с помощью функции активации, такие как функция softmax для многоклассовых задач или сигмоидная функция для бинарной классификации.

Роль уверенности в выводах

Оценки доверия являются основополагающим компонентом рабочего процесса механизма вывода. Они позволяют разработчикам фильтровать предсказания на основе требуемого уровня уверенности, что называется пороговым значением. Установив определенный порог уверенности, вы можете эффективно управлять компромиссом между идентификацией всех возможных объектов (высокий отзыв) и гарантией того, что идентифицированные объекты являются правильными (высокая точность).

При практическом развертывании модели необработанные прогнозы часто содержат шум или маловероятные обнаружения. Такие методы, как немаксимальное подавление (NMS) используют баллы доверия для устранения избыточных перекрывающихся блоков, оставляя только обнаружение с наибольшей вероятностью. Это гарантирует, что конечный результат, представленный пользователю, будет чистым и пригодным к действию.

В следующем примере показано, как применить порог доверия во время вывода с помощью Ultralytics YOLO11:

from ultralytics import YOLO

# Load a pretrained YOLO11 model
model = YOLO("yolo11n.pt")

# Run inference on an image with a confidence threshold of 0.6 (60%)
# This filters out any detections with a confidence score lower than 0.6
results = model.predict("https://ultralytics.com/images/bus.jpg", conf=0.6)

# Display the count of objects detected above the threshold
print(f"Detected {len(results[0].boxes)} objects with high confidence.")

Применение в реальном мире

Полезность оценок доверия распространяется практически на все отрасли, в которых применяются компьютерного зрения и ИИ.

• Автономные системы: При разработке автономных транспортных средств безопасность имеет первостепенное значение. Системы восприятия используют баллы доверия для объединения данных с камер и LiDAR. Если модель видения обнаруживает препятствие с низкой степенью достоверности, система может сопоставить ее с данными радара, прежде чем включить экстренное торможение. Этот многоуровневый подход, крайне важный для ИИ в автомобилестроении, помогает предотвратить опасные фантомные торможения, вызванные ложных срабатываний.
• Медицинская диагностика: На сайте Анализ медицинских изображений, инструменты искусственного интеллекта помогают врачам, отмечая потенциальные аномалии на рентгеновских или магнитно-резонансных снимках. Система, разработанная для ИИ в здравоохранении, может автоматически отбирать случаи на основе на основе достоверности. Обнаруженные патологии с высокой степенью достоверности становятся приоритетными для немедленного рассмотрения радиологом, в то время как области с низкой степенью достоверности могут быть выделены просто для "повторного осмотра", чтобы ИИ выступал в роли вспомогательного помощника, а не принимал окончательные решения. а не для принятия окончательных решений.

Уверенность в сравнении с точностью и прецизионностью

Для практиков очень важно отличать "уверенность" от стандартных метрики оценки, используемые для сравнения моделей.

• Уверенность по сравнению с точностью: Точность измеряет общую корректность модели по всему набору данных (например, "Модель точна на 90 %"). В отличие от этого, уверенность - это (например, "Я на 90 % уверен, что это конкретное изображение - собака"). Модель может быть в целом точной, но при этом выдавать низкую уверенность на сложных примерах.
• Доверие по сравнению с точностью: Точность рассчитывает процент положительных предсказаний, которые на самом деле оказались верными. Хотя это и связано, высокий показатель уверенности не гарантирует высокой точности, если модель страдает от чрезмерной подгонки или плохо калибровка.
• Калибровка: Модель считается "хорошо откалиброванной", если ее доверительные оценки отражают истинную вероятность правильности. Например, среди всех предсказаний, сделанных с доверительной вероятностью 0,8, около 80 % должны быть реальными положительными совпадениями.

Повышение уверенности модели

Если модель постоянно дает низкий уровень уверенности для достоверных объектов, это может указывать на проблемы с обучающими данными. Стратегии, позволяющие улучшить ситуацию, включают расширение данных, чтобы подвергнуть модель более разнообразного освещения и ориентации, или использование активного обучения для аннотирования и переобучения на конкретных "крайних случаях", в которых модель в настоящее время не уверена. Обеспечение разнообразных и высококачественных наборов данных является очень важно для создания надежных систем, которым могут доверять пользователи.