Матрица ошибок

Матрица путаницы — это инструмент измерения эффективности для задач классификации в машинном обучении, где результатом может быть два или более классов. Это таблица с четырьмя различными комбинациями прогнозируемых и фактических значений, служащая основой для визуализации данных при оценке модели. В отличие от простой точности, которая может вводить в заблуждение, если набор данных несбалансирован, матрица путаницы предоставляет подробную разбивку того, где модель компьютерного зрения (CV) допускает ошибки. Сравнивая прогнозы с метки «истинного значения», разработчики могут определить, путает ли система два конкретных класса или не может detect полностью.

Основные компоненты матрицы

Сама матрица обычно делится на четыре квадранта для бинарной классификации, хотя она расширяется для многоклассовых задач, таких как те, которые обрабатываются Ultralytics . Эти четыре компонента представляют собой пересечение того, что предсказала модель, с тем, что действительно существует на изображении.

• Истинные положительные (TP): модель правильно предсказывает положительный класс. Например, в задаче обнаружения объектов модель успешно рисует ограничительную рамку вокруг человека, который действительно находится в кадре.
• Истинные отрицательные (TN): модель правильно предсказывает отрицательный класс. Это имеет решающее значение в таких сценариях, как обнаружение аномалий, когда система правильно определяет, что изготовленная деталь не имеет дефектов.
• Ложные срабатывания (FP): модель неправильно предсказывает положительный класс. Часто называемая «ошибкой I типа», она возникает, когда система обнаруживает объект, которого нет, например, когда камера безопасности сигнализирует о тени как о нарушителе.
• Ложные отрицательные результаты (FN): модель неправильно предсказывает отрицательный класс. Это явление, известное как «ошибка II типа», происходит, когда модель не может detect присутствующий detect , по сути «пропуская» цель.

Производные метрики и значимость

Исходные числа в матрице путаницы используются для расчета более сложных метрик, которые описывают производительность модели. Понимание этих производных имеет важное значение для оптимизации нейронных сетей.

• Точность: рассчитывается как TP / (TP + FP), этот показатель показывает, насколько точны положительные прогнозы. Высокая точность означает меньшее количество ложных срабатываний.
• Воспроизведение (чувствительность): рассчитывается как TP / (TP + FN) и измеряет способность модели находить все положительные экземпляры. Высокое воспроизведение жизненно важно, когда отсутствие объекта имеет серьезные последствия.
• Оценка F1: среднее гармоническое точности и воспроизведения. Обеспечивает единую оценку, которая уравновешивает компромисс между этими двумя показателями, что полезно для сравнения различных моделей YOLO26.

Применение в реальном мире

Конкретная стоимость ошибок, определяемая матрицей путаницы, диктует, как модели настраиваются для разных отраслей.

В области ИИ в здравоохраненииматрица путаницы является вопросом безопасности. При обучении модели для анализа медицинских изображений с целью detect , ложное отрицательное (пропуск опухоли) гораздо хуже, чем ложное положительное (пометка доброкачественного пятна для осмотра врачом). Поэтому инженеры отдают приоритет воспроизводимости над точностью в этих матрицах, чтобы гарантировать, что никакие потенциальные риски для здоровья не будут упущены.

И наоборот, в контроле качества производства, ключевую роль играет эффективность. Если система, классифицирующая детали на конвейере, генерирует слишком много ложных срабатываний (помечая исправные детали как дефектные), это приводит к ненужным потерям и замедлению производства. В этом случае матрица путаницы помогает инженерам настроить модель для максимальной точности, гарантируя, что отбракованные детали действительно являются дефектными, и оптимизируя автоматизированныерабочие процессы машинного обучения .

Создание матрицы путаницы с помощью YOLO26

При использовании современных фреймворков генерация этой матрицы часто является частью стандартного конвейера валидации. Пример ниже демонстрирует, как проверить Модель YOLO26 и получить доступ к данным матрицы путаницы с помощью ultralytics пакет.

from ultralytics import YOLO

# Load a pre-trained YOLO26 model
model = YOLO("yolo26n.pt")

# Validate the model on the COCO8 dataset
# This automatically generates and plots the confusion matrix
metrics = model.val(data="coco8.yaml")

# Access the confusion matrix object directly
print(metrics.confusion_matrix.matrix)

Дифференциация смежных понятий

Важно отличать матрицу путаницы от схожих терминов оценки.

• Vs. Точность: Точность — это просто отношение правильных прогнозов к общему количеству прогнозов. Хотя точность и полезна, она может быть весьма обманчивой в несбалансированных наборах данных. Например, если 95 % писем не являются спамом, модель, которая прогнозирует «не спам» для каждого письма, имеет точность 95 %, но бесполезна. Матрица путаницы показывает этот недостаток, отображая нулевое значение «Истинные положительные» для класса спама.
• Vs. Кривая ROC: Матрица путаницы дает представление о производительности при одном конкретном пороге достоверности. В отличие от этого, кривая рабочих характеристик приемника (ROC) визуализирует изменение коэффициента истинных положительных результатов и коэффициента ложных положительных результатов при изменении этого порога. Такие инструменты, как Ultralytics , позволяют пользователям изучить обе визуализации, чтобы выбрать оптимальную рабочую точку для своего развертывания.