Confusion Matrix

Матрица ошибок — это инструмент измерения производительности для задач классификации в машинном обучении, где вывод может включать два или более классов. Это таблица с четырьмя различными комбинациями предсказанных и фактических значений, служащая фундаментальным элементом для визуализации данных при оценке моделей. В отличие от простой точности (accuracy), которая может вводить в заблуждение, если набор данных несбалансирован, матрица ошибок обеспечивает детальную разбивку того, где именно модель компьютерного зрения (CV) совершает ошибки. Сравнивая прогнозы с метками наземной истины, ты можешь определить, путает ли система два конкретных класса или вовсе не обнаруживает объект.

Link to this sectionОсновные компоненты матрицы#

Сама матрица обычно делится на четыре квадранта для бинарной классификации, хотя она расширяется для задач с несколькими классами, подобными тем, что обрабатываются в Ultralytics YOLO26. Эти четыре компонента представляют пересечение того, что предсказала модель, и того, что фактически существует на изображении.

• Истинно положительные (TP): Модель правильно предсказывает положительный класс. Например, в задаче обнаружения объектов модель успешно рисует ограничивающую рамку вокруг человека, который действительно находится в кадре.
• Истинно отрицательные (TN): Модель правильно предсказывает отрицательный класс. Это критически важно в таких сценариях, как обнаружение аномалий, где система правильно определяет, что у произведенной детали нет дефектов.
• Ложноположительные (FP): Модель неверно предсказывает положительный класс. Часто называемая "ошибкой I рода", она возникает, когда система обнаруживает объект, которого нет, например, когда камера безопасности принимает тень за злоумышленника.
• Ложноотрицательные (FN): Модель неверно предсказывает отрицательный класс. Известная как "ошибка II рода", она возникает, когда модель не обнаруживает присутствующий объект, по сути "пропуская" цель.

Link to this sectionПроизводные метрики и значимость#

Необработанные числа в матрице ошибок используются для расчета более продвинутых метрик, описывающих производительность модели. Понимание этих производных необходимо для оптимизации нейронных сетей.

• Точность (Precision): Рассчитывается как TP / (TP + FP) и показывает, насколько точны положительные предсказания. Высокая точность означает меньше ложных срабатываний.
• Полнота (Recall/Sensitivity): Рассчитывается как TP / (TP + FN) и измеряет способность модели находить все положительные экземпляры. Высокая полнота жизненно важна, когда пропуск объекта влечет за собой серьезные последствия.
• F1-мера: Гармоническое среднее точности и полноты. Она дает единую оценку, которая балансирует компромисс между ними, что полезно для сравнения различных моделей YOLO26.

Link to this sectionРеальные приложения#

Конкретная стоимость ошибок, определенных матрицей ошибок, диктует то, как модели настраиваются для различных отраслей.

В области ИИ в здравоохранении матрица ошибок — это вопрос безопасности. При обучении модели для анализа медицинских изображений с целью обнаружения опухолей, ложноотрицательный результат (пропуск опухоли) гораздо хуже, чем ложноположительный (отметка доброкачественного пятна для проверки врачом). Поэтому инженеры отдают приоритет полноте (Recall) перед точностью (Precision) в таких матрицах, чтобы убедиться, что ни один потенциальный риск для здоровья не будет упущен.

Напротив, в контроле качества производства ключевым фактором является эффективность. Если система, классифицирующая детали на сборочной линии, генерирует слишком много ложноположительных результатов (отмечая хорошие детали как дефектные), это вызывает ненужные отходы и замедляет производство. Здесь матрица ошибок помогает инженерам настроить модель для максимизации точности (Precision), гарантируя, что отклоненная продукция действительно является дефектной, что упрощает рабочие процессы автоматизированного машинного обучения.

Link to this sectionСоздание матрицы ошибок с помощью YOLO26#

При использовании современных фреймворков создание этой матрицы часто является частью стандартного конвейера валидации. Приведенный ниже пример демонстрирует, как провести валидацию модели YOLO26 и получить доступ к данным матрицы ошибок с помощью пакета ultralytics.

from ultralytics import YOLO

# Load a pre-trained YOLO26 model
model = YOLO("yolo26n.pt")

# Validate the model on the COCO8 dataset
# This automatically generates and plots the confusion matrix
metrics = model.val(data="coco8.yaml")

# Access the confusion matrix object directly
print(metrics.confusion_matrix.matrix)

Link to this sectionРазграничение связанных понятий#

Важно отличать матрицу ошибок от похожих терминов оценки.

• Против точности (Accuracy): Точность — это просто отношение правильных прогнозов к общему количеству прогнозов. Хотя она полезна, точность может быть весьма обманчива в несбалансированных наборах данных. Например, если 95% электронных писем не являются спамом, модель, которая предсказывает "не спам" для каждого письма, имеет точность 95%, но она бесполезна. Матрица ошибок выявляет этот изъян, показывая ноль истинно положительных результатов для класса спама.
• Против ROC-кривой: Матрица ошибок дает снимок производительности при одном конкретном пороге уверенности. Напротив, ROC-кривая визуализирует, как доля истинно положительных и доля ложноположительных результатов изменяются при варьировании этого порога. Инструменты, такие как платформа Ultralytics, позволяют пользователям изучать обе визуализации, чтобы выбрать оптимальную рабочую точку для своего развертывания.