Confusion Matrix

Матрица ошибок (confusion matrix) — это инструмент измерения производительности для задач классификации в машинном обучении, где выходные данные могут принадлежать к двум или более классам. Она представляет собой таблицу с четырьмя различными комбинациями предсказанных и фактических значений, служащую фундаментальным элементом для визуализации данных при оценке моделей. В отличие от простой точности (accuracy), которая может вводить в заблуждение при несбалансированном наборе данных, матрица ошибок дает детальную разбивку того, где именно модель компьютерного зрения (CV) совершает ошибки. Сравнивая прогнозы с метками истинных значений, разработчики могут определить, путает ли система два конкретных класса или вообще не справляется с обнаружением объекта.

Основные компоненты матрицы#

Сама матрица обычно делится на четыре квадранта для бинарной классификации, хотя она расширяется для задач многоклассовой классификации, подобных тем, с которыми работает Ultralytics YOLO26. Эти четыре компонента представляют собой пересечение того, что предсказала модель, и того, что фактически существует на изображении.

• Истинно положительные (TP): Модель верно прогнозирует положительный класс. Например, в задаче обнаружения объектов модель успешно рисует ограничивающую рамку (bounding box) вокруг человека, который действительно находится в кадре.
• Истинно отрицательные (TN): Модель верно прогнозирует отрицательный класс. Это крайне важно в таких сценариях, как обнаружение аномалий, где система правильно определяет, что у изготовленной детали нет дефектов.
• Ложноположительные (FP): Модель неверно прогнозирует положительный класс. Часто называемая «ошибкой первого рода», она возникает, когда система обнаруживает объект, которого там нет, например, когда камера видеонаблюдения принимает тень за злоумышленника.
• Ложноотрицательные (FN): Модель неверно прогнозирует отрицательный класс. Известная как «ошибка второго рода», она происходит, когда модель не может обнаружить присутствующий объект, по сути «пропуская» цель.

Производные метрики и значимость#

Необработанные числа в матрице ошибок используются для расчета более продвинутых метрик, описывающих производительность модели. Понимание этих производных метрик необходимо для оптимизации нейронных сетей.

• Точность (Precision): Рассчитываемая как TP / (TP + FP), эта метрика показывает, насколько точны положительные прогнозы. Высокая точность означает меньше ложных срабатываний.
• Полнота (Recall / Чувствительность): Рассчитываемая как TP / (TP + FN), она измеряет способность модели находить все положительные экземпляры. Высокая полнота жизненно важна, когда пропуск объекта имеет серьезные последствия.
• F1-мера (F1 Score): Гармоническое среднее точности и полноты. Она предоставляет единую оценку, которая балансирует компромисс между ними, что полезно для сравнения различных моделей YOLO26.

Реальные приложения#

Конкретная стоимость ошибок, определенных матрицей ошибок, диктует то, как модели настраиваются для различных отраслей.

В области ИИ в здравоохранении матрица ошибок — это вопрос безопасности. При обучении модели для анализа медицинских изображений с целью обнаружения опухолей ложноотрицательный результат (пропуск опухоли) намного хуже, чем ложноположительный (пометка доброкачественного пятна для проверки врачом). Поэтому инженеры отдают приоритет Полноте (Recall) над Точностью (Precision) в таких матрицах, чтобы гарантировать, что никакие потенциальные риски для здоровья не останутся без внимания.

И наоборот, в контроле качества на производстве эффективность имеет ключевое значение. Если система, классифицирующая детали на сборочной линии, выдает слишком много ложноположительных результатов (помечая хорошие детали как дефектные), это приводит к ненужным отходам и замедляет производство. Здесь матрица ошибок помогает инженерам настраивать модель для максимизации Точности (Precision), гарантируя, что забраковывается действительно дефектное изделие, оптимизируя рабочие процессы автоматизированного машинного обучения.

Создание матрицы ошибок (Confusion Matrix) с помощью Ultralytics YOLO26#

При использовании современных фреймворков создание этой матрицы часто является частью стандартного конвейера валидации. Пример ниже демонстрирует, как проверить модель YOLO26 и получить доступ к данным матрицы ошибок с помощью пакета ultralytics.

from ultralytics import YOLO

# Load a pre-trained YOLO26 model
model = YOLO("yolo26n.pt")

# Validate the model on the COCO8 dataset
# This automatically generates and plots the confusion matrix
metrics = model.val(data="coco8.yaml")

# Access the confusion matrix object directly
print(metrics.confusion_matrix.matrix)

Разграничение связанных понятий#

Важно отличать матрицу ошибок от похожих терминов оценки.

• По сравнению с точностью (Accuracy): Точность — это просто отношение правильных прогнозов к общему числу прогнозов. Хотя это полезно, точность может сильно вводить в заблуждение на несбалансированных наборах данных. Например, если 95% писем не являются спамом, модель, которая предсказывает «не спам» для каждого письма, имеет точность 95%, но при этом бесполезна. Матрица ошибок выявляет этот изъян, показывая нулевое значение истинно положительных результатов для класса спама.
• По сравнению с ROC-кривой: Матрица ошибок предоставляет снимок производительности при одном конкретном пороге уверенности (confidence threshold). В отличие от нее, рабочая характеристика приемника (ROC-кривая) визуализирует то, как частота истинных положительных и частота ложных положительных результатов изменяются при изменении этого порога. Такие инструменты, как платформа Ultralytics, позволяют пользователям изучать обе визуализации, чтобы выбрать оптимальную рабочую точку для своего развертывания.