Matriz de Confusión

Una matriz de confusión es una completa herramienta de medición del rendimiento utilizada en aprendizaje automático (AM) para evaluar la precisión de un modelo de clasificación. A diferencia de una simple puntuación de precisión que sólo indica el porcentaje de predicciones correctas, una matriz de confusión proporciona un desglose granular de cómo el modelo clasifica cada clase. Visualiza la discrepancia entre las etiquetas predichas y la verdad real. y la realidad, lo que permite a los desarrolladores determinar con exactitud dónde un modelo está "confundido" o comete errores sistemáticos. Este nivel de detalle de nivel de detalle es vital para perfeccionar complejos de visión por ordenador (VC ), como los construidos con Ultralytics YOLO11.

Componentes básicos de la matriz

Una matriz de confusión desglosa las predicciones de un clasificador en cuatro categorías distintas, normalmente dispuestas en una cuadrícula. Estos componentes ayudan a identificar si un modelo adolece de tipos específicos de error, como por ejemplo "falsas alarmas" o "blancos perdidos":

• Verdaderos positivos (TP): El modelo predice correctamente la clase positiva. Por ejemplo, en detección de objetos, el modelo identifica correctamente a un peatón que cruza la calle.
• Verdaderos negativos (TN): El modelo predice correctamente la clase negativa. En un sistema de detección de defectos para IA en fabricación, esto ocurre cuando el modelo identifica correctamente una pieza funcional como no defectuosa.
• Falsos positivos (FP): El modelo predice incorrectamente la clase positiva. A menudo se denomina error de tipo I. Un ejemplo es una cámara de seguridad que señala como intruso la rama de un árbol que se balancea.
• Falsos negativos (FN): El modelo predice incorrectamente la clase negativa. Esto se conoce como error de tipo II. Esto ocurriría si una herramienta de diagnóstico médico no detect un tumor que en realidad está presente.

Importancia en la evaluación de modelos

Aunque las métricas generales son útiles para obtener una visión general de alto nivel, la matriz de confusión es esencial cuando se trata de conjuntos de datos desequilibrados. conjuntos de datos desequilibrados. Si un conjunto de datos contiene 95 gatos y 5 perros, un modelo que se limite a adivinar "gato" cada vez alcanza una precisión del 95%, pero es inútil para encontrar perros. pero es inútil para encontrar perros. La matriz de confusión revelaría inmediatamente este fallo al mostrar cero verdaderos positivos para la clase "perro".

Este desglose sirve de base para calcular otras métricas de rendimiento críticas. métricas de rendimiento. Analizando la matriz, los ingenieros pueden

• Precisión: La exactitud de las predicciones positivas (TP / (TP + FP)).
• Recuperar (Sensibilidad): La capacidad de capturar todos los casos positivos reales (TP / (TP + FN)).
• Puntuación F1: Media armónica de precisión y recuperación, que ofrece una visión equilibrada de la solidez del modelo.

Aplicaciones en el mundo real

La importancia de la matriz de confusión varía en función de la aplicación específica y del "coste" de diferentes errores.

• Diagnóstico médico: En AI en sanidad, el coste de un falso negativo es extremadamente alto. Si se diseña un modelo para detect neumonía a partir de radiografías, omitir un caso positivo (FN) podría retrasar un tratamiento que podría salvar vidas. retrasar un tratamiento que puede salvar vidas. Por lo tanto, los desarrolladores analizan la matriz de confusión para maximizar la recuperación, asegurándose de que incluso los signos más sutiles de la enfermedad se señalen a los humanos. sutiles de la enfermedad se marquen para su revisión humana. Puede leer más sobre evaluación en imagen médica para comprender apuestas.
• Detección de fraudes: En los sistemas financieros, un falso positivo (marcar una transacción legítima como fraude) puede molestar a los clientes y bloquear el acceso a los fondos. Sin embargo, un Falso Negativo (permitir un fraude real) causa pérdidas financieras directas. Mediante el uso de una matriz de confusión, los científicos de datos pueden ajustar el umbral de confianza para encontrar el equilibrio óptimo. umbral de confianza para encontrar el equilibrio óptimo, equilibrando la seguridad con la experiencia del usuario.
• Vehículos autónomos: Para vehículos autónomos, distinguir entre un objeto objeto inmóvil y un peatón en movimiento. Una matriz de confusión ayuda a los ingenieros a saber si el sistema confunde con frecuencia clases específicas, como confundir una farola con una persona, lo que permite para corregir el comportamiento.

Análisis de resultados con código

En ultralytics calcula y guarda automáticamente matrices de confusión durante el proceso de validación. validación. Esto permite a los usuarios visualizar el rendimiento en todas las clases de su conjunto de datos.

from ultralytics import YOLO

# Load the YOLO11 model
model = YOLO("yolo11n.pt")

# Validate the model on a dataset like COCO8
# This generates the confusion matrix in the 'runs/detect/val' directory
results = model.val(data="coco8.yaml")

# You can also programmatically access the matrix data
print(results.confusion_matrix.matrix)

Comparación con términos afines

Es importante distinguir la matriz de confusión de las métricas derivadas. Mientras que Accuracy, Precisión y Recall son resúmenes de un solo número, la matriz de confusión es la fuente de datos brutos a partir de la cual se calculan esas cifras. Proporciona la "imagen completa" en lugar de una instantánea. Además, en detección de objetos, la matriz suele interactuar con Intersección sobre Unión (IoU) para determinar qué se considera un Verdadero Positivo, lo que añade otro nivel de profundidad a la evaluación en tareas de visión por ordenador. tareas de visión por ordenador.