Receiver Operating Characteristic (ROC) Curve

La curva característica operativa del receptor (ROC) es una herramienta gráfica fundamental que se utiliza para evaluar el rendimiento de los modelos de clasificación binaria. En el ámbito del aprendizaje automático (ML), visualiza el equilibrio entre la sensibilidad y la especificidad de un modelo en todos los umbrales de decisión posibles. A diferencia de las métricas de valor único, como la exactitud, que pueden inducir a error si un conjunto de datos está desbalanceado, la curva ROC ofrece una visión completa de cómo se comporta un clasificador a medida que el criterio para identificar instancias positivas se vuelve más o menos estricto. Esta visualización es esencial para los ingenieros que utilizan técnicas de aprendizaje supervisado con el fin de determinar el punto de funcionamiento óptimo para su caso de uso específico.

Interpretación de los ejes y los equilibrios#

Para entender una curva ROC, es necesario observar los dos parámetros representados uno frente al otro: la tasa de verdaderos positivos (TPR) y la tasa de falsos positivos (FPR).

• Tasa de verdaderos positivos (TPR): Esta métrica, que a menudo se denomina exhaustividad o sensibilidad, mide en el eje y la proporción de observaciones positivas reales que el modelo ha identificado correctamente. Un TPR alto significa que el sistema rara vez omite un objetivo.
• Tasa de falsos positivos (FPR): Representada en el eje x, indica la proporción de instancias negativas que se clasifican incorrectamente como positivas, lo que también se conoce como «falsa alarma».

La curva ilustra una relación dinámica: cuando reduces el umbral de confianza para capturar más casos positivos (aumentando el TPR), inevitablemente aumentas el riesgo de marcar incorrectamente casos negativos (aumentando el FPR). Un clasificador perfecto alcanzaría la esquina superior izquierda del gráfico, lo que indicaría una sensibilidad del 100 % y un 0 % de falsas alarmas. Un modelo que realizara predicciones aleatorias aparecería como una línea diagonal desde la esquina inferior izquierda hasta la superior derecha. El rendimiento general suele resumirse mediante el área bajo la curva (AUC), donde un valor de 1,0 representa la perfección.

Aplicaciones en el mundo real#

La decisión de dónde establecer el umbral en una curva ROC depende por completo del coste de los errores en una aplicación industrial específica.

1. Diagnóstico médico: En la IA en sanidad, concretamente en tareas como la detección de tumores en el análisis de imágenes médicas, el coste de no detectar un caso positivo (un falso negativo) puede poner en peligro la vida. Por ello, los profesionales suelen elegir un umbral que maximice el TPR, aunque esto dé lugar a un FPR más alto, lo que significa que inicialmente se podría señalar a más pacientes sanos para realizarles pruebas adicionales.

2. Detección de fraude financiero: Cuando se utiliza la IA en finanzas para supervisar transacciones con tarjetas de crédito, los bancos deben equilibrar la seguridad y la experiencia del cliente. Si el sistema es demasiado sensible (TPR alto), podría bloquear tarjetas legítimas (FPR alto), lo que frustraría a los usuarios. Los analistas utilizan la curva ROC para encontrar un umbral equilibrado que detecte la mayoría de los fraudes y mantenga los falsos positivos en un mínimo aceptable.

Generación de probabilidades para el análisis ROC#

Para representar una curva ROC, necesitas las probabilidades de predicción sin procesar, no solo las etiquetas de clase finales. En el siguiente ejemplo se utiliza el modelo YOLO26, de última generación, para generar puntuaciones de clasificación.

from ultralytics import YOLO

# Load a pretrained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Run inference to get probability distribution
results = model("bus.jpg")

# Access the probability score for the predicted class
# These continuous scores are required to calculate TPR/FPR at different thresholds
print(f"Top Class Index: {results[0].probs.top1}")
print(f"Confidence Score: {results[0].probs.top1conf:.4f}")

Una vez recopiladas estas probabilidades para un conjunto de validación, los desarrolladores pueden utilizar bibliotecas como Scikit-learn para calcular los puntos de la curva. Para gestionar conjuntos de datos y realizar un seguimiento de estas métricas a lo largo del tiempo, la Plataforma Ultralytics ofrece herramientas integradas para la evaluación y el despliegue de modelos.

ROC frente a conceptos relacionados#

Es importante distinguir la curva ROC de otras herramientas de evaluación:

• Frente a la curva de precisión y exhaustividad (PR): Mientras que la ROC representa el TPR frente al FPR, la curva de precisión y exhaustividad representa la precisión frente a la exhaustividad. Por lo general, se prefiere la curva PR cuando el conjunto de datos está muy desbalanceado (por ejemplo, al detectar anomalías poco frecuentes), ya que la curva ROC puede ofrecer una visión excesivamente optimista en estos casos.
• Frente a la matriz de confusión: Una matriz de confusión proporciona una instantánea del rendimiento en un único umbral específico. En cambio, la curva ROC visualiza el rendimiento en todos los umbrales posibles, lo que la convierte en una herramienta más amplia para el análisis del modelado predictivo antes de establecer una regla de decisión definitiva.