Puntuación F1

La puntuación F1 es una métrica de rendimiento crítica en aprendizaje automático (AM) que se utiliza para precisión de los modelos de clasificación. A diferencia de la precisión simple, que calcula el porcentaje de predicciones correctas, la puntuación F1 combina otras dos métricas vitales: la precisión y la exactitud. F1-Score combina otras dos métricas vitales -Precisión y enun único valor. Se define como la media armónica de precisión y recuperación. Esto hace que especialmente útil para evaluar modelos entrenados en conjuntos de datos conjuntos de datos desequilibrados, en los que el número de muestras de una clase es muy superior al de las demás. En estos casos, un modelo puede alcanzar En estos casos, un modelo puede lograr una gran precisión simplemente prediciendo la clase mayoritaria, pero no identificar la clase minoritaria, que suele ser de mayor interés. mayor interés.

El equilibrio entre precisión y recuperación

Para entender la puntuación F1, es necesario comprender la tensión entre sus componentes. La precisión mide la calidad de las predicciones positivas (minimizando los falsos positivos), mientras que Recall mide la cantidad de verdaderos positivos identificados (minimizando los falsos negativos). A menudo, el aumento de una de estas métricas se traduce en una disminución de la otra, un fenómeno conocido como precisión-recuerdo. La puntuación F1 ofrece una visión equilibrada al penalizar los valores extremos. Alcanza su mejor valor en 1 (precisión (precisión y recuperación perfectas) y el peor en 0. Este equilibrio es esencial para desarrollar sistemas de modelos predictivos robustos en los que como las falsas alarmas conllevan costes significativos.

Aplicaciones en el mundo real

La puntuación F1 es indispensable en situaciones en las que el coste del error es elevado o la distribución de los datos está sesgada.

• Análisis de imágenes médicas: En sanidad, el diagnóstico de enfermedades como los tumores requiere una alta sensibilidad. Un falso negativo (no detectar un tumor) es peligroso, mientras que un falso positivo (identificar tejido sano como un tumor) provoca un estrés innecesario. Soluciones que aprovechan la IA en la atención sanitaria se basan en la F1-Score para garantizar que el modelo mantiene un equilibrio seguro, detectando tantos casos verdaderos como sea posible sin abrumar a los médicos con falsas alarmas. a los médicos con falsas alarmas.
• Detección de anomalías en las finanzas: Las instituciones financieras utilizan la IA para detect transacciones fraudulentas. Dado que el fraude real es poco frecuente en comparación con las legítimas, un modelo podría tener una precisión del 99,9% etiquetando todo como legítimo. Sin embargo, esto sería inútil para detectar el fraude. Optimizando la puntuación F1, la IA en los sistemas pueden detectar eficazmente las actividades sospechosas y minimizar los trastornos causados por el bloqueo de tarjetas válidas.

Puntuación F1 en Ultralytics YOLO11

En tareas de visión por ordenador (CV ) como detección de objetos, la puntuación F1 ayuda a determinar un modelo define los límites y clasifica los objetos con umbrales de confianza específicos. Cuando se entrenan modelos como Ultralytics YOLO11el proceso de validación calcula precisión, recuperación y puntuaciones F1 para ayudar a los ingenieros a seleccionar las mejores ponderaciones del modelo.

El siguiente código Python demuestra cómo validar un modelo YOLO11 preentrenado y acceder a las métricas de rendimiento.

from ultralytics import YOLO

# Load a pretrained YOLO11 model
model = YOLO("yolo11n.pt")

# Run validation on a dataset like COCO8
# The .val() method computes metrics including Precision, Recall, and mAP
metrics = model.val(data="coco8.yaml")

# Print the mean results
# While F1 is computed internally for curves, mAP is the primary summary metric
print(f"Mean Average Precision (mAP50-95): {metrics.box.map}")
print(f"Precision: {metrics.box.mp}")
print(f"Recall: {metrics.box.mr}")

Distinguir la puntuación F1 de las métricas relacionadas

La selección de la métrica adecuada depende de los objetivos específicos del proyecto de IA.

• Precisión: Mide la exactitud global de las predicciones. Se utiliza mejor cuando las distribuciones de clases son aproximadamente iguales. En cambio, la puntuación F1 es la métrica preferida para distribuciones de clases desiguales.
• Precisión mediamAP): Mientras que la puntuación F1 suele calcularse con un umbral de confianza umbral de confianza, mAP evalúa la precisión mAP es el estándar para comparar modelos de detección de objetos, mientras que F1 es útil para optimizar un punto de funcionamiento específico. es útil para optimizar un punto de funcionamiento específico.
• Área bajo la curva (AUC): El AUC representa el área bajo la curva ROC (Receiver Operating Characteristic). El AUC mide la capacidad de un clasificador para distinguir entre clases en todos los umbrales, mientras que la puntuación F1 se centra específicamente en el rendimiento de la clase positiva en un único umbral.

Mejora de la puntuación F1 del modelo

La mejora de la puntuación F1 suele implicar mejoras iterativas del modelo y los datos.

• Ajuste de hiperparámetros: Ajustar parámetros como la tasa de aprendizaje el tamaño del lote o las funciones de pérdida pueden converger en una solución que equilibre la precisión y la recuperación de forma más eficaz.
• Aumento de datos: Técnicas como invertir, escalar o añadir ruido a los datos de datos de entrenamiento exponen el modelo a ejemplos ejemplos más variados, mejorando su capacidad de generalizar e identificar correctamente los casos positivos difíciles.
• Transferencia de aprendizaje: Empezar con un modelo preentrenado en un conjunto de datos amplio y diverso permite a la red aprovechar los extractores de características aprendidos. aprendidas, lo que suele dar lugar a puntuaciones F1 más altas en tareas especializadas con datos limitados.