Precisión

La precisión es uno de los parámetros fundamentales para evaluar el rendimiento de un modelo de clasificación. En representa la proporción de predicciones correctas realizadas por el sistema sobre el número total de predicciones procesadas. En el panorama más amplio del aprendizaje automático (AM), la precisión suele ser la primera En el panorama más amplio del aprendizaje automático (AM), la precisión suele ser la primera cifra que revisan los desarrolladores para evaluar si un modelo está aprendiendo de forma eficaz o simplemente adivinando. Aunque proporciona una instantánea rápida de la eficacia, a menudo se utiliza junto con otras métricas de evaluación para la comprensión global del comportamiento del modelo, sobre todo cuando se trata de distinguir entre clases en conjuntos de datos complejos.

Pertinencia y cálculo

El cálculo de la precisión es sencillo, lo que lo hace muy accesible para las partes interesadas, desde científicos de datos hasta ejecutivos de empresas. científicos de datos hasta ejecutivos de empresas. Se define matemáticamente como el número de verdaderos positivos y verdaderos negativos dividido por el número total de casos. En tareas de aprendizaje supervisado, esta métrica indica la frecuencia con la que el algoritmo se alinea con la verdad básica proporcionada en los datos de entrenamiento. Sin embargo, una alta precisión no siempre su fiabilidad depende en gran medida de la distribución de los datos subyacentes.

Aplicaciones en el mundo real

La precisión desempeña un papel fundamental en diversos sectores en los que la toma de decisiones automatizada ayuda a los expertos humanos.

• Diagnóstico médico: En el campo del análisis de imágenes médicas, la precisión es fundamental para identificar afecciones como tumores o fracturas. Un modelo de alta precisión reduce la probabilidad de un diagnóstico erróneo, actuando como una segunda opinión fiable para los radiólogos. Por ejemplo, la IA en sanidad se basa en una clasificación para clasificar a los pacientes de forma eficaz, garantizando que aquellos con enfermedades críticas reciban atención inmediata.
• Fabricación automatizada: En fabricación inteligente, los sistemas de utilizan la visión por ordenador para detectar detect los defectos de los productos en las líneas de montaje. Un sistema de alta precisión garantiza que los artículos defectuosos se retiren mientras que productos válidos, lo que influye directamente en la eficiencia de la cadena de suministro y la reducción de residuos.

Medición de la precisión con Ultralytics

Al desarrollar modelos con el ultralytics la evaluación de la precisión forma parte del flujo de trabajo de validación. flujo de trabajo de validación. El siguiente ejemplo muestra cómo cargar un paquete YOLO11 modelo de clasificación y validarlo para obtener métricas de precisión.

from ultralytics import YOLO

# Load a pretrained YOLO11 classification model
model = YOLO("yolo11n-cls.pt")

# Validate the model on the MNIST160 dataset
# The function returns a metrics object containing top1 and top5 accuracy
metrics = model.val(data="mnist160")

# Display the Top-1 accuracy (percentage of times the top prediction was correct)
print(f"Top-1 Accuracy: {metrics.top1:.2f}")

Limitaciones y paradoja de la precisión

Aunque intuitiva, la precisión puede ser engañosa cuando se trata de un conjunto de datos desequilibrado. un conjunto de datos desequilibrado. Este fenómeno se conoce como la paradoja de la precisión. Por ejemplo, en un escenario de detección de fraudes en el que sólo el 1% de las de las transacciones son fraudulentas, un modelo que se limite a predecir "legítimo" para cada transacción alcanzará una precisión del 99%. 99% de precisión. Sin embargo, fracasaría completamente en su tarea principal de detectar el fraude. En estos casos, el modelo muestra una alta precisión, pero un poder predictivo nulo para la clase minoritaria.

Para ello, los profesionales emplean de datos para equilibrar las clases o diferentes métricas que diseccionan los tipos de errores que se cometen.

Diferenciar conceptos relacionados

Para comprender plenamente el rendimiento de un modelo, hay que distinguir la precisión de los términos relacionados:

• Laprecisión: Mide la calidad de las predicciones positivas. A diferencia de la exactitud, la precisión ignora las predicciones negativas correctas para centrarse en cuántos casos positivos identificados fueron realmente positivos. Es crucial cuando las falsas alarmas (falsos positivos) son costosas.
• Recuerdo: También conocida como sensibilidad, la recuperación mide la cantidad de casos positivos que el modelo ha conseguido encontrar. Una recuperación alta es necesaria cuando omitir un caso positivo (falso negativo).
• Puntuación F1: Es la media armónica de precisión y recuperación. Proporciona una visión equilibrada, especialmente útil cuando es necesario comparar modelos en distribuciones de datos desiguales en las que la precisión puede estar sesgada. distribuciones de datos desiguales en las que la precisión puede estar sesgada.
• Precisión media (mAP): Mientras que la precisión se aplica en general a la clasificación, la mAP es la métrica estándar para la detección de objetos. Tiene en cuenta tanto la clasificación correcta y la localización precisa de cajas delimitadoras.

Mejora de la precisión del modelo

Mejorar la precisión implica un proceso iterativo de experimentación. Los desarrolladores suelen utilizar ajuste de hiperparámetros para ajustar aprendizaje y el tamaño de los lotes para una convergencia óptima. Además, el empleo de arquitecturas avanzadas como Transformers o las últimas iteraciones de Ultralytics YOLO pueden reportar beneficios significativos. Por último, garantizar que el conjunto de datos de formación sea limpio y diverso mediante el aprendizaje activo ayuda a que el modelo generalice mejor. aprendizaje activo ayuda al modelo a generalizar mejor a los datos no vistos del mundo real.