Confianza

Cómo se determina la confianza

Las puntuaciones de confianza suelen derivarse de la capa de salida de una red neuronal (NN). En las tareas de clasificación, esto suele implicar aplicar una función de activación como Softmax o Sigmoid a las salidas brutas (logits) para producir valores similares a la probabilidad para cada clase. En los modelos de detección de objetos como YOLO, la puntuación de confianza podría combinar la probabilidad de que un objeto esté presente en un cuadro delimitador propuesto (a menudo denominada "puntuación de objetualidad") y la probabilidad de que ese objeto pertenezca a una clase específica, condicionada a que un objeto esté presente. Es un resultado clave utilizado durante el proceso de inferencia para evaluar la validez de las detecciones. Esta puntuación se calcula a partir de las ponderaciones del modelo aprendidas de conjuntos de datos como COCO.

El umbral de confianza

En la práctica, no todas las predicciones de un modelo son igual de útiles o fiables. Las predicciones con puntuaciones de confianza muy bajas suelen representar ruido de fondo o clasificaciones inciertas. Para filtrarlas, se suele aplicar un "umbral de confianza". Se trata de un valor definido por el usuario (por ejemplo, 0,5 o 50%); sólo las predicciones con una puntuación de confianza superior a este umbral se consideran salidas válidas. Establecer un umbral adecuado es vital y a menudo depende de la aplicación específica:

• Escenarios de alta recuperación: En aplicaciones como el análisis de imágenes médicas para el cribado, puede utilizarse inicialmente un umbral más bajo para minimizar la posibilidad de pasar por alto posibles hallazgos (alta recuperación), aunque ello implique más falsos positivos que requieran una revisión humana. La IA en la atención sanitaria a menudo implica un cuidadoso ajuste del umbral.
• Escenarios de alta precisión: En aplicaciones como la conducción autónoma o el control de calidad de la IA en la fabricación, se prefiere un umbral más alto para garantizar que las acciones sólo se tomen basándose en predicciones muy seguras (alta precisión), reduciendo el riesgo de errores. La investigación sobre la seguridad de la IA hace hincapié en una toma de decisiones robusta.

El umbral de confianza suele funcionar junto con técnicas como la Supresión No Máxima (NMS) para refinar el conjunto final de detecciones eliminando los cuadros delimitadores superpuestos del mismo objeto. Puedes configurar fácilmente este umbral cuando utilices modelos de Ultralytics mediante la interfaz de línea de comandos (CLI) o la API dePython . Encontrar el umbral óptimo puede implicar el ajuste de hiperparámetros.

Aplicaciones en el mundo real

Las puntuaciones de confianza son fundamentales para desplegar modelos de IA de forma responsable y eficaz:

1. Apoyo al diagnóstico médico: En los sistemas que analizan exploraciones médicas (como radiografías o resonancias magnéticas) en busca de posibles anomalías(como la detección de tumores), la puntuación de confianza ayuda a priorizar los casos. Una predicción con un nivel de confianza bajo puede indicar un hallazgo ambiguo que requiera un examen más detallado por parte de un radiólogo, mientras que las predicciones con un nivel de confianza alto pueden agilizar el proceso de revisión. La investigación en Inteligencia Artificial en Radiología habla a menudo de los niveles de confianza.
2. Sistemas autónomos: Para los coches autónomos o la robótica, las puntuaciones de confianza son fundamentales para la seguridad. La detección de un peatón o de otro vehículo(más información sobre el enfoque de Waymo) debe alcanzar un umbral de confianza alto antes de que el sistema inicie una acción como frenar o desviarse. Las detecciones de baja confianza pueden ignorarse o activar alertas menos críticas. Esto garantiza que el sistema actúe con decisión sólo cuando esté seguro.

Confianza frente a otras métricas

Es importante no confundir la puntuación de confianza de una predicción individual con las métricas generales de evaluación del modelo. Aunque están relacionadas, miden aspectos diferentes del rendimiento:

• Precisión: Mide el porcentaje global de predicciones correctas en todo el conjunto de datos. Proporciona una idea general del rendimiento del modelo, pero no refleja la certeza de las predicciones individuales. Un modelo puede tener una gran precisión pero hacer algunas predicciones con poca confianza.
• Precisión: Indica la proporción de predicciones positivas que fueron realmente correctas (Verdaderos positivos / (Verdaderos positivos + Falsos positivos)). Una precisión alta significa menos falsas alarmas. La confianza refleja la creencia del modelo en su predicción, que puede coincidir o no con la exactitud.
• Recuperar (Sensibilidad): Mide la proporción de casos positivos reales que el modelo identificó correctamente (Verdaderos positivos / (Verdaderos positivos + Falsos negativos)). Una recuperación alta significa menos detecciones fallidas. La confianza no está directamente relacionada con cuántos positivos reales se encontraron.
• Puntuación F1: La media armónica de Precisión y Recuperación, proporcionando una única métrica que equilibra ambas. La Confianza sigue siendo una puntuación a nivel de predicción.
• Precisión media (mAP): Una métrica habitual en la detección de objetos que resume la curva precisión-recuerdo a través de diferentes umbrales de confianza y clases. Mientras que el cálculo de la mAP implica umbrales de confianza, la puntuación de confianza en sí se aplica a cada detección individual.
• Calibración: Se refiere a lo bien que se alinean las puntuaciones de confianza con la probabilidad real de acierto. Las predicciones de un modelo bien calibrado con un 80% de confianza deberían ser correctas aproximadamente el 80% de las veces. Las puntuaciones de confianza de los modelos no siempre están intrínsecamente bien calibradas(véase la investigación sobre calibración).

En resumen, la confianza es un resultado valioso para evaluar la certeza de las predicciones individuales de la IA, permitiendo un mejor filtrado, priorización y toma de decisiones en las aplicaciones del mundo real. Complementa, pero es distinta, de las métricas que evalúan el rendimiento general de un modelo, como las que se rastrean en Ultralytics HUB.