22 de agosto de 2024
Puede supervisar el éxito de sus innovaciones de IA con los KPI y las métricas de rendimiento adecuados. Aprenda a track y optimizar el impacto de las aplicaciones de IA.
Anteriormente, hemos explorado cómo se puede utilizar la IA en diferentes industrias como la atención médica, la fabricación y el turismo. También hemos analizado cómo la IA puede mejorar las tareas laborales cotidianas y hemos hablado de las principales ideas de negocio de la IA. Todas estas discusiones conducen inevitablemente a la misma pregunta clave: ¿cómo podemos medir el éxito de tales implementaciones de IA? Es una pregunta importante porque simplemente implementar soluciones de IA no es suficiente. Asegurarse de que estas soluciones estén realmente dando resultados es lo que las hace revolucionarias.
Podemos medir las métricas de rendimiento de la IA para determinar si un modelo de IA es realmente eficaz para hacer que los procesos sean más eficientes, generar innovación o resolver problemas. Al centrarnos en los indicadores clave de rendimiento (KPI) correctos, podemos comprender qué tan bien está funcionando una solución de IA y dónde podría necesitar mejoras.
En este artículo, analizaremos cómo medir el éxito de las implementaciones de IA con los KPI más relevantes. Cubriremos las diferencias entre los KPI de negocio y los KPI de rendimiento de la IA, repasaremos métricas clave como la precisión y la exhaustividad, y le ayudaremos a elegir los mejores KPI para sus soluciones de IA específicas.
Cuando se piensa en los KPI, es natural asumir que se trata de métricas de negocio como el retorno de la inversión (ROI), el ahorro de costes o los ingresos generados, especialmente cuando se habla de IA empresarial. Estos KPI de negocio de la IA miden cómo la IA impacta en el éxito general de una empresa y se alinean con objetivos de negocio más amplios.
Sin embargo, los KPI de rendimiento de la IA se centran en el buen funcionamiento del sistema de IA en sí, utilizando métricas como la exactitud, la precisión y la exhaustividad. Entraremos en los detalles de estas métricas a continuación, pero en esencia, mientras que los KPI de negocio muestran los beneficios financieros y estratégicos de la IA, los KPI de rendimiento aseguran que un modelo de IA esté haciendo su trabajo de manera efectiva.
Ciertas métricas pueden servir para ambos propósitos. Por ejemplo, las ganancias de eficiencia, como la reducción de tiempo o recursos necesarios para completar una tarea, pueden ser tanto un KPI de rendimiento (que muestra el buen funcionamiento de la solución de IA) como un KPI de negocio (que mide el ahorro de costes y las mejoras de productividad). La satisfacción del cliente es otra métrica cruzada. Puede reflejar el éxito de una herramienta de atención al cliente impulsada por la IA tanto en términos de su rendimiento técnico como de su impacto en los objetivos generales del negocio.
Existen algunas métricas comunes que se utilizan para medir el rendimiento de un modelo de IA. Primero, veremos su definición y cómo se calculan. Luego, veremos cómo se pueden supervisar estas métricas.
La precisión es una métrica que mide la exactitud con la que un modelo de IA identifica los verdaderos positivos (casos en los que el modelo identifica correctamente un objeto o condición como se supone que debe hacerlo). Por ejemplo, en un sistema de reconocimiento facial, un verdadero positivo se produciría cuando el sistema reconoce e identifica correctamente la cara de una persona para la que ha sido entrenado. detect.
Para calcular la precisión, primero cuente el número de verdaderos positivos. A continuación, puede dividirlo por el número total de elementos que el modelo etiquetó como positivos. Este total incluye tanto las identificaciones correctas como los errores, que se denominan falsos positivos. Esencialmente, la precisión le indica con qué frecuencia el modelo es correcto cuando afirma haber reconocido algo.
Es particularmente importante en escenarios donde las consecuencias de los falsos positivos pueden ser costosas o perjudiciales. Por ejemplo, en la fabricación automatizada, una alta tasa de precisión indica que el sistema puede señalar con mayor exactitud los productos defectuosos y evitar el descarte o la reelaboración innecesarios de los artículos en buen estado. Otro buen ejemplo es la vigilancia de seguridad. Una alta precisión ayuda a minimizar las falsas alarmas y a centrarse únicamente en las amenazas genuinas que necesitan una respuesta de seguridad.
La recuperación ayuda a medir la capacidad de un modelo de IA para identificar todos los casos relevantes, o verdaderos positivos, dentro de un conjunto de datos. En pocas palabras, representa lo bien que un sistema de IA puede capturar todos los casos reales de una condición u objeto que está diseñado para detect. La recuperación puede calcularse dividiendo el número de detecciones correctas por el número total de casos positivos que deberían haberse detectado (incluye tanto los casos que el modelo identificó correctamente como los que no detectó).
Considere un sistema de imágenes médicas habilitado para la IA que se utiliza para la detección del cáncer. La exhaustividad, en este contexto, refleja el porcentaje de casos reales de cáncer que el sistema identifica correctamente. Una alta exhaustividad es vital en tales escenarios porque pasar por alto un diagnóstico de cáncer puede tener graves consecuencias para la atención del paciente.
La precisión y la exhaustividad son como las dos caras de la misma moneda cuando se trata de evaluar el rendimiento de un modelo de IA, y a menudo requieren un equilibrio. El reto es que mejorar una métrica a menudo puede ir en detrimento de la otra.
Digamos que usted impulsa una mayor precisión. El modelo puede volverse más selectivo y ser capaz de identificar solo los positivos de los que está muy seguro. Por otro lado, si usted pretende mejorar la exhaustividad, el modelo puede identificar más positivos, pero esto podría incluir más falsos positivos y terminar disminuyendo la precisión.
La clave está en encontrar el equilibrio adecuado entre precisión y exhaustividad en función de las necesidades específicas de su aplicación. Una herramienta útil para esto es la curva Precisión-Exhaustividad, que muestra la relación entre las dos métricas en diferentes umbrales. Al analizar esta curva, puede determinar el punto óptimo en el que el modelo funciona mejor para su caso de uso específico. Comprender la compensación ayuda a la hora de ajustar los modelos de IA para que funcionen de forma óptima para sus casos de uso previstos.
La Precisión Media PromediomAP) es una métrica utilizada para evaluar el rendimiento de los modelos de IA en tareas como la detección de objetos, en las que el modelo debe identificar y classifymAP proporciona una única puntuación que muestra el rendimiento del modelo en todas las categorías diferentes para las que ha sido entrenado. Veamos cómo se calcula.
El área bajo una curva Precisión-Recuperación da la Precisión MediaAP) para esa clase. La AP mide la precisión con la que el modelo realiza predicciones para una clase específica, teniendo en cuenta tanto la precisión como la recuperación en varios niveles de confianza (los niveles de confianza se refieren al grado de certeza del modelo en sus predicciones). Una vez calculado el AP de cada clase, se determina el mAP promediando los valores de AP de todas las clases.
El mAP es útil en aplicaciones como la conducción autónoma, en la que es necesario detectar simultáneamente varios objetos, como peatones, vehículos y señales de tráfico. Una puntuación mAP alta significa que el modelo funciona bien en todas las categorías, lo que lo hace fiable y preciso en una amplia gama de escenarios.
Las fórmulas y métodos de cálculo de las principales métricas de rendimiento de la IA pueden parecer desalentadores. Sin embargo, herramientas como el paqueteUltralytics pueden simplificarlo y agilizarlo. Tanto si está trabajando en tareas de detección, segmentación o clasificación de objetos, Ultralytics proporciona las utilidades necesarias para calcular rápidamente métricas importantes como la precisión, la recuperación y la precisión mediamAP).
Para empezar a calcular métricas de rendimiento con Ultralytics, puede instalar el paquete Ultralytics como se muestra a continuación.
Para este ejemplo, cargaremos un modelo YOLOv8 preentrenado y lo utilizaremos para validar las métricas de rendimiento, pero puede cargar cualquiera de los modelos compatibles proporcionados por Ultralytics. A continuación se explica cómo hacerlo:
Una vez cargado el modelo, puede realizar la validación en su conjunto de datos. El siguiente fragmento de código le ayudará a calcular varias métricas de rendimiento, como la precisión, la recuperación y mAP:
El uso de herramientas como Ultralytics facilita enormemente el cálculo de las métricas de rendimiento, para que pueda dedicar más tiempo a mejorar su modelo y menos a preocuparse por los detalles del proceso de evaluación.
Al desarrollar su modelo de IA, es fácil probar su rendimiento en un entorno controlado. Sin embargo, una vez que el modelo se implementa, las cosas pueden complicarse. Afortunadamente, existen herramientas y prácticas recomendadas que pueden ayudarle a supervisar su solución de IA después de la implementación.
Herramientas como Prometheus, Grafana y Evidently AI están diseñadas para track continuo del rendimiento del modelo. Pueden proporcionar información en tiempo real, detect anomalías y alertar de posibles problemas. Estas herramientas van más allá de la monitorización tradicional al ofrecer soluciones automatizadas y escalables que se adaptan a la naturaleza dinámica de los modelos de IA en producción.
Para medir el éxito de su modelo de IA después de la implementación, aquí tiene algunas prácticas recomendadas a seguir:
Implementar y gestionar con éxito una solución de IA depende de la elección de los KPI correctos y de mantenerlos actualizados. En general, es vital elegir métricas que destaquen el buen funcionamiento de la solución de IA, tanto desde el punto de vista técnico como en términos de impacto empresarial. A medida que las cosas cambian, ya sean los avances tecnológicos o los cambios en su estrategia empresarial, es importante revisar y ajustar estos KPI.
Al mantener dinámicas sus revisiones de rendimiento, puede mantener su sistema de IA relevante y eficaz. Si se mantiene al tanto de estas métricas, obtendrá información valiosa que le ayudará a mejorar sus operaciones. Un enfoque proactivo garantiza que sus esfuerzos de IA sean realmente valiosos y ayuden a impulsar su negocio.
¡Únase a nuestra comunidad e innove con nosotros! Explore nuestro repositorio de GitHub para ver nuestros avances en IA. Descubra cómo estamos transformando industrias como la manufactura y la atención médica con tecnología de IA pionera. 🚀
