Todo lo que necesitas saber sobre la IA explicable (XAI)

¿Has visto alguna vez una respuesta de una herramienta de inteligencia artificial (AI), como ChatGPT, y te has preguntado cómo ha llegado a esa conclusión? Entonces ya conoces el problema de la «caja negra» de la AI. Este término hace referencia a la falta de claridad sobre cómo procesan y analizan los datos los modelos de AI. Incluso a los ingenieros y científicos de AI que trabajan habitualmente con algoritmos avanzados de AI puede resultarles difícil comprender por completo su funcionamiento interno. De hecho, solo el 22 % de los profesionales de TI comprende realmente las capacidades de las herramientas de AI.

La incertidumbre sobre cómo toman decisiones los modelos de AI puede entrañar riesgos, sobre todo en ámbitos críticos como la visión artificial en la sanidad y la AI en las finanzas. Sin embargo, se están logrando avances importantes para abordar estos retos y mejorar la transparencia.

En particular, la inteligencia artificial explicable (XAI) se centra en resolver este problema. En pocas palabras, es un conjunto de procesos y métodos que ayuda a los usuarios a comprender y confiar en los resultados o las salidas de algoritmos complejos de aprendizaje automático.

La XAI puede ayudar a los desarrolladores a garantizar que los sistemas de AI funcionen según lo previsto. También puede ayudar a las empresas de AI a cumplir las normas reglamentarias. En este artículo exploraremos la inteligencia artificial explicable y sus numerosos casos de uso.

La importancia de la IA explicable#

La explicabilidad es clave al trabajar con AI. Esto es especialmente cierto en el caso de la visión artificial, un subcampo de la AI muy utilizado en sectores como la sanidad. Cuando se utilizan modelos de visión en sectores tan sensibles, es importante que todo el mundo pueda entender e interpretar su funcionamiento.

La interpretabilidad de los modelos de visión artificial ayuda a los usuarios a comprender mejor cómo se ha generado una predicción y cuál es la lógica que hay detrás. La transparencia refuerza esta comprensión al mostrar con claridad cómo funciona el modelo, exponer sus limitaciones y garantizar que los datos se utilicen de forma ética. Por ejemplo, la visión artificial puede ayudar a los radiólogos a identificar eficazmente problemas de salud en imágenes de rayos X.

Fig. 1. Radiografías torácicas analizadas con IA visual que muestran las clasificaciones de tuberculosis sana, enferma, activa y latente.

Sin embargo, no basta con que un sistema de visión sea preciso. El sistema también debe poder explicar sus decisiones. Si el sistema pudiera mostrar qué partes de la imagen han dado lugar a sus conclusiones, los resultados serían más claros. Este nivel de transparencia ayudaría a los profesionales sanitarios a comprobar sus conclusiones y a garantizar que la atención al paciente cumpla los estándares médicos.

Otro motivo por el que la explicabilidad es esencial es que responsabiliza a las empresas de IA y genera confianza entre los usuarios. Una IA fiable hace que los usuarios confíen en que las innovaciones de IA funcionan de manera fiable, toman decisiones justas y gestionan los datos de forma responsable.

Principales técnicas de IA explicable en visión artificial#

Ahora que hemos hablado de por qué es importante la explicabilidad en la visión artificial, veamos las principales técnicas de XAI que se utilizan en la IA visual.

Mapas de saliencia#

Las redes neuronales son modelos inspirados en el cerebro humano, diseñados para reconocer patrones y tomar decisiones mediante el procesamiento de datos a través de capas interconectadas de nodos (neuronas). Se pueden utilizar para resolver problemas complejos de visión artificial con gran precisión. A pesar de esta precisión, por diseño siguen siendo cajas negras.

Los mapas de saliencia son una técnica de XAI que permite entender qué ven las redes neuronales cuando analizan imágenes. También pueden utilizarse para diagnosticar problemas de los modelos cuando no rinden como se esperaba.

Los mapas de saliencia se centran en las partes de una imagen (píxeles) que determinan las predicciones de un modelo. Este proceso es muy parecido a la retropropagación, en la que el modelo vuelve desde las predicciones hasta la entrada. Sin embargo, en lugar de actualizar los pesos del modelo a partir de los errores, solo observamos cuánto «importa» cada píxel para la predicción. Los mapas de saliencia son muy útiles para tareas de visión artificial como la clasificación de imágenes.

Por ejemplo, si un modelo de clasificación de imágenes predice que una imagen muestra un perro, podemos consultar su mapa de saliencia para entender por qué el modelo cree que es un perro. Esto nos ayuda a identificar qué píxeles afectan más al resultado. El mapa de saliencia resaltaría todos los píxeles que contribuyeron a la predicción final de que la imagen muestra un perro.

Fig. 2. Vista en paralelo de las imágenes de entrada y sus mapas de saliencia.

Mapeo de activaciones de clase (CAM)#

El mapeo de activaciones de clase es otra técnica de XAI que se utiliza para entender en qué partes de una imagen se centra una red neuronal al hacer predicciones de clasificación de imágenes. Funciona de forma similar a los mapas de saliencia, pero se centra en identificar las características importantes de la imagen en lugar de píxeles concretos. Las características son patrones o detalles, como formas o texturas, que el modelo detecta en la imagen.

Métodos como el mapeo de activaciones de clase ponderado por gradiente (Grad-CAM) y Grad-CAM++ se basan en la misma idea, con algunas mejoras.

Así funciona CAM:

• Antes de tomar una decisión final, la red neuronal aplica un paso llamado agrupación promedio global (GAP) para simplificar la información. GAP combina todos los píxeles de un patrón detectado en un único valor promedio y crea un resumen para cada mapa de características (una representación visual de los patrones detectados).
• A continuación, se asigna un peso a cada mapa de características para indicar su importancia al predecir una clase determinada (como «pájaro» o «gato»).
• Sin embargo, una limitación de CAM es que quizá tengas que volver a entrenar el modelo para calcular estos pesos, lo que puede llevar mucho tiempo.

Grad-CAM mejora este método al utilizar gradientes, que son como señales que indican cuánto influye cada mapa de características en la predicción final. Este método evita la necesidad de GAP y facilita ver en qué se centra el modelo sin volver a entrenarlo. Grad-CAM++ va un paso más allá al centrarse únicamente en las influencias positivas, lo que hace que los resultados sean aún más claros. Los modelos Ultralytics YOLO pueden guardar un mapa térmico de activación de clase similar para cada imagen si ejecutas el modo de predicción con visualize=True.

Fig. 3. Comparación de CAM, Grad-CAM y Grad-CAM++.

Explicaciones contrafactuales#

Las explicaciones contrafactuales son un elemento importante de la IA explicable. Una explicación contrafactual describe una situación o un resultado teniendo en cuenta escenarios o acontecimientos alternativos que no ocurrieron, pero podrían haber ocurrido. Puede mostrar cómo los cambios en determinadas variables de entrada conducen a resultados distintos, como en la frase: «Si no hubiera ocurrido X, no habría ocurrido Y».

En el ámbito de la AI y la visión artificial, una explicación contrafactual identifica el cambio mínimo necesario en una entrada (como una imagen o unos datos) para que un modelo de AI genere un resultado específico diferente. Por ejemplo, cambiar el color de un objeto en una imagen podría modificar la predicción de un modelo de clasificación de imágenes de «gato» a «perro».

Otro buen ejemplo sería cambiar el ángulo o la iluminación en un sistema de reconocimiento facial. Esto podría hacer que el modelo identificara a otra persona y mostraría cómo pequeños cambios en la entrada pueden influir en las predicciones del modelo.

La forma más sencilla de generar estas explicaciones es mediante ensayo y error: puedes modificar al azar partes de la entrada (como características de una imagen o de los datos) hasta que el modelo de AI produzca el resultado deseado. Otros métodos incluyen enfoques agnósticos al modelo, que utilizan técnicas de optimización y búsqueda para encontrar cambios, y enfoques específicos del modelo, que se basan en ajustes internos o cálculos para identificar los cambios necesarios.

Aplicaciones de la IA explicable en visión artificial#

Ahora que hemos visto qué es la XAI y cuáles son sus técnicas principales, podemos repasar cómo se utiliza en la práctica. La XAI tiene aplicaciones variadas en muchos campos. Estos son algunos casos de uso que ilustran su potencial:

• Sistemas de seguridad: La XAI puede mejorar los sistemas de seguridad al detectar imágenes manipuladas en documentos de identificación, como pasaportes y permisos de conducir. Esto garantiza la autenticidad de las imágenes, refuerza los procesos de verificación de identidad y evita actividades fraudulentas en aplicaciones sensibles.

Fig. 4. Cómo funciona la XAI para detectar imágenes manipuladas.

• Conducción autónoma: Comprender las capacidades y limitaciones del sistema de IA visual integrado en un coche autónomo puede ser fundamental para probar el vehículo antes de ponerlo en circulación. La XAI puede ayudar a las empresas automovilísticas a identificar y resolver problemas con mayor claridad.
• Sistemas judiciales: Los sistemas de análisis de documentos con visión artificial se utilizan cada vez más en la toma de decisiones judiciales. La XAI favorece resultados justos y permite examinar las decisiones automatizadas. También ayuda a los profesionales del derecho a entender cómo llega un modelo de AI a sus decisiones.
• Seguimiento de la fauna: Las cámaras trampa se utilizan a menudo para supervisar la fauna y recopilar datos sobre especies animales. La XAI puede explicar cómo clasifica la IA estas especies en las imágenes. De este modo, las iniciativas de conservación pueden ser más fiables y precisas.

Conclusiones clave sobre la IA explicable#

La inteligencia artificial explicable facilita la comprensión del funcionamiento de los sistemas de AI y de los motivos por los que toman determinadas decisiones. La transparencia de los modelos de AI genera confianza y fomenta la rendición de cuentas. En ámbitos críticos como la sanidad, la seguridad, la conducción autónoma y los sistemas judiciales, la XAI puede ayudar a desarrolladores y usuarios a comprender las predicciones de AI, identificar errores y garantizar un uso justo y ético. Al hacer que la AI sea más transparente, la XAI tiende un puente entre la tecnología y la confianza humana, y hace que las aplicaciones reales sean más seguras y fiables.

Para obtener más información, visita nuestro repositorio de GitHub y participa en nuestra comunidad. Descubre las aplicaciones de AI en los coches autónomos y la agricultura en nuestras páginas de soluciones.