Todo lo que necesitas saber sobre la inteligencia artificial explicable (XAI)

¿Alguna vez has visto una respuesta de una herramienta de artificial intelligence (AI) como ChatGPT y te has preguntado cómo llegó a esa conclusión? Entonces, ya conoces la preocupación de la «caja negra» de la IA. Es un término que se refiere a la falta de claridad sobre cómo los modelos de IA procesan y analizan los datos. Incluso los ingenieros y científicos de IA que trabajan habitualmente con algoritmos de IA de vanguardia pueden tener dificultades para comprender por completo su funcionamiento interno. De hecho, solo el 22 % de los profesionales de TI comprende verdaderamente las capacidades de las herramientas de IA.

La incertidumbre que rodea la forma en que los modelos de IA toman decisiones puede ser arriesgada, especialmente en áreas críticas como computer vision in healthcare y AI in finance. Sin embargo, se están logrando avances significativos para abordar estos desafíos y mejorar la transparencia.

En particular, explainable AI (XAI) se centra exclusivamente en resolver este problema. En pocas palabras, es un conjunto de procesos y métodos que ayuda a los usuarios humanos a comprender y confiar en los resultados o salidas proporcionados por complejos algoritmos de machine learning.

XAI puede ayudar a los desarrolladores a garantizar que los sistemas de IA funcionen como se espera. También puede ayudar a las empresas de IA a cumplir con las normas regulatory. En este artículo, exploraremos la IA explicable y su amplia gama de casos de uso. ¡Empecemos!

La importancia de la inteligencia artificial explicable#

La explicabilidad es clave cuando se trabaja con IA. Esto es especialmente cierto cuando se trata del subcampo de la IA, computer vision, que se utiliza ampliamente en aplicaciones de industrias como la sanidad. Al utilizar vision models en industrias tan sensibles, es importante que el funcionamiento del modelo sea transparente e interpretable para todos.

La interpretabilidad en los modelos de visión artificial ayuda a los usuarios a comprender mejor cómo se realizó una prediction y la lógica detrás de ella. La transparencia se suma a esto al hacer que el funcionamiento del modelo sea claro para todos, delimitando claramente las limitaciones del modelo y garantizando que los datos se utilicen de forma ética. Por ejemplo, la visión artificial puede ayudar a los radiologists a identificar de manera eficiente complicaciones de salud en imágenes de rayos X.

Fig 1. Radiografías de tórax analizadas mediante IA de visión que muestran clasificaciones de tuberculosis sana, enferma, activa y latente.

Sin embargo, un sistema de visión que sea simplemente preciso no es suficiente. El sistema también debe ser capaz de explicar sus decisiones. Supongamos que el sistema pudiera mostrar qué partes de la imagen condujeron a sus conclusiones; entonces, cualquier resultado sería más claro. Tal nivel de transparencia ayudaría a los profesionales médicos a verificar sus hallazgos y asegurarse de que el patient care cumpla con los estándares médicos.

Otra razón por la cual la explicabilidad es esencial es que hace que las empresas de IA rindan cuentas y genera confianza en los usuarios. Una IA confiable genera confianza en los usuarios de que las innovaciones de IA funcionan de manera fiable, toman decisiones justas y handle data responsibly.

Técnicas clave de inteligencia artificial explicable en visión artificial#

Ahora que hemos discutido por qué la explicabilidad importa en la visión artificial, echemos un vistazo a las técnicas de XAI clave utilizadas en la IA de visión.

Mapas de saliencia#

Neural networks son modelos inspirados en el cerebro humano, diseñados para reconocer patrones y tomar decisiones procesando datos a través de capas interconectadas de nodos (neuronas). Se pueden utilizar para resolver problemas complejos de visión artificial con gran precisión. Incluso con esta precisión, siguen siendo cajas negras por diseño.

Los mapas de saliencia son una técnica de XAI que se puede utilizar para ayudar a dar sentido a lo que las redes neuronales están viendo cuando analizan imágenes. También se pueden utilizar para solucionar problemas de los modelos en caso de que no estén funcionando como se espera.

Los mapas de saliencia funcionan centrándose en qué partes de una imagen (píxeles) definen las predicciones de un modelo. Este proceso es muy similar a la backpropagation, donde el modelo rastrea desde las predicciones hasta la entrada. Pero en lugar de actualizar los pesos del modelo basándonos en errores, simplemente observamos cuánto «importa» cada píxel para la predicción. Los mapas de saliencia son muy útiles para computer vision tasks como la clasificación de imágenes.

Por ejemplo, si un modelo de image classification predice que una imagen es de un perro, podemos observar su mapa de saliencia para comprender por qué el modelo piensa que es un perro. Esto nos ayuda a identificar qué píxeles afectan más a la salida. El mapa de saliencia resaltaría todos los píxeles que contribuyeron a la predicción final de que la imagen es un perro.

Fig 2. Una vista lado a lado de las imágenes de entrada y sus mapas de saliencia.

Class Activation Mapping (CAM)#

El mapeo de activación de clases (CAM) es otra técnica de XAI que se utiliza para comprender en qué partes de una imagen se concentra una red neuronal al realizar predicciones de clasificación de imágenes. Funciona de manera similar a los mapas de saliencia, pero se centra en identificar características importantes en la imagen en lugar de píxeles específicos. Las Features son patrones o detalles, como formas o texturas, que el modelo detecta en la imagen.

Métodos como Gradient Weighted Class Activation Mapping (Grad-CAM) y Grad-CAM++ se basan en la misma idea, con algunas mejoras.

Así es como funciona CAM:

• Antes de que la red neuronal tome su decisión final, utiliza un paso llamado global average pooling (GAP) para simplificar la información. GAP combina todos los píxeles en un patrón detectado en un único valor promedio, creando un resumen para cada mapa de características (una representación visual de los patrones detectados).
• A cada mapa de características se le asigna entonces un peso que muestra lo importante que es para predecir una determinada clase (como "pájaro" o "gato").
• Sin embargo, una limitación de CAM es que es posible que necesites retrain the model para calcular estos pesos, lo que puede llevar mucho tiempo.

Grad-CAM mejora esto mediante el uso de gradients, que son como señales que muestran cuánto influye cada mapa de características en la predicción final. Este método evita la necesidad de GAP y facilita ver en qué se concentra el modelo sin necesidad de reentrenamiento. Grad-CAM++ da un paso más al centrarse únicamente en las influencias positivas, lo que hace que los resultados sean aún más claros.

Fig 3. Comparación de CAM, Grad-CAM y Grad-CAM++.

Explicaciones contrafactuales#

Las explicaciones contrafactuales son un elemento importante de la inteligencia artificial explicable. Una explicación contrafactual implica describir una situación o resultado considerando escenarios alternativos o eventos que no sucedieron pero que podrían haber sucedido. Puede demostrar cómo los cambios en variables de entrada específicas conducen a resultados diferentes, como: "Si X no hubiera sucedido, Y no habría ocurrido".

Cuando se trata de IA y visión artificial, una explicación contrafactual identifica el cambio más pequeño requerido en una entrada (como an image or data) para hacer que un modelo de IA produzca un resultado diferente y específico. Por ejemplo, alterar el color de un objeto en una imagen podría cambiar la image classification model’s prediction de «gato» a «perro».

Otro buen ejemplo sería cambiar el ángulo o la iluminación en un facial recognition system. Esto podría hacer que el modelo identifique a un individuo diferente, mostrando cómo los pequeños cambios en la entrada pueden influir en las predicciones del modelo.

La forma más sencilla de crear estas explicaciones es mediante prueba y error: puedes cambiar aleatoriamente partes de la entrada (como características de la imagen o datos) hasta que el modelo de IA te dé el resultado deseado. Otros métodos incluyen enfoques agnósticos del modelo, que utilizan técnicas de optimization y búsqueda para encontrar cambios, y enfoques específicos del modelo, que se basan en configuraciones o cálculos internos para identificar los cambios necesarios.

Aplicaciones de la inteligencia artificial explicable en la visión artificial#

Ahora que hemos explorado qué es la XAI y sus técnicas clave, podemos repasar cómo se utiliza en la vida real. La XAI tiene diversas aplicaciones en muchos campos. Vamos a profundizar en algunos casos de uso que destacan su potencial:

• Security systems: XAI se puede utilizar para mejorar los sistemas de seguridad mediante la detección de imágenes modificadas en documentos de identidad como pasaportes y permisos de conducir. Esto garantiza la autenticidad de las imágenes, fortalece los procesos de verificación de identidad y previene actividades fraudulentas en aplicaciones sensibles.

Fig 4. Cómo funciona XAI para detectar imágenes modificadas.

• Autonomous driving: Comprender las capacidades y limitaciones del sistema de IA de visión integrado de un coche autónomo puede ser una gran parte de las pruebas del coche antes de que se despliegue en las carreteras del mundo real. XAI puede ayudar a las empresas automovilísticas a identificar y abordar los problemas de forma más clara.

• Legal systems: Los sistemas de document analysis habilitados por visión se utilizan cada vez más en la toma de decisiones judiciales. XAI respalda resultados justos y permite examinar los juicios automatizados. También ayuda a los profesionales legales a comprender cómo un modelo de IA llega a sus decisiones.

• Wildlife monitoring: Las cámaras de seguimiento se utilizan a menudo para monitorizar la fauna y recopilar datos sobre especies animales. XAI se puede utilizar para explicar cómo la IA clasifica estas especies en las imágenes. Al hacerlo, los esfuerzos de conservación pueden ser más fiables y precisos.

Puntos clave sobre la inteligencia artificial explicable#

La inteligencia artificial explicable facilita la comprensión de cómo funcionan los sistemas de IA y por qué toman ciertas decisiones. La transparencia sobre los modelos de IA genera confianza y responsabilidad. El conocimiento es poder y ayuda a que las innovaciones en IA se utilicen de forma más responsable. En áreas críticas como la atención sanitaria, la seguridad, la conducción autónoma y los sistemas legales, la XAI se puede utilizar para ayudar a los desarrolladores y usuarios a entender las predicciones de la IA, identificar errores y garantizar un uso justo y ético. Al hacer que la IA sea más transparente, la XAI cierra la brecha entre la tecnología y la confianza humana, haciéndola más segura y fiable para aplicaciones del mundo real.

Para obtener más información, visita nuestro GitHub repository e interactúa con nuestra community. Explora AI applications in self-driving cars y agriculture en nuestras páginas de soluciones. 🚀