Todo lo que necesitas saber sobre la inteligencia artificial explicable (XAI)

¿Alguna vez has visto una respuesta de una herramienta de inteligencia artificial (IA) como ChatGPT y te has preguntado cómo llegó a esa conclusión? Entonces, te has topado con el problema de la "caja negra" de la IA. Es un término que hace referencia a la falta de claridad sobre cómo los modelos de IA procesan y analizan los datos. Incluso los ingenieros y científicos de IA que trabajan regularmente con algoritmos de IA de vanguardia pueden encontrar difícil entender completamente su funcionamiento interno. De hecho, solo el 22% de los profesionales de TI comprenden realmente las capacidades de las herramientas de IA.

La incertidumbre que rodea a cómo los modelos de IA toman decisiones puede ser arriesgada, especialmente en áreas críticas como la visión artificial en la atención sanitaria y la IA en las finanzas. Sin embargo, se están logrando avances significativos para abordar estos desafíos y mejorar la transparencia.

En particular, la inteligencia artificial explicable (XAI) se centra exclusivamente en resolver este problema. En pocas palabras, es un conjunto de procesos y métodos que ayudan a los usuarios humanos a entender y confiar en los resultados o salidas proporcionados por algoritmos complejos de machine learning.

La XAI puede ayudar a los desarrolladores a garantizar que los sistemas de IA funcionen como se espera. También puede ayudar a las empresas de IA a cumplir con los estándares regulatorios. En este artículo, exploraremos la inteligencia artificial explicable y su amplia gama de casos de uso. ¡Empecemos!

Link to this sectionLa importancia de la inteligencia artificial explicable#

La explicabilidad es clave cuando se trabaja con IA. Esto es especialmente cierto en lo que respecta al subcampo de la IA, la visión artificial, que se utiliza ampliamente en aplicaciones de sectores como la sanidad. Al utilizar modelos de visión en sectores tan sensibles, es importante que el funcionamiento del modelo sea transparente e interpretable para todo el mundo.

La interpretabilidad en los modelos de visión artificial ayuda a los usuarios a tener una mejor comprensión de cómo se realizó una predicción y la lógica que hay detrás. La transparencia contribuye a esto haciendo que el funcionamiento del modelo sea claro para todos, describiendo claramente sus limitaciones y garantizando que los datos se utilicen de forma ética. Por ejemplo, la visión artificial puede ayudar a los radiólogos a identificar de manera eficiente las complicaciones de salud en imágenes de rayos X.

Fig 1. Rayos X de tórax analizados mediante IA de visión mostrando clasificaciones de tuberculosis sana, enferma, activa y latente.

Sin embargo, un sistema de visión que sea solo preciso no es suficiente. El sistema también necesita ser capaz de explicar sus decisiones. Digamos que el sistema pudiera mostrar qué partes de la imagen llevaron a sus conclusiones: entonces, cualquier salida sería más clara. Tal nivel de transparencia ayudaría a los profesionales médicos a verificar sus hallazgos y asegurarse de que la atención al paciente cumple con los estándares médicos.

Otra razón por la que la explicabilidad es esencial es que hace que las empresas de IA rindan cuentas y genera confianza en los usuarios. Una IA fiable hace que los usuarios se sientan seguros de que las innovaciones de IA funcionan de manera fiable, toman decisiones justas y gestionan los datos de forma responsable.

Link to this sectionTécnicas clave de inteligencia artificial explicable en visión artificial#

Ahora que hemos discutido por qué la explicabilidad importa en la visión artificial, echemos un vistazo a las técnicas de XAI clave utilizadas en la IA de visión.

Link to this sectionMapas de saliencia#

Las redes neuronales son modelos inspirados en el cerebro humano, diseñados para reconocer patrones y tomar decisiones procesando datos a través de capas interconectadas de nodos (neuronas). Se pueden utilizar para resolver problemas complejos de visión artificial con gran precisión. Incluso con esta precisión, siguen siendo cajas negras por diseño.

Los mapas de saliencia son una técnica de XAI que se puede utilizar para ayudar a dar sentido a lo que las redes neuronales están viendo cuando analizan imágenes. También se pueden utilizar para solucionar problemas de los modelos en caso de que no estén funcionando como se espera.

Los mapas de saliencia funcionan centrándose en qué partes de una imagen (píxeles) definen las predicciones de un modelo. Este proceso es muy similar a la backpropagation, donde el modelo rastrea desde las predicciones hasta la entrada. Pero en lugar de actualizar los pesos del modelo basándose en los errores, solo observamos cuánto "importa" cada píxel para la predicción. Los mapas de saliencia son muy útiles para tareas de visión artificial como la clasificación de imágenes.

Por ejemplo, si un modelo de clasificación de imágenes predice que una imagen es de un perro, podemos mirar su mapa de saliencia para entender por qué el modelo piensa que es un perro. Esto nos ayuda a identificar qué píxeles afectan más a la salida. El mapa de saliencia resaltaría todos los píxeles que contribuyeron a la predicción final de que la imagen es de un perro.

Fig 2. Una vista comparativa de las imágenes de entrada y sus mapas de saliencia.

Link to this sectionClass Activation Mapping (CAM)#

Class Activation Mapping es otra técnica de XAI utilizada para entender en qué partes de una imagen se centra una red neuronal al realizar predicciones de clasificación de imágenes. Funciona de manera similar a los mapas de saliencia pero se centra en identificar características importantes en la imagen en lugar de píxeles específicos. Las características son patrones o detalles, como formas o texturas, que el modelo detecta en la imagen.

Métodos como Gradient Weighted Class Activation Mapping (Grad-CAM) y Grad-CAM++ se basan en la misma idea, con algunas mejoras.

Así es como funciona CAM:

• Antes de que la red neuronal tome su decisión final, utiliza un paso llamado global average pooling (GAP) para simplificar la información. GAP combina todos los píxeles en un patrón detectado en un único valor promedio, creando un resumen para cada mapa de características (una representación visual de los patrones detectados).
• A cada mapa de características se le asigna entonces un peso que muestra lo importante que es para predecir una determinada clase (como "pájaro" o "gato").
• Sin embargo, una limitación de CAM es que es posible que necesites volver a entrenar el modelo para calcular estos pesos, lo que puede llevar mucho tiempo.

Grad-CAM mejora esto utilizando gradientes, que son como señales que muestran cuánto influye cada mapa de características en la predicción final. Este método evita la necesidad de GAP y facilita ver en qué se centra el modelo sin necesidad de volver a entrenarlo. Grad-CAM++ lleva esto un paso más allá al centrarse solo en las influencias positivas, lo que hace que los resultados sean aún más claros.

Fig 3. Comparación de CAM, Grad-CAM y Grad-CAM++.

Link to this sectionExplicaciones contrafactuales#

Las explicaciones contrafactuales son un elemento importante de la inteligencia artificial explicable. Una explicación contrafactual implica describir una situación o resultado considerando escenarios alternativos o eventos que no sucedieron pero que podrían haber sucedido. Puede demostrar cómo los cambios en variables de entrada específicas conducen a resultados diferentes, como: "Si X no hubiera sucedido, Y no habría ocurrido".

Cuando se trata de IA y visión artificial, una explicación contrafactual identifica el cambio más pequeño requerido en una entrada (como una imagen o datos) para hacer que un modelo de IA produzca un resultado diferente y específico. Por ejemplo, alterar el color de un objeto en una imagen podría cambiar la predicción de un modelo de clasificación de imágenes de "gato" a "perro".

Otro buen ejemplo sería cambiar el ángulo o la iluminación en un sistema de reconocimiento facial. Esto podría hacer que el modelo identificara a una persona diferente, demostrando cómo los pequeños cambios en la entrada pueden influir en las predicciones del modelo.

La forma más sencilla de crear estas explicaciones es mediante prueba y error: puedes cambiar aleatoriamente partes de la entrada (como características de la imagen o datos) hasta que el modelo de IA te dé el resultado deseado. Otros métodos incluyen enfoques agnósticos al modelo, que utilizan técnicas de optimización y búsqueda para encontrar cambios, y enfoques específicos del modelo, que se basan en configuraciones o cálculos internos para identificar los cambios necesarios.

Link to this sectionAplicaciones de la inteligencia artificial explicable en la visión artificial#

Ahora que hemos explorado qué es la XAI y sus técnicas clave, podemos repasar cómo se utiliza en la vida real. La XAI tiene diversas aplicaciones en muchos campos. Vamos a profundizar en algunos casos de uso que destacan su potencial:

• Sistemas de seguridad: La XAI se puede utilizar para mejorar los sistemas de seguridad detectando imágenes manipuladas en documentos de identificación como pasaportes y carnés de conducir. Esto garantiza la autenticidad de las imágenes, refuerza los procesos de verificación de identidad y previene actividades fraudulentas en aplicaciones sensibles.

Fig 4. Cómo funciona la XAI para detectar imágenes manipuladas.

• Conducción autónoma: Comprender las capacidades y limitaciones del sistema de IA de visión a bordo de un coche autónomo puede ser una parte fundamental de las pruebas del coche antes de que se despliegue en carreteras reales. La XAI puede ayudar a las empresas automovilísticas a identificar y abordar los problemas con mayor claridad.

• Sistemas legales: Los sistemas de análisis de documentos con visión artificial se utilizan cada vez más en la toma de decisiones judiciales. La XAI apoya resultados justos y permite que las sentencias automatizadas sean examinadas. También ayuda a los profesionales legales a entender cómo un modelo de IA llega a sus decisiones.

• Monitorización de la fauna: Las cámaras trampa se utilizan a menudo para monitorizar la vida silvestre y recopilar datos sobre especies animales. La XAI se puede utilizar para explicar cómo la IA clasifica estas especies en las imágenes. Al hacerlo, los esfuerzos de conservación pueden ser más fiables y precisos.

Link to this sectionPuntos clave sobre la inteligencia artificial explicable#

La inteligencia artificial explicable facilita la comprensión de cómo funcionan los sistemas de IA y por qué toman ciertas decisiones. La transparencia sobre los modelos de IA genera confianza y responsabilidad. El conocimiento es poder y ayuda a que las innovaciones en IA se utilicen de forma más responsable. En áreas críticas como la atención sanitaria, la seguridad, la conducción autónoma y los sistemas legales, la XAI se puede utilizar para ayudar a los desarrolladores y usuarios a entender las predicciones de la IA, identificar errores y garantizar un uso justo y ético. Al hacer que la IA sea más transparente, la XAI cierra la brecha entre la tecnología y la confianza humana, haciéndola más segura y fiable para aplicaciones del mundo real.

Para obtener más información, visita nuestro repositorio de GitHub e interactúa con nuestra comunidad. Explora aplicaciones de IA en coches autónomos y agricultura en nuestras páginas de soluciones. 🚀