Todo lo que necesitas saber sobre la IA explicable (XAI)

¿Has visto alguna vez una respuesta de una herramienta de inteligencia artificial (AI) como ChatGPT y te has preguntado cómo ha llegado a esa conclusión? Entonces, te has encontrado con el problema de la «caja negra» de la AI. Es un término que hace referencia a la falta de claridad sobre cómo los modelos de AI procesan y analizan los datos. Incluso a los ingenieros y científicos de AI que trabajan habitualmente con algoritmos de AI de vanguardia les puede resultar difícil comprender plenamente su funcionamiento interno. De hecho, solo el 22 % de los profesionales de TI entiende realmente las capacidades de las herramientas de AI.

La incertidumbre sobre cómo toman decisiones los modelos de AI puede ser arriesgada, especialmente en áreas críticas como la visión artificial en sanidad y la AI en finanzas. Sin embargo, se están realizando avances importantes para abordar estos desafíos y mejorar la transparencia.

En concreto, la inteligencia artificial explicable (XAI) se centra exclusivamente en resolver este problema. En pocas palabras, es un conjunto de procesos y métodos que ayuda a los usuarios a comprender y confiar en los resultados o salidas proporcionados por algoritmos complejos de aprendizaje automático.

La XAI puede ayudar a los desarrolladores a garantizar que los sistemas de AI funcionan según lo previsto. También puede ayudar a las empresas de AI a cumplir las normas reglamentarias. En este artículo, exploraremos la inteligencia artificial explicable y su amplia variedad de casos de uso. ¡Empecemos!

La importancia de la inteligencia artificial explicable#

La explicabilidad es clave al trabajar con AI. Esto es especialmente cierto en el caso del subcampo de la AI conocido como visión artificial, que se utiliza ampliamente en aplicaciones de sectores como la sanidad. Al utilizar modelos de visión en sectores tan sensibles, es importante que el funcionamiento del modelo sea transparente e interpretable para todo el mundo.

La interpretabilidad de los modelos de visión artificial ayuda a los usuarios a comprender mejor cómo se ha realizado una predicción y la lógica que hay detrás. La transparencia complementa esta capacidad al hacer que el funcionamiento del modelo sea claro para todos, explicar claramente sus limitaciones y garantizar que los datos se utilizan de forma ética. Por ejemplo, la visión artificial puede ayudar a los radiólogos a identificar de forma eficiente complicaciones de salud en imágenes de rayos X.

Fig. 1. Radiografías de tórax analizadas mediante AI de visión que muestran clasificaciones de tuberculosis sana, enferma, activa y latente.

Sin embargo, no basta con que un sistema de visión sea preciso. El sistema también debe poder explicar sus decisiones. Supongamos que el sistema pudiera mostrar qué partes de la imagen han llevado a sus conclusiones; entonces, las salidas serían más claras. Este nivel de transparencia ayudaría a los profesionales sanitarios a comprobar sus resultados y asegurarse de que la atención al paciente cumple las normas médicas.

Otra razón por la que la explicabilidad es esencial es que hace que las empresas de AI rindan cuentas y genera confianza en los usuarios. Una AI fiable hace que los usuarios confíen en que las innovaciones de AI funcionan de forma fiable, toman decisiones justas y gestionan los datos de forma responsable.

Principales técnicas de inteligencia artificial explicable en visión artificial#

Ahora que hemos hablado de por qué es importante la explicabilidad en la visión artificial, echemos un vistazo a las principales técnicas de XAI utilizadas en la AI de visión.

Mapas de saliencia#

Las redes neuronales son modelos inspirados en el cerebro humano, diseñados para reconocer patrones y tomar decisiones procesando datos a través de capas interconectadas de nodos (neuronas). Pueden utilizarse para resolver problemas complejos de visión artificial con gran precisión. Incluso con esta precisión, siguen siendo cajas negras por diseño.

Los mapas de saliencia son una técnica de XAI que puede utilizarse para ayudar a comprender qué ven las redes neuronales al analizar imágenes. También pueden utilizarse para solucionar problemas de los modelos cuando no funcionan según lo esperado.

Los mapas de saliencia funcionan centrándose en qué partes de una imagen (píxeles) definen las predicciones de un modelo. Este proceso es muy similar a la retropropagación, en la que el modelo retrocede desde las predicciones hasta la entrada. Pero, en lugar de actualizar los pesos del modelo en función de los errores, observamos cuánto «importa» cada píxel para la predicción. Los mapas de saliencia son muy útiles para tareas de visión artificial, como la clasificación de imágenes.

Por ejemplo, si un modelo de clasificación de imágenes predice que una imagen es de un perro, podemos consultar su mapa de saliencia para entender por qué el modelo cree que es un perro. Esto nos ayuda a identificar qué píxeles afectan más a la salida. El mapa de saliencia resaltaría todos los píxeles que han contribuido a la predicción final de que la imagen muestra un perro.

Fig. 2. Vista en paralelo de las imágenes de entrada y sus mapas de saliencia.

Mapeo de activación de clases (CAM)#

El mapeo de activación de clases es otra técnica de XAI utilizada para comprender en qué partes de una imagen se centra una red neuronal al realizar predicciones de clasificación de imágenes. Funciona de forma similar a los mapas de saliencia, pero se centra en identificar características importantes de la imagen en lugar de píxeles específicos. Las características son patrones o detalles, como formas o texturas, que el modelo detecta en la imagen.

Métodos como el mapeo de activación de clases ponderado por gradiente (Grad-CAM) y Grad-CAM++ se basan en la misma idea, con algunas mejoras.

Así funciona CAM:

• Antes de que la red neuronal tome su decisión final, utiliza un paso llamado agrupación media global (GAP) para simplificar la información. GAP combina todos los píxeles de un patrón detectado en un único valor medio, creando un resumen para cada mapa de características (una representación visual de los patrones detectados).
• A continuación, se asigna a cada mapa de características un peso que indica su importancia para predecir una clase determinada (como «pájaro» o «gato»).
• Sin embargo, una limitación de CAM es que puede ser necesario volver a entrenar el modelo para calcular estos pesos, lo que puede llevar mucho tiempo.

Grad-CAM mejora este método mediante el uso de gradientes, que actúan como señales que indican cuánto influye cada mapa de características en la predicción final. Este método evita la necesidad de GAP y facilita ver en qué se centra el modelo sin volver a entrenarlo. Grad-CAM++ va un paso más allá al centrarse únicamente en las influencias positivas, lo que hace que los resultados sean aún más claros.

Fig. 3. Comparación de CAM, Grad-CAM y Grad-CAM++.

Explicaciones contrafactuales#

Las explicaciones contrafactuales son un elemento importante de la inteligencia artificial explicable. Una explicación contrafactual consiste en describir una situación o un resultado considerando escenarios o acontecimientos alternativos que no sucedieron, pero podrían haber sucedido. Puede demostrar cómo los cambios en variables de entrada específicas conducen a resultados diferentes, como: «Si X no hubiera sucedido, Y no habría ocurrido».

En el ámbito de la AI y la visión artificial, una explicación contrafactual identifica el cambio más pequeño necesario en una entrada (como una imagen o unos datos) para hacer que un modelo de AI produzca un resultado diferente y específico. Por ejemplo, alterar el color de un objeto en una imagen podría cambiar la predicción de un modelo de clasificación de imágenes de «gato» a «perro».

Otro buen ejemplo sería cambiar el ángulo o la iluminación en un sistema de reconocimiento facial. Esto podría hacer que el modelo identificara a otra persona, mostrando cómo pequeños cambios en la entrada pueden influir en las predicciones del modelo.

La forma más sencilla de crear estas explicaciones es mediante ensayo y error: puedes cambiar aleatoriamente partes de la entrada (como características de la imagen o datos) hasta que el modelo de AI proporcione el resultado deseado. Otros métodos incluyen enfoques independientes del modelo, que utilizan técnicas de optimización y búsqueda para encontrar cambios, y enfoques específicos del modelo, que se basan en ajustes o cálculos internos para identificar los cambios necesarios.

Aplicaciones de la inteligencia artificial explicable en visión artificial#

Ahora que hemos explorado qué es la XAI y cuáles son sus principales técnicas, podemos repasar cómo se utiliza en la vida real. La XAI tiene diversas aplicaciones en muchos campos. Veamos algunos casos de uso que destacan su potencial:

• Sistemas de seguridad: la XAI puede utilizarse para mejorar los sistemas de seguridad mediante la detección de imágenes manipuladas en documentos de identificación, como pasaportes y permisos de conducir. Esto garantiza la autenticidad de las imágenes, refuerza los procesos de verificación de identidad y evita actividades fraudulentas en aplicaciones sensibles.

Fig. 4. Cómo funciona la XAI para detectar imágenes manipuladas.

• Conducción autónoma: comprender las capacidades y limitaciones del sistema de AI de visión integrado en un vehículo autónomo puede ser una parte fundamental de las pruebas del vehículo antes de ponerlo en circulación por carreteras reales. La XAI puede ayudar a las empresas automovilísticas a identificar y abordar los problemas con mayor claridad.

• Sistemas jurídicos: los sistemas de análisis de documentos dotados de visión se utilizan cada vez más en la toma de decisiones judiciales. La XAI favorece resultados justos y permite examinar las decisiones automatizadas. También ayuda a los profesionales del derecho a comprender cómo llega un modelo de AI a sus decisiones.

• Monitorización de la fauna: las cámaras trampa se utilizan a menudo para monitorizar la fauna y recopilar datos sobre especies animales. La XAI puede utilizarse para explicar cómo clasifica la AI estas especies en las imágenes. De este modo, los esfuerzos de conservación pueden ser más fiables y precisos.

Conclusiones clave sobre la inteligencia artificial explicable#

La inteligencia artificial explicable facilita la comprensión de cómo funcionan los sistemas de AI y por qué toman determinadas decisiones. La transparencia sobre los modelos de AI genera confianza y responsabilidad. El conocimiento es poder y ayuda a utilizar las innovaciones de AI de forma más responsable. En áreas críticas como la sanidad, la seguridad, la conducción autónoma y los sistemas jurídicos, la XAI puede utilizarse para ayudar a desarrolladores y usuarios a comprender las predicciones de AI, identificar errores y garantizar un uso justo y ético. Al hacer que la AI sea más transparente, la XAI tiende un puente entre la tecnología y la confianza humana, haciendo que las aplicaciones del mundo real sean más seguras y fiables.

Para obtener más información, visita nuestro repositorio de GitHub y participa en nuestra comunidad. Explora las aplicaciones de AI en vehículos autónomos y la agricultura en nuestras páginas de soluciones. 🚀