Explainable AI (XAI)

La IA explicable (XAI) engloba los métodos que hacen comprensibles para las personas los resultados de los modelos de inteligencia artificial (AI): qué entradas influyeron en una predicción, cómo se comporta un modelo en general y cuándo merecen confianza sus respuestas. Los modelos de aprendizaje profundo (DL), con millones o miles de millones de parámetros, funcionan como cajas negras: son precisos, pero opacos. La XAI permite a desarrolladores, usuarios, auditores y reguladores ver qué ocurre dentro. Las explicaciones sirven para depurar modelos, detectar el sesgo algorítmico, justificar decisiones ante las personas afectadas y cumplir los requisitos legales. El programa de IA explicable de DARPA, lanzado en 2017, popularizó el término.

Explicabilidad e interpretabilidad#

A menudo se usan ambos términos como sinónimos. Cuando los investigadores los distinguen, consideran que los modelos interpretables son comprensibles por diseño, como los modelos lineales, los árboles de decisión pequeños y los modelos con cuello de botella conceptual; en cambio, los métodos de explicabilidad generan explicaciones a posteriori para modelos que no son interpretables. En un artículo de 2019 publicado en Nature Machine Intelligence, Cynthia Rudin sostuvo que las decisiones de alto riesgo deberían basarse en modelos interpretables, ya que una explicación a posteriori puede tergiversar los cálculos reales del modelo.

Hay otros dos términos próximos, de alcance más amplio o mayor profundidad. La transparencia en IA abarca la apertura sobre todo un sistema, incluidas sus fuentes de datos, su diseño y su uso previsto. La interpretabilidad mecanicista aplica ingeniería inversa a los circuitos internos de una red, un enfoque que se utiliza sobre todo con modelos de lenguaje grandes.

Tipos de explicaciones#

Las explicaciones varían en alcance y en el nivel de acceso que requieren. Una explicación local justifica una predicción concreta, por ejemplo, por qué se denegó un préstamo; una explicación global describe el comportamiento del modelo en todas sus predicciones, por ejemplo, qué características son más importantes en general. Los métodos independientes del modelo lo tratan como una caja negra y solo consultan sus entradas y salidas; los métodos específicos del modelo utilizan sus elementos internos, como los gradientes o los pesos de atención.

Técnicas habituales de XAI#

• SHAP (explicaciones aditivas de Shapley): Asigna a cada característica una parte de una predicción mediante valores de Shapley de la teoría de juegos cooperativos, de modo que las contribuciones sumen exactamente la diferencia entre la predicción y un valor de referencia.
• LIME (explicaciones locales e interpretables independientes del modelo): Perturba una entrada muchas veces, registra cómo cambia la predicción y ajusta un modelo sustituto sencillo, como un modelo lineal disperso, que imita la caja negra cerca de esa entrada concreta.
• Importancia de las características por permutación: Baraja una característica cada vez y mide cuánto disminuye la puntuación del modelo; es una explicación global que funciona con cualquier modelo.
• Explicaciones contrafactuales: Indican el cambio mínimo en la entrada que invertiría la decisión, como los ingresos a partir de los cuales se habría aprobado un préstamo.
• Mapas de saliencia: Resaltan los píxeles que más han influido en la salida de un modelo de visión. Los métodos de mapas de activación de clase (CAM), como Grad-CAM, ponderan los mapas de características de una red según los gradientes de la puntuación de la clase predicha para generar un mapa de calor aproximado de las evidencias.

Ultralytics YOLO26 incorpora un método CAM en la predicción: al establecer visualize=True, se guarda un mapa de calor LayerCAM que pondera cada posición de los mapas de características que entran en la cabeza de detección según su propio gradiente positivo hacia la clase predicha:

from ultralytics import YOLO

# Carga un detector YOLO26 preentrenado con COCO
model = YOLO("yolo26n.pt")

# Guarda un mapa de calor LayerCAM que explica solo las detecciones de «person» (clase 0)
model.predict("https://ultralytics.com/images/bus.jpg", visualize=True, classes=[0])

La carpeta de ejecución incluye bus_cam.jpg, un mapa de calor superpuesto a la imagen en el que los colores cálidos indican los píxeles que han aumentado las puntuaciones de persona.

Cuando las explicaciones inducen a error#

Una explicación puede parecer convincente y, aun así, no describir correctamente el modelo. En «Sanity Checks for Saliency Maps» (2018), los investigadores aleatorizaron los pesos entrenados de una red y observaron que varios métodos de saliencia populares producían mapas casi idénticos a los anteriores, lo que demostró que los mapas reflejaban más los bordes de la imagen de entrada que lo que había aprendido el modelo. Un estudio de 2020 mostró que se podía envolver un clasificador deliberadamente sesgado para que LIME y SHAP informaran de características inocuas mientras las decisiones subyacentes seguían siendo discriminatorias. Los cuatro principios de la IA explicable del NIST abordan directamente este problema: las explicaciones deben existir, ser relevantes para su público y reflejar con precisión el proceso del sistema; además, el sistema solo debe funcionar en las condiciones para las que se diseñó.

Aplicaciones y regulación#

• Análisis de imágenes médicas: Los mapas de calor permiten al radiólogo confirmar que un modelo ha señalado una radiografía por la propia lesión y detectar modelos que se fijan en los marcadores del escáner o en el texto incrustado en la imagen.
• Detección de atajos: En el artículo original de LIME, las explicaciones pusieron al descubierto un clasificador deliberadamente defectuoso de huskies frente a lobos que se basaba en la nieve del fondo.
• Crédito y concesión de préstamos: En virtud de la Ley de Igualdad de Oportunidades de Crédito de EE. UU., los prestamistas deben comunicar a los solicitantes los motivos principales concretos de una denegación, sin excepciones para las decisiones tomadas por algoritmos complejos.

El RGPD reconoce a las personas sujetas a decisiones automatizadas el derecho a recibir información significativa sobre la lógica aplicada; el artículo 13 de la Ley de IA de la UE exige que los sistemas de alto riesgo sean lo bastante transparentes para que los responsables del despliegue interpreten sus resultados; y el artículo 86 otorga a las personas afectadas por una decisión basada en un sistema de alto riesgo el derecho a recibir explicaciones claras y significativas sobre el papel del sistema de IA y los elementos principales de la decisión.