Al hacer clic en "Aceptar todas las cookies", usted acepta el almacenamiento de cookies en su dispositivo para mejorar la navegación por el sitio, analizar el uso del sitio y ayudar en nuestros esfuerzos de marketing. Más información en
Configuración de cookies
Al hacer clic en "Aceptar todas las cookies", usted acepta el almacenamiento de cookies en su dispositivo para mejorar la navegación por el sitio, analizar el uso del sitio y ayudar en nuestros esfuerzos de marketing. Más información en
Descubra cómo Explainable AI (XAI) genera confianza haciendo que las predicciones de IA sean transparentes y fiables en los ámbitos de la sanidad, la seguridad, la conducción autónoma y muchos más.
¿Alguna vez has visto una respuesta de una herramienta de inteligencia artificial (IA) como ChatGPT y te has preguntado cómo ha llegado a esa conclusión? Entonces, ha conocido la preocupación de la "caja negra" de la IA. Es un término que se refiere a la falta de claridad sobre cómo los modelos de IA procesan y analizan los datos. Incluso a los ingenieros y científicos de IA que trabajan con algoritmos de IA de vanguardia con regularidad les puede resultar difícil comprender plenamente su funcionamiento interno. De hecho, sólo el 22% de los profesionales de TI comprenden realmente las capacidades de las herramientas de IA.
La incertidumbre que rodea a la forma en que los modelos de IA toman decisiones puede ser arriesgada, especialmente en áreas críticas como la visión por ordenador en sanidad y la IA en finanzas. Sin embargo, se están logrando avances significativos para hacer frente a estos retos y mejorar la transparencia.
En concreto, la IA explicable (XAI) se centra exclusivamente en resolver este problema. En pocas palabras, se trata de un conjunto de procesos y métodos que ayudan a los usuarios humanos a comprender y confiar en los resultados de complejos algoritmos de aprendizaje automático.
La XAI puede ayudar a los desarrolladores a garantizar que los sistemas de IA funcionan según lo esperado. También puede ayudar a las empresas de IA a cumplir las normas reglamentarias. En este artículo, exploraremos la IA explicable y su amplia gama de casos de uso. Empecemos.
La importancia de una IA explicable
La explicabilidad es clave cuando se trabaja con IA. Esto es especialmente cierto cuando se trata del subcampo de la IA, la visión por ordenador, que se utiliza ampliamente en aplicaciones de sectores como la sanidad. Cuando se utilizan modelos de visión en sectores tan sensibles, es importante que el funcionamiento del modelo sea transparente e interpretable para todos.
La interpretabilidad en los modelos de visión por ordenador ayuda a los usuarios a comprender mejor cómo se ha hecho una predicción y la lógica que la sustenta. La transparencia contribuye a ello, ya que aclara el funcionamiento del modelo para todos, esboza claramente sus limitaciones y garantiza que los datos se utilicen de forma ética. Por ejemplo, la visión por ordenador puede ayudar a los radiólogos a identificar eficazmente complicaciones de salud en las radiografías.
Fig. 1. Radiografías de tórax analizadas mediante Vision AI que muestran las clasificaciones de tuberculosis sana, enferma, activa y latente.
Sin embargo, no basta con que un sistema de visión sea preciso. El sistema también debe ser capaz de explicar sus decisiones. Digamos que el sistema puede mostrar qué partes de la imagen le han llevado a sus conclusiones. Este nivel de transparencia ayudaría a los profesionales de la medicina a comprobar sus conclusiones y asegurarse de que la atención al paciente cumple las normas médicas.
Otra razón por la que la explicabilidad es esencial es que responsabiliza a las empresas de IA y genera confianza en los usuarios. Una IA digna de confianza hace que los usuarios confíen en que las innovaciones de IA funcionan de forma fiable, toman decisiones justas y manejan los datos de forma responsable.
Principales técnicas de IA explicables en visión por ordenador
Ahora que ya hemos hablado de por qué la explicabilidad es importante en la visión por ordenador, echemos un vistazo a las principales técnicas XAI utilizadas en la IA de visión.
Mapas de saliencia
Las redes neuronales son modelos inspirados en el cerebro humano, diseñados para reconocer patrones y tomar decisiones procesando datos a través de capas interconectadas de nodos (neuronas). Pueden utilizarse para resolver problemas complejos de visión por ordenador con gran precisión. Aun con esta precisión, siguen siendo cajas negras por diseño.
Los mapas de saliencia son una técnica de XAI que puede utilizarse para dar sentido a lo que ven las redes neuronales cuando analizan imágenes. También pueden utilizarse para solucionar problemas de los modelos en caso de que no funcionen como se espera.
Los mapas de saliencia se centran en las partes de una imagen (píxeles) que definen las predicciones de un modelo. Este proceso es muy similar a la retropropagación, en la que el modelo se remonta desde las predicciones hasta la entrada. Pero en lugar de actualizar las ponderaciones del modelo en función de los errores, nos fijamos en cuánto "importa" cada píxel para la predicción. Los mapas de saliencia son muy útiles para tareas de visión por ordenador como la clasificación de imágenes.
Por ejemplo, si un modelo de clasificación de imágenes predice que una imagen es de un perro, podemos mirar su mapa de saliencia para entender por qué el modelo piensa que es un perro. Esto nos ayuda a identificar qué píxeles afectan más al resultado. El mapa de saliencia destacaría todos los píxeles que han contribuido a la predicción final de que la imagen es un perro.
Fig. 2. Vista en paralelo de las imágenes de entrada y sus mapas de saliencia.
Mapeo de activación de clases (CAM)
El mapeo de activación de clases es otra técnica de XAI utilizada para comprender en qué partes de una imagen se centra una red neuronal cuando realiza predicciones de clasificación de imágenes. Funciona de forma similar a los mapas de saliencia, pero se centra en identificar características importantes en la imagen en lugar de píxeles específicos. Las características son patrones o detalles, como formas o texturas, que el modelo detecta en la imagen.
Métodos como Gradient Weighted Class Activation Mapping (Grad-CAM) y Grad-CAM++ se basan en la misma idea, con algunas mejoras.
Así funciona la CAM:
Antes de que la red neuronal tome su decisión final, utiliza un paso denominado agrupación de promedios globales (GAP) para simplificar la información. GAP combina todos los píxeles de un patrón detectado en un único valor medio, creando un resumen para cada mapa de características (una representación visual de los patrones detectados).
A cada mapa de características se le asigna un peso que indica su importancia para predecir una determinada clase (como "pájaro" o "gato").
Sin embargo, una limitación de CAM es que puede ser necesario volver a entrenar el modelo para calcular estas ponderaciones, lo que puede llevar mucho tiempo.
Grad-CAM lo mejora utilizando gradientes, que son como señales que muestran en qué medida influye cada mapa de características en la predicción final. Este método evita la necesidad de GAP y facilita ver en qué se centra el modelo sin necesidad de reentrenamiento. Grad-CAM++ va un paso más allá y se centra sólo en las influencias positivas, lo que aclara aún más los resultados.
Fig. 3. Comparación de CAM, Grad-CAM y Grad-CAM++.
Explicaciones contrafácticas
Las explicaciones contrafácticas son un elemento importante de la IA explicable. Una explicación contrafáctica consiste en describir una situación o un resultado considerando escenarios o acontecimientos alternativos que no sucedieron pero que podrían haber sucedido. Puede demostrar cómo los cambios en variables de entrada específicas conducen a resultados diferentes, como por ejemplo: "Si no hubiera ocurrido X, no habría ocurrido Y".
En lo que respecta a la IA y la visión por ordenador, una explicación contrafactual identifica el cambio más pequeño necesario en una entrada (como una imagen o datos) para que un modelo de IA produzca un resultado diferente y específico. Por ejemplo, alterar el color de un objeto en una imagen podría cambiar la predicción de un modelo de clasificación de imágenes de "gato" a "perro".
Otro buen ejemplo sería cambiar el ángulo o la iluminación en un sistema de reconocimiento facial. Esto podría hacer que el modelo identificara a un individuo diferente, mostrando cómo pequeños cambios en la entrada pueden influir en las predicciones del modelo.
La forma más sencilla de crear estas explicaciones es por ensayo y error: se pueden cambiar aleatoriamente partes de la entrada (como características de la imagen o los datos) hasta que el modelo de IA dé el resultado deseado. Otros métodos son los enfoques agnósticos del modelo, que utilizan técnicas de optimización y búsqueda para encontrar los cambios, y los enfoques específicos del modelo, que se basan en ajustes o cálculos internos para identificar los cambios necesarios.
Aplicaciones de la IA explicable a la visión por ordenador
Ahora que hemos explorado qué es la XAI y sus técnicas clave, podemos ver cómo se utiliza en la vida real. La XAI tiene diversas aplicaciones en muchos campos. Veamos algunos casos de uso que ponen de manifiesto su potencial:
Sistemas de seguridad: La XAI puede utilizarse para mejorar los sistemas de seguridad detectando imágenes deformadas en documentos de identificación como pasaportes y permisos de conducir. Esto garantiza la autenticidad de las imágenes, refuerza los procesos de verificación de identidad y evita actividades fraudulentas en aplicaciones sensibles.
Fig. 4. Funcionamiento de XAI para detectar imágenes morfológicas.
Conducción autónoma: Comprender las capacidades y limitaciones del sistema Vision AI de a bordo de un coche de conducción autónoma puede ser una parte importante de las pruebas del coche antes de que se despliegue en las carreteras del mundo real. La XAI puede ayudar a las empresas automovilísticas a identificar y abordar los problemas con mayor claridad.
Sistemas jurídicos: Los sistemas de análisis de documentos basados en la visión se utilizan cada vez más en la toma de decisiones judiciales. La XAI favorece la obtención de resultados justos y permite analizar las sentencias automatizadas. También ayuda a los profesionales del Derecho a entender cómo un modelo de IA llega a sus decisiones.
Vigilancia de la fauna: Las cámaras trampa se utilizan a menudo para vigilar la vida salvaje y recopilar datos sobre las especies animales. XAI puede utilizarse para explicar cómo la IA clasifica estas especies en las imágenes. De este modo, los esfuerzos de conservación pueden ser más fiables y precisos.
Puntos clave sobre la IA explicable
La IA explicable facilita la comprensión de cómo funcionan los sistemas de IA y por qué toman determinadas decisiones. La transparencia sobre los modelos de IA genera confianza y responsabilidad. El conocimiento es poder y ayuda a que las innovaciones de la IA se utilicen de forma más responsable. En áreas críticas como la sanidad, la seguridad, la conducción autónoma y los sistemas jurídicos, la XAI puede utilizarse para ayudar a desarrolladores y usuarios a comprender las predicciones de la IA, identificar errores y garantizar un uso justo y ético. Al hacer que la IA sea más transparente, la XAI tiende un puente entre la tecnología y la confianza humana, haciéndola más segura y fiable para las aplicaciones del mundo real.
ES
EN
ZH
KO
JA
RU
DE
FR
PT
IT
TR
VI
AR
