Al hacer clic en “Aceptar todas las cookies”, aceptas el almacenamiento de cookies en tu dispositivo para mejorar la navegación del sitio, analizar el uso del sitio y ayudar en nuestros esfuerzos de marketing. Más información
Configuración de cookies
Al hacer clic en “Aceptar todas las cookies”, aceptas el almacenamiento de cookies en tu dispositivo para mejorar la navegación del sitio, analizar el uso del sitio y ayudar en nuestros esfuerzos de marketing. Más información
Descubra cómo la IA explicable (XAI) genera confianza al hacer que las predicciones de la IA sean transparentes y fiables en la atención médica, la seguridad, la conducción autónoma y más.
¿Alguna vez has visto una respuesta de una herramienta de inteligencia artificial (IA) como ChatGPT y te has preguntado cómo llegó a esa conclusión? Entonces, te has encontrado con la preocupación de la "caja negra" de la IA. Es un término que se refiere a la falta de claridad sobre cómo los modelos de IA procesan y analizan los datos. Incluso los ingenieros y científicos de IA que trabajan habitualmente con algoritmos de IA de vanguardia pueden tener dificultades para comprender plenamente su funcionamiento interno. De hecho, solo el 22% de los profesionales de TI comprenden realmente las capacidades de las herramientas de IA.
La incertidumbre sobre cómo los modelos de IA toman decisiones puede ser arriesgada, especialmente en áreas críticas como la visión artificial en la atención médica y la IA en las finanzas. Sin embargo, se están realizando progresos significativos para abordar estos desafíos y mejorar la transparencia.
En particular, la IA explicable (XAI) se centra únicamente en resolver esta preocupación. En pocas palabras, es un conjunto de procesos y métodos que ayudan a los usuarios humanos a comprender y confiar en los resultados o salidas proporcionados por algoritmos complejos de aprendizaje automático.
La XAI puede ayudar a los desarrolladores a garantizar que los sistemas de IA funcionan como se espera. También puede ayudar a las empresas de IA a cumplir con las normas reglamentarias. En este artículo, exploraremos la IA explicable y su amplia gama de casos de uso. ¡Empecemos!
La importancia de la IA explicable
La explicabilidad es clave cuando se trabaja con IA. Esto es especialmente cierto cuando se trata del subcampo de la IA, la visión artificial, que se utiliza ampliamente en aplicaciones en industrias como la atención médica. Al utilizar modelos de visión en industrias tan sensibles, es importante que el funcionamiento del modelo sea transparente e interpretable para todos.
La interpretabilidad en los modelos de visión artificial ayuda a los usuarios a comprender mejor cómo se hizo una predicción y la lógica que la respalda. La transparencia se suma a esto al hacer que el funcionamiento del modelo sea claro para todos, al describir claramente las limitaciones del modelo y garantizar que los datos se utilicen de manera ética. Por ejemplo, la visión artificial puede ayudar a los radiólogos a identificar de manera eficiente las complicaciones de salud en las imágenes de rayos X.
Fig 1. Radiografías de tórax analizadas mediante IA de visión que muestran clasificaciones de tuberculosis sanas, enfermas, activas y latentes.
Sin embargo, un sistema de visión que solo es preciso no es suficiente. El sistema también debe ser capaz de explicar sus decisiones. Digamos que el sistema pudiera mostrar qué partes de la imagen llevaron a sus conclusiones; entonces, cualquier resultado sería más claro. Tal nivel de transparencia ayudaría a los profesionales médicos a verificar sus hallazgos y asegurarse de que la atención al paciente cumpla con los estándares médicos.
Otra razón por la que la explicabilidad es esencial es que hace que las empresas de IA sean responsables y genera confianza en los usuarios. Una IA confiable hace que los usuarios se sientan seguros de que las innovaciones de la IA funcionan de manera fiable, toman decisiones justas y manejan los datos de manera responsable.
Técnicas clave de IA explicable en visión artificial
Ahora que hemos analizado por qué la explicabilidad es importante en la visión artificial, echemos un vistazo a las técnicas clave de XAI utilizadas en Vision AI.
Mapas de prominencia
Las redes neuronales son modelos inspirados en el cerebro humano, diseñados para reconocer patrones y tomar decisiones procesando datos a través de capas interconectadas de nodos (neuronas). Se pueden utilizar para resolver problemas complejos de visión artificial con alta precisión. Incluso con esta precisión, siguen siendo cajas negras por diseño.
Los mapas de prominencia son una técnica XAI que se puede utilizar para ayudar a dar sentido a lo que las redes neuronales están viendo cuando analizan imágenes. También se puede utilizar para solucionar problemas de los modelos en caso de que no estén funcionando como se esperaba.
Los mapas de prominencia funcionan centrándose en qué partes de una imagen (píxeles) definen las predicciones de un modelo. Este proceso es muy similar a la retropropagación, donde el modelo rastrea hacia atrás desde las predicciones hasta la entrada. Pero en lugar de actualizar los pesos del modelo en función de los errores, solo estamos observando cuánto "importa" cada píxel para la predicción. Los mapas de prominencia son muy útiles para tareas de visión artificial como la clasificación de imágenes.
Por ejemplo, si un modelo de clasificación de imágenes predice que una imagen es de un perro, podemos observar su mapa de prominencia para entender por qué el modelo piensa que es un perro. Esto nos ayuda a identificar qué píxeles afectan más a la salida. El mapa de prominencia resaltaría todos los píxeles que contribuyeron a la predicción final de que la imagen es de un perro.
Fig 2. Una vista lado a lado de las imágenes de entrada y sus mapas de prominencia.
Mapeo de Activación de Clase (CAM)
El Mapeo de Activación de Clase es otra técnica XAI utilizada para comprender en qué partes de una imagen se enfoca una red neuronal al hacer predicciones de clasificación de imágenes. Funciona de manera similar a los mapas de prominencia, pero se enfoca en identificar características importantes en la imagen en lugar de píxeles específicos. Las características son patrones o detalles, como formas o texturas, que el modelo detecta en la imagen.
Métodos como el Mapeo de Activación de Clase Ponderado por Gradiente (Grad-CAM) y Grad-CAM++ se basan en la misma idea, con algunas mejoras.
Así es como funciona CAM:
Antes de que la red neuronal tome su decisión final, utiliza un paso llamado global average pooling (GAP) para simplificar la información. GAP combina todos los píxeles en un patrón detectado en un único valor promedio, creando un resumen para cada mapa de características (una representación visual de los patrones detectados).
A cada mapa de características se le da entonces un peso que muestra lo importante que es para predecir una cierta clase (como "pájaro" o "gato").
Sin embargo, una limitación de CAM es que es posible que deba volver a entrenar el modelo para calcular estos pesos, lo que puede llevar mucho tiempo.
Grad-CAM mejora esto mediante el uso de gradientes, que son como señales que muestran cuánto influye cada mapa de características en la predicción final. Este método evita la necesidad de GAP y facilita ver en qué se enfoca el modelo sin volver a entrenar. Grad-CAM++ va un paso más allá al centrarse solo en las influencias positivas, lo que hace que los resultados sean aún más claros.
Fig. 3. Comparación de CAM, Grad-CAM y Grad-CAM++.
Explicaciones contrafactuales
Las explicaciones contrafactuales son un elemento importante de la IA explicable. Una explicación contrafactual implica describir una situación o un resultado considerando escenarios o eventos alternativos que no ocurrieron pero que podrían haber ocurrido. Puede demostrar cómo los cambios en variables de entrada específicas conducen a resultados diferentes, como: "Si X no hubiera sucedido, Y no habría ocurrido".
Cuando se trata de la IA y la visión artificial, una explicación contrafactual identifica el cambio más pequeño necesario en una entrada (como una imagen o datos) para que un modelo de IA produzca un resultado diferente y específico. Por ejemplo, alterar el color de un objeto en una imagen podría cambiar la predicción de un modelo de clasificación de imágenes de "gato" a "perro".
Otro buen ejemplo sería cambiar el ángulo o la iluminación en un sistema de reconocimiento facial. Esto podría hacer que el modelo identificara a un individuo diferente, mostrando cómo pequeños cambios en la entrada pueden influir en las predicciones del modelo.
La forma más sencilla de crear estas explicaciones es mediante prueba y error: puedes cambiar aleatoriamente partes de la entrada (como características de la imagen o los datos) hasta que el modelo de IA te dé el resultado deseado. Otros métodos incluyen enfoques independientes del modelo, que utilizan optimización y técnicas de búsqueda para encontrar cambios, y enfoques específicos del modelo, que se basan en configuraciones o cálculos internos para identificar los cambios necesarios.
Aplicaciones de la IA explicable en la visión artificial
Ahora que hemos explorado qué es XAI y sus técnicas clave, podemos repasar cómo se usa en la vida real. XAI tiene diversas aplicaciones en muchos campos. Profundicemos en algunos casos de uso que resaltan su potencial:
Sistemas de seguridad: La XAI puede utilizarse para mejorar los sistemas de seguridad detectando imágenes alteradas en documentos de identificación como pasaportes y permisos de conducir. Esto garantiza la autenticidad de las imágenes, refuerza los procesos de verificación de identidad y previene actividades fraudulentas en aplicaciones sensibles.
Fig 4. Cómo funciona XAI para detectar imágenes alteradas.
Conducción autónoma: Comprender las capacidades y limitaciones del sistema de Visión Artificial a bordo de un coche autónomo puede ser una parte importante de la prueba del coche antes de que se despliegue en las carreteras del mundo real. XAI puede ayudar a las empresas automovilísticas a identificar y abordar los problemas con mayor claridad.
Sistemas legales: Los sistemas de análisis de documentos habilitados para la visión se utilizan cada vez más en la toma de decisiones judiciales. XAI apoya resultados justos y permite que se examinen las sentencias automatizadas. También ayuda a los profesionales del derecho a comprender cómo un modelo de IA llega a sus decisiones.
Monitoreo de la vida silvestre: Las cámaras trampa se utilizan a menudo para monitorear la vida silvestre y recopilar datos sobre especies animales. La XAI se puede utilizar para explicar cómo la IA clasifica estas especies en las imágenes. Al hacerlo, los esfuerzos de conservación pueden ser más fiables y precisos.
Conclusiones clave sobre la IA explicable
La IA explicable facilita la comprensión de cómo funcionan los sistemas de IA y por qué toman ciertas decisiones. La transparencia sobre los modelos de IA genera confianza y responsabilidad. El conocimiento es poder y ayuda a que las innovaciones de la IA se utilicen de manera más responsable. En áreas críticas como la atención médica, la seguridad, la conducción autónoma y los sistemas legales, la XAI se puede utilizar para ayudar a los desarrolladores y usuarios a comprender las predicciones de la IA, identificar errores y garantizar un uso justo y ético. Al hacer que la IA sea más transparente, la XAI cierra la brecha entre la tecnología y la confianza humana, haciéndola más segura y confiable para las aplicaciones del mundo real.
