Tout ce que tu dois savoir sur l'IA explicable (XAI)

As-tu déjà vu la réponse d'un outil d'intelligence artificielle (IA) comme ChatGPT en te demandant comment il est parvenu à cette conclusion ? Tu as alors fait face au problème de la « boîte noire » de l'IA. C'est un terme qui désigne le manque de clarté sur la façon dont les modèles d'IA traitent et analysent les données. Même les ingénieurs et scientifiques en IA qui travaillent régulièrement avec des algorithmes d'IA de pointe peuvent trouver difficile de comprendre pleinement leur fonctionnement interne. En fait, seuls 22 % des professionnels de l'informatique comprennent réellement les capacités des outils d'IA.

L'incertitude entourant la manière dont les modèles d'IA prennent des décisions peut s'avérer risquée, en particulier dans des domaines critiques tels que la computer vision dans le secteur de la santé et l'IA dans la finance. Néanmoins, des progrès significatifs sont réalisés pour relever ces défis et améliorer la transparence.

En particulier, l'explainable AI (XAI) se concentre uniquement sur la résolution de ce problème. En clair, il s'agit d'un ensemble de processus et de méthodes qui aident les utilisateurs humains à comprendre et à faire confiance aux résultats fournis par des algorithmes de machine learning complexes.

La XAI peut aider les développeurs à s'assurer que les systèmes d'IA fonctionnent comme prévu. Elle peut également aider les entreprises d'IA à respecter les normes réglementaires. Dans cet article, nous allons explorer l'IA explicable et sa grande variété de cas d'usage. C'est parti !

L'importance de l'IA explicable#

L'explicabilité est essentielle lorsqu'on travaille avec l'IA. C'est particulièrement vrai pour le sous-domaine de l'IA qu'est la computer vision, largement utilisée dans des secteurs comme la santé. Lorsque l'on utilise des vision models dans des secteurs aussi sensibles, il importe que le fonctionnement du modèle soit transparent et interprétable par tout le monde.

L'interprétabilité dans les modèles de computer vision aide les utilisateurs à mieux comprendre comment une prédiction a été faite et la logique qui se cache derrière. La transparence y ajoute en clarifiant le fonctionnement du modèle pour tous, en délimitant nettement ses limites et en garantissant une utilisation éthique des données. Par exemple, la computer vision peut aider les radiologues à identifier efficacement des complications de santé dans des images de radiographie.

Fig 1. Radiographies thoraciques analysées à l'aide de la vision AI montrant des classifications de tuberculose saine, malade, active et latente.

Cependant, un système de vision qui est simplement précis ne suffit pas. Le système doit également être capable d'expliquer ses décisions. Imaginons qu'il puisse montrer quelles parties de l'image ont conduit à ses conclusions : les résultats seraient alors plus clairs. Un tel niveau de transparence aiderait les professionnels de santé à vérifier leurs observations et à s'assurer que les soins aux patients répondent aux normes médicales.

L'explicabilité est également essentielle car elle responsabilise les entreprises d'IA et renforce la confiance des utilisateurs. Une IA digne de confiance donne aux utilisateurs l'assurance que les innovations en IA fonctionnent de manière fiable, prennent des décisions équitables et gèrent les données de façon responsable.

Techniques clés d'IA explicable en vision par ordinateur#

Maintenant que nous avons discuté de l'importance de l'explicabilité dans la vision par ordinateur, jetons un coup d'œil aux techniques de XAI clés utilisées dans l'IA de vision.

Cartes de saillance#

Neural networks sont des modèles inspirés du cerveau humain, conçus pour reconnaître des motifs et prendre des décisions en traitant des données à travers des couches interconnectées de nœuds (neurones). Ils peuvent être utilisés pour résoudre des problèmes complexes de computer vision avec une grande précision. Malgré cette précision, ils restent par conception des boîtes noires.

Les cartes de saillance sont une technique de XAI qui peut être utilisée pour aider à comprendre ce que les réseaux neuronaux voient lorsqu'ils analysent des images. Elles peuvent aussi servir à déboguer les modèles s'ils ne fonctionnent pas comme prévu.

Les cartes de saillance fonctionnent en ciblant les parties d'une image (les pixels) qui définissent les prédictions d'un modèle. Ce processus est très similaire à la backpropagation, où le modèle remonte des prédictions vers l'entrée. Mais au lieu de mettre à jour les poids du modèle en fonction des erreurs, nous examinons simplement à quel point chaque pixel « compte » pour la prédiction. Les cartes de saillance sont très utiles pour les tâches de computer vision telles que la classification d'images.

Par exemple, si un modèle de classification d'images prédit qu'une image représente un chien, nous pouvons observer sa carte de saillance pour comprendre pourquoi le modèle le pense. Cela nous aide à identifier les pixels qui influencent le plus le résultat. La carte de saillance mettrait en surbrillance tous les pixels ayant contribué à la prédiction finale selon laquelle l'image est un chien.

Fig 2. Vue côte à côte des images d'entrée et de leurs cartes de saillance.

Class Activation Mapping (CAM)#

La Class Activation Mapping est une autre technique de XAI utilisée pour comprendre sur quelles parties d'une image un neural network se concentre lors de prédictions de classification d'images. Elle fonctionne de manière similaire aux cartes de saillance, mais en se concentrant sur l'identification de caractéristiques importantes dans l'image plutôt que sur des pixels spécifiques. Les features sont des motifs ou des détails, comme des formes ou des textures, que le modèle détecte dans l'image.

Des méthodes comme le Gradient Weighted Class Activation Mapping (Grad-CAM) et Grad-CAM++ reposent sur la même idée, avec quelques améliorations.

Voici comment fonctionne le CAM :

• Avant que le réseau neuronal ne prenne sa décision finale, il utilise une étape appelée pooling moyen global (GAP) pour simplifier les informations. Le GAP combine tous les pixels d'un motif détecté en une valeur moyenne unique, créant un résumé pour chaque carte de caractéristiques (une représentation visuelle des motifs détectés).
• Chaque carte de caractéristiques reçoit ensuite un poids qui montre à quel point elle est importante pour prédire une classe donnée (comme « oiseau » ou « chat »).
• Toutefois, une limite de CAM est qu'il peut être nécessaire de réentraîner le modèle pour calculer ces poids, ce qui peut prendre du temps.

Grad-CAM améliore cela en utilisant des gradients, qui agissent comme des signaux montrant l'influence de chaque feature map sur la prédiction finale. Cette méthode évite le besoin de GAP et permet de voir plus facilement sur quoi le modèle se concentre sans réentraînement. Grad-CAM++ va encore plus loin en se focalisant uniquement sur les influences positives, ce qui rend les résultats encore plus clairs.

Fig 3. Comparaison de CAM, Grad-CAM et Grad-CAM++.

Explications contrefactuelles#

Les explications contrefactuelles sont un élément important de l'IA explicable. Une explication contrefactuelle implique de décrire une situation ou un résultat en considérant des scénarios ou des événements alternatifs qui ne se sont pas produits mais qui auraient pu se produire. Elle peut démontrer comment les changements dans des variables d'entrée spécifiques conduisent à des résultats différents, tels que : « Si X ne s'était pas produit, Y ne se serait pas produit. »

En matière d'IA et de computer vision, une explication contrefactuelle identifie la plus petite modification requise dans une entrée (telle qu'une image ou des données) pour amener un modèle d'IA à produire un résultat différent et spécifique. Par exemple, modifier la couleur d'un objet dans une image pourrait changer la prédiction d'un modèle de classification d'images de « chat » à « chien ».

Un autre bon exemple serait de modifier l'angle ou l'éclairage dans un système de reconnaissance faciale. Cela pourrait amener le modèle à identifier un individu différent, démontrant comment de petits changements dans l'entrée peuvent influencer ses prédictions.

La façon la plus simple de créer ces explications est par essai-erreur : tu peux modifier aléatoirement des parties de l'entrée (comme des caractéristiques de l'image ou des données) jusqu'à ce que le modèle d'IA te donne le résultat souhaité. D'autres méthodes incluent les approches agnostiques au modèle, qui utilisent des techniques d'optimisation et de recherche pour trouver des modifications, ainsi que les approches spécifiques au modèle, qui s'appuient sur des paramètres internes ou des calculs pour identifier les changements nécessaires.

Applications de l'IA explicable dans la vision par ordinateur#

Maintenant que nous avons exploré ce qu'est la XAI et ses techniques clés, nous pouvons passer en revue la façon dont elle est utilisée dans la vie réelle. La XAI a des applications diverses dans de nombreux domaines. Plongeons dans quelques cas d'utilisation qui mettent en évidence son potentiel :

• Security systems : La XAI peut servir à renforcer les systèmes de sécurité en détectant les images altérées dans des documents d'identité tels que les passeports et les permis de conduire. Cela garantit l'authenticité des images, renforce les processus de vérification d'identité et prévient les activités frauduleuses dans les applications sensibles.

Fig 4. Comment la XAI fonctionne pour détecter les images modifiées.

• Autonomous driving : Comprendre les capacités et les limites du système de vision embarqué par IA d'une voiture autonome peut représenter une part majeure des tests du véhicule avant son déploiement sur les routes réelles. La XAI peut aider les constructeurs automobiles à identifier et à résoudre les problèmes plus clairement.

• Legal systems : Les systèmes d'analyse de documents dopés à la vision sont de plus en plus utilisés dans la prise de décision judiciaire. La XAI favorise des résultats équitables et permet d'examiner les jugements automatisés. Elle aide également les professionnels du droit à comprendre comment un modèle d'IA parvient à ses décisions.

• Wildlife monitoring : Des pièges photographiques sont souvent utilisés pour surveiller la faune et recueillir des données sur les espèces animales. La XAI peut être employée pour expliquer comment l'IA classe ces espèces dans les images. De cette façon, les efforts de conservation peuvent être plus fiables et précis.

Points clés à retenir sur l'IA explicable#

L'IA explicable permet de mieux comprendre comment les systèmes d'IA fonctionnent et pourquoi ils prennent certaines décisions. La transparence concernant les modèles d'IA renforce la confiance et la responsabilité. Le savoir, c'est le pouvoir, et cela aide à utiliser les innovations en IA de manière plus responsable. Dans des domaines critiques comme la santé, la sécurité, la conduite autonome et les systèmes juridiques, la XAI peut être utilisée pour aider les développeurs et les utilisateurs à comprendre les prédictions de l'IA, à identifier les erreurs et à garantir une utilisation juste et éthique. En rendant l'IA plus transparente, la XAI comble le fossé entre la technologie et la confiance humaine, la rendant plus sûre et plus fiable pour des applications réelles.

Pour en savoir plus, visite notre dépôt GitHub et échange avec notre communauté. Découvre les applications de l'IA dans les voitures autonomes et l'agriculture sur nos pages de solutions. 🚀