Tout ce que tu dois savoir sur l’IA explicable (XAI)

As-tu déjà vu une réponse fournie par un outil d’intelligence artificielle (AI) comme ChatGPT et t’es-tu demandé comment il était parvenu à cette conclusion ? Tu as alors rencontré le problème de la « boîte noire » de l’AI. Ce terme désigne le manque de clarté concernant la façon dont les modèles d’AI traitent et analysent les données. Même les ingénieurs et les scientifiques spécialisés dans l’AI qui travaillent régulièrement avec des algorithmes d’AI de pointe peuvent avoir du mal à comprendre pleinement leur fonctionnement interne. En fait, seuls 22 % des professionnels de l’informatique comprennent réellement les capacités des outils d’AI.

L’incertitude entourant la manière dont les modèles d’AI prennent leurs décisions peut être risquée, notamment dans des domaines critiques comme la vision par ordinateur dans le secteur de la santé et l’AI dans la finance. Cependant, des progrès considérables sont réalisés pour relever ces défis et améliorer la transparence.

En particulier, l’IA explicable (XAI) se concentre exclusivement sur la résolution de ce problème. En termes simples, il s’agit d’un ensemble de processus et de méthodes qui aide les utilisateurs humains à comprendre et à faire confiance aux résultats ou sorties produits par des algorithmes complexes d’apprentissage automatique.

La XAI peut aider les développeurs à s’assurer que les systèmes d’AI fonctionnent comme prévu. Elle peut également aider les entreprises d’AI à respecter les normes réglementaires. Dans cet article, nous allons explorer l’IA explicable et son large éventail de cas d’utilisation. C’est parti !

L’importance de l’IA explicable#

L’explicabilité est essentielle lorsqu’on travaille avec l’AI. C’est particulièrement vrai pour le sous-domaine de l’AI qu’est la vision par ordinateur, largement utilisée dans des applications de secteurs comme la santé. Lorsqu’on utilise des modèles de vision dans ces secteurs sensibles, il est important que leur fonctionnement soit transparent et interprétable par tous.

L’interprétabilité des modèles de vision par ordinateur aide les utilisateurs à mieux comprendre comment une prédiction a été effectuée et quelle logique la sous-tend. La transparence renforce cette compréhension en rendant le fonctionnement du modèle clair pour tous, en exposant clairement ses limites et en garantissant une utilisation éthique des données. Par exemple, la vision par ordinateur peut aider les radiologues à identifier efficacement des complications médicales sur des radiographies.

Fig. 1. Radiographies thoraciques analysées à l’aide de l’AI de vision, montrant des classifications de tuberculose saine, malade, active et latente.

Cependant, un système de vision qui est seulement précis ne suffit pas. Le système doit également être capable d’expliquer ses décisions. Imaginons qu’il puisse montrer quelles parties de l’image ont conduit à ses conclusions : toutes les sorties seraient alors plus claires. Un tel niveau de transparence aiderait les professionnels de santé à vérifier leurs résultats et à s’assurer que les soins prodigués aux patients respectent les normes médicales.

Une autre raison pour laquelle l’explicabilité est essentielle est qu’elle responsabilise les entreprises d’AI et renforce la confiance des utilisateurs. Une AI digne de confiance permet aux utilisateurs d’être certains que les innovations en matière d’AI fonctionnent de manière fiable, prennent des décisions équitables et gèrent les données de manière responsable.

Principales techniques d’IA explicable en vision par ordinateur#

Maintenant que nous avons expliqué pourquoi l’explicabilité est importante en vision par ordinateur, examinons les principales techniques de XAI utilisées en vision par AI.

Cartes de saillance#

Les réseaux neuronaux sont des modèles inspirés du cerveau humain, conçus pour reconnaître des motifs et prendre des décisions en traitant les données à travers des couches interconnectées de nœuds (neurones). Ils peuvent être utilisés pour résoudre des problèmes complexes de vision par ordinateur avec une grande précision. Malgré cette précision, ils restent par conception des boîtes noires.

Les cartes de saillance sont une technique de XAI qui peut aider à comprendre ce que voient les réseaux neuronaux lorsqu’ils analysent des images. Elles peuvent également être utilisées pour résoudre les problèmes des modèles lorsqu’ils ne fonctionnent pas comme prévu.

Les cartes de saillance fonctionnent en se concentrant sur les parties d’une image (les pixels) qui définissent les prédictions d’un modèle. Ce processus est très similaire à la rétropropagation, dans laquelle le modèle remonte des prédictions jusqu’à l’entrée. Mais au lieu de mettre à jour les poids du modèle en fonction des erreurs, nous observons simplement dans quelle mesure chaque pixel « compte » pour la prédiction. Les cartes de saillance sont très utiles pour les tâches de vision par ordinateur, comme la classification d’images.

Par exemple, si un modèle de classification d’images prédit qu’une image représente un chien, nous pouvons examiner sa carte de saillance pour comprendre pourquoi le modèle pense qu’il s’agit d’un chien. Cela nous aide à identifier les pixels qui influencent le plus la sortie. La carte de saillance mettrait en évidence tous les pixels ayant contribué à la prédiction finale selon laquelle l’image représente un chien.

Fig. 2. Vue côte à côte des images d’entrée et de leurs cartes de saillance.

Cartographie de l’activation des classes (CAM)#

La cartographie de l’activation des classes est une autre technique de XAI utilisée pour comprendre sur quelles parties d’une image un réseau neuronal se concentre lorsqu’il effectue des prédictions de classification d’images. Elle fonctionne de manière similaire aux cartes de saillance, mais se concentre sur l’identification des caractéristiques importantes de l’image plutôt que sur des pixels spécifiques. Les caractéristiques sont des motifs ou des détails, comme des formes ou des textures, que le modèle détecte dans l’image.

Des méthodes comme la cartographie de l’activation des classes pondérée par les gradients (Grad-CAM) et Grad-CAM++ reposent sur la même idée, avec quelques améliorations.

Voici comment fonctionne la CAM :

• Avant que le réseau neuronal ne prenne sa décision finale, il utilise une étape appelée mise en commun moyenne globale (GAP) pour simplifier les informations. La GAP combine tous les pixels d’un motif détecté en une seule valeur moyenne, créant ainsi un résumé pour chaque carte de caractéristiques (une représentation visuelle des motifs détectés).
• Chaque carte de caractéristiques reçoit ensuite un poids indiquant son importance pour la prédiction d’une classe donnée (comme « oiseau » ou « chat »).
• Cependant, l’une des limites de la CAM est que tu peux avoir besoin de réentraîner le modèle pour calculer ces poids, ce qui peut prendre du temps.

Grad-CAM améliore cette approche en utilisant des gradients, qui agissent comme des signaux indiquant dans quelle mesure chaque carte de caractéristiques influence la prédiction finale. Cette méthode évite d’avoir recours à la GAP et permet de voir plus facilement sur quoi le modèle se concentre, sans le réentraîner. Grad-CAM++ va encore plus loin en se concentrant uniquement sur les influences positives, ce qui rend les résultats encore plus clairs.

Fig. 3. Comparaison de CAM, Grad-CAM et Grad-CAM++.

Explications contrefactuelles#

Les explications contrefactuelles constituent un élément important de l’IA explicable. Une explication contrefactuelle consiste à décrire une situation ou un résultat en envisageant des scénarios ou des événements alternatifs qui ne se sont pas produits, mais qui auraient pu se produire. Elle peut montrer comment des changements apportés à certaines variables d’entrée entraînent des résultats différents, par exemple : « Si X ne s’était pas produit, Y ne se serait pas produit. »

Dans le domaine de l’AI et de la vision par ordinateur, une explication contrefactuelle identifie la plus petite modification nécessaire d’une entrée (comme une image ou des données) pour qu’un modèle d’AI produise un résultat différent et précis. Par exemple, modifier la couleur d’un objet dans une image pourrait faire passer la prédiction d’un modèle de classification d’images de « chat » à « chien ».

Un autre bon exemple consiste à modifier l’angle ou l’éclairage dans un système de reconnaissance faciale. Cela pourrait amener le modèle à identifier une autre personne, montrant ainsi comment de petites modifications de l’entrée peuvent influencer ses prédictions.

La manière la plus simple de créer ces explications consiste à procéder par essais et erreurs : tu peux modifier aléatoirement certaines parties de l’entrée (comme les caractéristiques de l’image ou les données) jusqu’à ce que le modèle d’AI produise le résultat souhaité. D’autres méthodes comprennent les approches indépendantes du modèle, qui utilisent des techniques d’optimisation et de recherche pour trouver des modifications, ainsi que les approches spécifiques au modèle, qui s’appuient sur ses paramètres internes ou ses calculs pour identifier les changements nécessaires.

Applications de l’IA explicable en vision par ordinateur#

Maintenant que nous avons étudié ce qu’est la XAI et ses principales techniques, voyons comment elle est utilisée dans la vie réelle. La XAI possède diverses applications dans de nombreux domaines. Examinons quelques cas d’utilisation qui mettent en évidence son potentiel :

• Systèmes de sécurité : la XAI peut être utilisée pour renforcer les systèmes de sécurité en détectant les images falsifiées dans des documents d’identité comme les passeports et les permis de conduire. Cela garantit l’authenticité des images, renforce les processus de vérification d’identité et empêche les activités frauduleuses dans les applications sensibles.

Fig. 4. Comment la XAI fonctionne pour détecter les images falsifiées.

• Conduite autonome : comprendre les capacités et les limites du système d’AI de vision embarqué d’une voiture autonome peut constituer une étape majeure des tests effectués avant son déploiement sur les routes réelles. La XAI peut aider les constructeurs automobiles à identifier et à résoudre les problèmes plus clairement.

• Systèmes juridiques : les systèmes d’analyse de documents dotés de capacités de vision sont de plus en plus utilisés dans la prise de décisions judiciaires. La XAI favorise des résultats équitables et permet d’examiner les décisions automatisées. Elle aide également les professionnels du droit à comprendre comment un modèle d’AI parvient à ses décisions.

• Surveillance de la faune : les pièges photographiques sont souvent utilisés pour surveiller la faune et recueillir des données sur les espèces animales. La XAI peut servir à expliquer comment l’AI classe ces espèces dans les images. Les efforts de conservation peuvent ainsi être plus fiables et plus précis.

Points clés à retenir sur l’IA explicable#

L’IA explicable permet de comprendre plus facilement le fonctionnement des systèmes d’AI et les raisons de leurs décisions. La transparence des modèles d’AI renforce la confiance et la responsabilité. La connaissance, c’est le pouvoir, et elle contribue à une utilisation plus responsable des innovations en matière d’AI. Dans des domaines critiques comme la santé, la sécurité, la conduite autonome et les systèmes juridiques, la XAI peut aider les développeurs et les utilisateurs à comprendre les prédictions de l’AI, à identifier les erreurs et à garantir une utilisation équitable et éthique. En rendant l’AI plus transparente, la XAI comble le fossé entre la technologie et la confiance humaine, la rendant plus sûre et plus fiable pour les applications du monde réel.

Pour en savoir plus, consulte notre dépôt GitHub et échange avec notre communauté. Découvre les applications de l’AI dans les voitures autonomes et l’agriculture sur nos pages consacrées aux solutions. 🚀