Tout ce que tu dois savoir sur l’intelligence artificielle explicable (XAI)

As-tu déjà vu une réponse d’un outil d’intelligence artificielle (AI) comme ChatGPT et t’es-tu demandé comment il était arrivé à cette conclusion ? Tu as alors rencontré la problématique de la « boîte noire » de l’AI. Ce terme désigne le manque de clarté sur la façon dont les modèles d’AI traitent et analysent les données. Même les ingénieurs et les scientifiques qui travaillent régulièrement avec des algorithmes d’AI avancés peuvent avoir du mal à comprendre pleinement leur fonctionnement interne. En fait, seuls 22 % des professionnels de l’informatique comprennent réellement les capacités des outils d’AI.

L’incertitude entourant la façon dont les modèles d’AI prennent leurs décisions peut être risquée, notamment dans des domaines critiques comme la vision par ordinateur dans le secteur de la santé et l’AI en finance. Des progrès importants sont toutefois réalisés pour relever ces défis et améliorer la transparence.

En particulier, l’AI explicable (XAI) vise à résoudre ce problème. En termes simples, il s’agit d’un ensemble de processus et de méthodes qui aident les utilisateurs à comprendre et à faire confiance aux résultats ou aux sorties produits par des algorithmes complexes de machine learning.

L’XAI peut aider les développeurs à s’assurer que les systèmes d’AI fonctionnent comme prévu. Elle peut également aider les entreprises d’AI à respecter les normes réglementaires. Dans cet article, nous examinerons l’AI explicable et ses nombreux cas d’utilisation.

L’importance de l’IA explicable#

L’explicabilité est essentielle lorsqu’on travaille avec l’AI. C’est particulièrement vrai pour la vision par ordinateur, un sous-domaine de l’AI largement utilisé dans des secteurs comme la santé. Lorsque tu utilises des modèles de vision dans des secteurs aussi sensibles, il est important que leur fonctionnement soit transparent et interprétable par tous.

L’interprétabilité des modèles de vision par ordinateur aide les utilisateurs à mieux comprendre comment une prédiction a été obtenue et quelle logique la sous-tend. La transparence complète cette démarche en clarifiant le fonctionnement du modèle pour tout le monde, en exposant clairement ses limites et en garantissant une utilisation éthique des données. Par exemple, la vision par ordinateur peut aider les radiologues à repérer efficacement des problèmes de santé sur des radiographies.

Fig. 1. Radiographies thoraciques analysées à l’aide de l’IA visuelle, avec classification des cas de tuberculose comme sains, malades, actifs ou latents.

Cependant, un système de vision ne peut pas se contenter d’être précis. Il doit aussi pouvoir expliquer ses décisions. Imaginons que le système puisse montrer quelles parties de l’image l’ont amené à ses conclusions : ses résultats seraient alors plus clairs. Un tel niveau de transparence aiderait les professionnels de santé à vérifier leurs conclusions et à s’assurer que les soins prodigués aux patients respectent les normes médicales.

L’explicabilité est également essentielle, car elle responsabilise les entreprises d’IA et renforce la confiance des utilisateurs. Une IA digne de confiance permet aux utilisateurs d’avoir la certitude que les innovations en IA fonctionnent de manière fiable, prennent des décisions équitables et traitent les données de façon responsable.

Principales techniques d’IA explicable en vision par ordinateur#

Maintenant que nous avons vu pourquoi l’explicabilité est importante en vision par ordinateur, examinons les principales techniques d’XAI utilisées en IA visuelle.

Cartes de saillance#

Les réseaux neuronaux sont des modèles inspirés du cerveau humain, conçus pour reconnaître des motifs et prendre des décisions en traitant les données à travers des couches de nœuds (neurones) interconnectés. Ils peuvent résoudre des problèmes complexes de vision par ordinateur avec une grande précision. Malgré cette précision, ils restent par conception des boîtes noires.

Les cartes de saillance sont une technique d’XAI qui peut aider à comprendre ce que les réseaux de neurones voient lorsqu’ils analysent des images. Elles peuvent également servir à diagnostiquer les problèmes des modèles lorsqu’ils ne fonctionnent pas comme prévu.

Les cartes de saillance mettent en évidence les parties d’une image (les pixels) qui déterminent les prédictions d’un modèle. Ce processus est très similaire à la rétropropagation, qui permet au modèle de remonter des prédictions jusqu’à l’entrée. Mais au lieu de mettre à jour les poids du modèle en fonction des erreurs, on examine simplement l’importance de chaque pixel pour la prédiction. Les cartes de saillance sont très utiles pour des tâches de vision par ordinateur comme la classification d’images.

Par exemple, si un modèle de classification d’images prédit qu’une image représente un chien, sa carte de saillance permet de comprendre pourquoi le modèle pense qu’il s’agit d’un chien. Cela nous aide à déterminer quels pixels influencent le plus le résultat. La carte de saillance mettrait en évidence tous les pixels qui ont contribué à la prédiction finale selon laquelle l’image représente un chien.

Fig. 2. Vue côte à côte des images d’entrée et de leurs cartes de saillance.

Cartographie de l’activation des classes (CAM)#

La cartographie de l’activation des classes est une autre technique d’XAI qui sert à comprendre quelles parties d’une image un réseau neuronal examine lorsqu’il effectue des prédictions de classification d’images. Elle fonctionne comme les cartes de saillance, mais se concentre sur les caractéristiques importantes de l’image plutôt que sur des pixels précis. Les caractéristiques sont des motifs ou des détails, comme des formes ou des textures, que le modèle détecte dans l’image.

Des méthodes comme la cartographie d’activation de classe pondérée par le gradient (Grad-CAM) et Grad-CAM++ reprennent la même idée en y apportant quelques améliorations.

Voici comment fonctionne la CAM :

• Avant que le réseau neuronal ne prenne sa décision finale, il utilise une étape appelée pooling moyen global (GAP) pour simplifier les informations. Le GAP combine tous les pixels d’un motif détecté en une seule valeur moyenne, créant ainsi un résumé pour chaque carte de caractéristiques (représentation visuelle des motifs détectés).
• Un poids est ensuite attribué à chaque carte de caractéristiques pour indiquer son importance dans la prédiction d’une classe donnée (comme « oiseau » ou « chat »).
• Toutefois, l’une des limites de CAM est qu’il peut être nécessaire de réentraîner le modèle pour calculer ces poids, ce qui peut prendre beaucoup de temps.

Grad-CAM améliore cette approche en utilisant les gradients, qui indiquent dans quelle mesure chaque carte de caractéristiques influence la prédiction finale. Cette méthode évite d’avoir recours au GAP et permet de voir plus facilement sur quoi le modèle se concentre, sans le réentraîner. Grad-CAM++ va encore plus loin en se concentrant uniquement sur les influences positives, ce qui rend les résultats encore plus clairs. Les modèles Ultralytics YOLO peuvent enregistrer une carte thermique d’activation de classe similaire pour chaque image lorsque tu exécutes le mode de prédiction avec visualize=True.

Fig. 3. Comparaison de CAM, Grad-CAM et Grad-CAM++.

Explications contrefactuelles#

Les explications contrefactuelles sont un élément important de l’IA explicable. Une explication contrefactuelle décrit une situation ou un résultat en envisageant d’autres scénarios ou événements qui ne se sont pas produits, mais auraient pu se produire. Elle peut montrer comment des changements dans certaines variables d’entrée entraînent des résultats différents, par exemple : « Si X ne s’était pas produit, Y ne serait pas arrivé. »

En AI et en vision par ordinateur, une explication contrefactuelle identifie le plus petit changement à apporter à une entrée (comme une image ou des données) pour qu’un modèle d’AI produise un résultat différent et précis. Par exemple, modifier la couleur d’un objet dans une image pourrait faire passer la prédiction d’un modèle de classification d’images de « chat » à « chien ».

Un autre bon exemple consiste à modifier l’angle ou l’éclairage dans un système de reconnaissance faciale. Le modèle pourrait alors identifier une autre personne, ce qui montre comment de petits changements dans les données d’entrée peuvent influencer ses prédictions.

La façon la plus simple de produire ces explications consiste à procéder par essais et erreurs : tu peux modifier aléatoirement des parties de l’entrée (par exemple, des caractéristiques de l’image ou des données) jusqu’à ce que le modèle d’AI fournisse le résultat souhaité. D’autres méthodes comprennent les approches indépendantes du modèle, qui utilisent des techniques d’optimisation et de recherche pour trouver des modifications, et les approches propres au modèle, qui s’appuient sur ses paramètres internes ou ses calculs pour déterminer les changements nécessaires.

Applications de l’IA explicable en vision par ordinateur#

Maintenant que nous avons vu ce qu’est l’XAI et quelles sont ses principales techniques, examinons comment elle est utilisée concrètement. L’XAI trouve des applications variées dans de nombreux domaines. Voici quelques cas d’utilisation qui illustrent son potentiel :

• Systèmes de sécurité : l’XAI peut améliorer les systèmes de sécurité en détectant les images modifiées dans les pièces d’identité comme les passeports et les permis de conduire. Cela garantit l’authenticité des images, renforce les processus de vérification d’identité et prévient les activités frauduleuses dans les applications sensibles.

Fig. 4. Comment l’XAI détecte les images modifiées.

• Conduite autonome : comprendre les capacités et les limites du système d’IA visuelle embarqué d’une voiture autonome peut jouer un rôle majeur dans les essais du véhicule avant son déploiement sur les routes. L’XAI peut aider les constructeurs automobiles à repérer et à résoudre les problèmes plus clairement.
• Systèmes juridiques : les systèmes d’analyse documentaire reposant sur la vision sont de plus en plus utilisés dans la prise de décisions judiciaires. L’XAI favorise des résultats équitables et permet d’examiner les décisions automatisées. Elle aide également les professionnels du droit à comprendre comment un modèle d’AI parvient à ses décisions.
• Suivi de la faune : des pièges photographiques sont souvent utilisés pour surveiller la faune et collecter des données sur les espèces animales. L’XAI peut expliquer comment l’IA classe ces espèces dans les images. Les efforts de conservation gagnent ainsi en fiabilité et en précision.

Points clés sur l’IA explicable#

L’AI explicable permet de mieux comprendre le fonctionnement des systèmes d’AI et les raisons de certaines de leurs décisions. La transparence des modèles d’AI renforce la confiance et la responsabilisation. Dans des domaines critiques comme la santé, la sécurité, la conduite autonome et les systèmes juridiques, l’XAI peut aider les développeurs et les utilisateurs à comprendre les prédictions de l’AI, à repérer les erreurs et à garantir une utilisation équitable et éthique. En rendant l’AI plus transparente, l’XAI comble le fossé entre technologie et confiance humaine, pour la rendre plus sûre et plus fiable dans des applications réelles.

Pour en savoir plus, consulte notre dépôt GitHub et échange avec notre communauté. Découvre des applications de l’AI dans les voitures autonomes et en agriculture sur nos pages consacrées aux solutions.