Explainable AI (XAI)

L'IA explicable (XAI) désigne l'ensemble des méthodes qui rendent compréhensibles aux personnes les résultats des modèles d'intelligence artificielle (AI) : quelles entrées ont influencé une prédiction, comment un modèle se comporte globalement et dans quels cas ses réponses sont dignes de confiance. Les modèles d'apprentissage profond (DL), qui comptent des millions ou des milliards de paramètres, fonctionnent comme des boîtes noires : ils sont précis, mais opaques. L'XAI permet aux développeurs, aux utilisateurs, aux auditeurs et aux autorités de réglementation d'observer leur fonctionnement interne. Les explications servent à déboguer les modèles, à détecter les biais algorithmiques, à justifier les décisions auprès des personnes concernées et à respecter les exigences légales. Le programme Explainable AI de la DARPA, lancé en 2017, a popularisé le terme.

Explicabilité et interprétabilité#

Les deux termes sont souvent employés comme synonymes. Lorsque les chercheurs les distinguent, les modèles interprétables sont compréhensibles par conception, comme les modèles linéaires, les petits arbres de décision et les modèles à goulot d'étranglement conceptuel. Les méthodes d'explicabilité fournissent après coup des explications de modèles qui ne sont pas interprétables. Dans un article publié en 2019 dans Nature Machine Intelligence, Cynthia Rudin a soutenu que les décisions à fort enjeu devraient s'appuyer sur des modèles interprétables, car une explication a posteriori peut déformer les calculs réellement effectués par le modèle.

Deux termes voisins couvrent des notions plus larges ou plus approfondies. La transparence en IA concerne l'ouverture sur un système dans son ensemble, notamment ses sources de données, sa conception et l'usage prévu. L'interprétabilité mécaniste consiste à rétroconcevoir les circuits internes d'un réseau, une approche principalement utilisée pour les grands modèles de langage.

Types d'explications#

Les explications varient selon leur portée et le niveau d'accès dont elles ont besoin. Une explication locale justifie une prédiction donnée, par exemple le refus d'un prêt, tandis qu'une explication globale décrit le comportement de l'ensemble des prédictions, par exemple les caractéristiques les plus importantes dans l'ensemble. Les méthodes indépendantes du modèle le traitent comme une boîte noire et se contentent d'interroger ses entrées et ses sorties. Les méthodes spécifiques au modèle exploitent son fonctionnement interne, comme les gradients ou les poids d'attention.

Techniques courantes d’IA explicable#

• SHAP (explications additives de Shapley) : attribue à chaque caractéristique une part de la prédiction à l’aide des valeurs de Shapley issues de la théorie des jeux coopératifs, de sorte que les contributions correspondent exactement à la différence entre la prédiction et une valeur de référence.
• LIME (explications locales interprétables indépendantes du modèle) : perturbe plusieurs fois une entrée, enregistre les changements de prédiction et ajuste un modèle de substitution simple, comme un modèle linéaire parcimonieux, qui imite la boîte noire à proximité de cette entrée.
• Importance des caractéristiques par permutation : permute une caractéristique à la fois et mesure la baisse du score du modèle. Cette explication globale fonctionne avec n’importe quel modèle.
• Explications contrefactuelles : indiquent le plus petit changement à apporter à l’entrée pour inverser la décision, par exemple le revenu à partir duquel un prêt aurait été accordé.
• Cartes de saillance : mettent en évidence les pixels qui ont le plus influencé la sortie d’un modèle de vision. Les méthodes de carte d’activation de classe (CAM), comme Grad-CAM, pondèrent les cartes de caractéristiques d’un réseau selon les gradients du score de la classe prédite afin de produire une carte thermique approximative des éléments probants.

Ultralytics YOLO26 intègre une méthode CAM à la prédiction : définir visualize=True enregistre une carte thermique LayerCAM, qui pondère chaque position des cartes de caractéristiques entrant dans la tête de détection par son propre gradient positif en faveur de la classe prédite :

from ultralytics import YOLO

# Charger un détecteur YOLO26 préentraîné sur COCO
model = YOLO("yolo26n.pt")

# Enregistrer une carte thermique LayerCAM qui explique uniquement les détections de « person » (classe 0)
model.predict("https://ultralytics.com/images/bus.jpg", visualize=True, classes=[0])

Le dossier d’exécution contient désormais bus_cam.jpg, une carte thermique superposée à l’image où les couleurs chaudes indiquent les pixels qui ont augmenté les scores de la classe person.

Quand les explications induisent en erreur#

Une explication peut sembler convaincante tout en étant erronée sur le fonctionnement du modèle. Dans « Sanity Checks for Saliency Maps » (2018), des chercheurs ont randomisé les poids entraînés d’un réseau et constaté que plusieurs méthodes de saillance populaires produisaient des cartes presque identiques à celles d’origine, ce qui montrait que les cartes reflétaient davantage les contours de l’image d’entrée que ce que le modèle avait appris. Une étude de 2020 a montré qu’on pouvait envelopper un classificateur délibérément biaisé de manière à ce que LIME et SHAP signalent des caractéristiques anodines alors que les décisions sous-jacentes restaient discriminatoires. Les quatre principes de l’IA explicable du NIST répondent directement à ce problème : les explications doivent exister, être compréhensibles pour leur public et refléter fidèlement le fonctionnement du système, et le système doit fonctionner uniquement dans les conditions pour lesquelles il a été conçu.

Applications et réglementation#

• Analyse d’images médicales : les cartes thermiques permettent au radiologue de vérifier qu’un modèle a signalé une radiographie à cause de la lésion elle-même et de repérer les modèles qui s’appuient sur les marqueurs du scanner ou le texte incrusté dans l’image.
• Détection de raccourcis : dans l’article original sur LIME, les explications ont révélé qu’un classificateur husky-loup délibérément défectueux s’appuyait sur la neige en arrière-plan.
• Crédit et prêts : en vertu de l’Equal Credit Opportunity Act, les prêteurs américains doivent communiquer aux demandeurs les raisons principales précises d’un refus, sans exception pour les décisions prises par des algorithmes complexes.

Le RGPD donne aux personnes concernées par des décisions automatisées le droit d’obtenir des informations utiles sur la logique impliquée. L’article 13 de la législation européenne sur l’IA exige que les systèmes à haut risque soient suffisamment transparents pour que les déployeurs puissent interpréter leurs résultats, et l’article 86 donne à toute personne affectée par une décision fondée sur un système à haut risque le droit d’obtenir des explications claires et utiles sur le rôle du système d’IA et les principaux éléments de la décision.