IA explicable (XAI)

L'IA explicable (XAI) désigne un ensemble complet de processus, d'outils et de méthodes conçus pour rendre les résultats des systèmes d'intelligence artificielle (IA) compréhensibles pour les utilisateurs humains. À mesure que les organisations déploient de plus en plus de d'apprentissage automatique (ML), en particulier dans le domaine de l'apprentissage profond (DL), ces systèmes fonctionnent souvent comme des « boîtes noires ». Si un modèle de boîte noire peut fournir des prédictions très précises, sa logique décisionnelle interne reste opaque. L'IA explicable vise à éclairer ce processus, en aidant les parties prenantes à comprendre pourquoi une décision spécifique a été prise, ce qui est essentiel pour renforcer la confiance, garantir la sécurité et respecter la conformité réglementaire .

L'importance de l'explicabilité

La demande de transparence dans la prise de décision automatisée favorise l'adoption de l'XAI dans tous les secteurs. La confiance est un facteur primordial ; les utilisateurs sont moins enclins à se fier à la modélisation prédictive s'ils ne peuvent pas vérifier le raisonnement qui la sous-tend. Cela est particulièrement pertinent dans les environnements à haut risque où les erreurs peuvent avoir de graves conséquences.

• Conformité réglementaire : De nouveaux cadres juridiques, tels que la loi européenne sur l'IA et le règlement général sur la protection des données (RGPD), exigent de plus en plus que les systèmes d'IA à haut risque fournissent des explications interprétables pour leurs décisions.
• IA éthique : la mise en œuvre de l'XAI est une pierre angulaire de l' éthique de l'IA. En révélant les caractéristiques qui influencent les résultats d'un modèle, les développeurs peuvent identifier et atténuer les biais algorithmiques, garantissant ainsi que le système fonctionne de manière équitable pour toutes les catégories démographiques.
• Débogage des modèles : pour les ingénieurs, l'explicabilité est essentielle pour la surveillance des modèles. Elle aide à diagnostiquer pourquoi un modèle peut échouer dans des cas limites spécifiques ou souffrir d'une dérive des données, ce qui permet un réentraînement plus ciblé.

Techniques courantes dans XAI

Il existe différentes techniques pour rendre les réseaux neuronaux plus transparents, souvent classées selon qu'elles sont indépendantes du modèle (applicables à n'importe quel algorithme) ou spécifiques au modèle.

• SHAP (SHapley Additive exPlanations) : Basées sur la théorie des jeux coopératifs, les valeurs SHAP attribuent un score de contribution à chaque caractéristique pour une prédiction donnée, expliquant dans quelle mesure chaque entrée a modifié le résultat par rapport à la base de référence.
• LIME (Local Interpretable Model-agnostic Explanations) : cette méthode approxime un modèle complexe avec un modèle plus simple et interprétable (comme un modèle linéaire) localement autour d'une prédiction spécifique. LIME aide à expliquer les instances individuelles en perturbant les entrées et en observant les changements de sortie.
• Cartes de saillance : largement utilisées en vision par ordinateur (CV), ces visualisations mettent en évidence les pixels d'une image qui ont le plus influencé la décision du modèle. Des méthodes telles que Grad-CAM créent des cartes thermiques pour montrer où un modèle a « regardé » pour identifier un objet.

Applications concrètes

L'IA explicable est essentielle dans les secteurs où le « pourquoi » est tout aussi important que le « quoi ».

1. Diagnostic médical : dans le domaine de l' analyse d'images médicales, il ne suffit pas qu'une IA signale simplement une radiographie comme anormale. Un système compatible avec l'IA expliquée (XAI) met en évidence la région spécifique du poumon ou de l' os qui a déclenché l'alerte. Cette preuve visuelle permet aux radiologues de valider les conclusions du modèle, facilitant ainsi une adoption plus sûre de l'IA dans le domaine de la santé.
2. Services financiers : lorsque les banques utilisent des algorithmes pour évaluer la solvabilité, le rejet d'une demande de prêt nécessite une justification claire afin de se conformer à des lois telles que l' Equal Credit Opportunity Act. Les outils XAI peuvent décomposer un refus en facteurs compréhensibles, tels que « ratio dette/revenu trop élevé », favorisant ainsi l'équité dans l'IA et permettant aux demandeurs de résoudre les problèmes spécifiques.

Distinguer les termes apparentés

Il est utile de différencier le XAI des concepts similaires dans le glossaire de l'IA :

• XAI vs transparence dans l'IA: La transparence est un concept plus large qui englobe l'ouverture de l'ensemble du système, y compris les sources de données et les processus de développement. La XAI se concentre spécifiquement sur les techniques utilisées pour rendre compréhensible le raisonnement derrière l'inférence. La transparence peut impliquer la publication des pondérations du modèle, tandis que la XAI explique pourquoi ces pondérations ont produit un résultat spécifique.
• XAI vs. Interprétabilité : L'interprétabilité fait souvent référence à des modèles qui sont intrinsèquement compréhensibles de par leur conception, tels que les arbres de décision ou la régression linéaire. La XAI implique généralement des méthodes post-hoc appliquées à des modèles complexes et non interprétables, tels que les réseaux neuronaux convolutifs profonds (CNN).

Exemple de code : visualisation de l'inférence à des fins d'explication

Une étape fondamentale dans l'explicabilité de la vision par ordinateur consiste à visualiser les prédictions du modèle directement sur l'image. Alors que l'XAI avancée utilise des cartes thermiques, l'affichage des cadres de sélection et des scores de confiance fournit un aperçu immédiat de ce que le modèle a détecté. À l'aide du ultralytics paquet avec des modèles à la pointe de la technologie tels que YOLO26, les utilisateurs peuvent facilement inspecter les résultats de détection.

from ultralytics import YOLO

# Load a pre-trained YOLO26 model (Nano version)
model = YOLO("yolo26n.pt")

# Run inference on an image
results = model("https://ultralytics.com/images/bus.jpg")

# Visualize the results
# This displays the image with bounding boxes, labels, and confidence scores,
# acting as a basic visual explanation of the model's detection logic.
results[0].show()

Cette visualisation simple sert de contrôle de cohérence, une forme basique d'explicabilité qui confirme que le modèle prend en compte les objets pertinents dans la scène pendant les tâches de détection d'objets. Pour des workflows plus avancés impliquant la gestion d'ensembles de données et la visualisation de l'entraînement des modèles, les utilisateurs peuvent exploiter Ultralytics . Les chercheurs étendent souvent cette approche en accédant aux cartes de caractéristiques sous-jacentes pour une analyse plus approfondie décrite dans les principes XAI du NIST.