IA explicable (XAI)

L'IA explicable (XAI) désigne un ensemble de processus, d'outils et de méthodes qui permettent aux utilisateurs humains de comprendre et de faire confiance aux résultats et aux produits créés par l'IA. les résultats créés par les algorithmes d'apprentissage par des algorithmes d'apprentissage automatique. En tant que systèmes d'intelligence artificielle (IA) d'intelligence artificielle (IA), en particulier dans le domaine de l'apprentissage l 'apprentissage profond, ils fonctionnent souvent comme des "boîtes noires". "boîtes noires". Cela signifie que même si le système peut produire une prédiction précise, la logique interne utilisée pour arriver à cette décision est opaque ou cachée à l'utilisateur. pour arriver à cette décision est opaque ou cachée à l'utilisateur. L'IAO vise à éclairer ce processus, en comblant le fossé entre les réseaux neuronaux complexes et l'homme. entre les réseaux neuronaux complexes et la compréhension l'homme.

L'importance de l'explicabilité

L'objectif premier de la XAI est de garantir que les systèmes d'IA sont transparents, interprétables et responsables. Ces éléments sont essentiels pour le débogage et l'amélioration des performances des modèles, mais il est tout aussi important pour établir la confiance avec les parties prenantes. Dans les domaines critiques pour la sécurité, les utilisateurs doivent vérifier que les décisions d'un modèle sont basées sur un raisonnement solide plutôt que sur des corrélations fallacieuses. sur des corrélations fallacieuses. Par exemple, le NIST AI Risk Management Framework (cadre de gestion des risques de l'IA du NIST ) met l'accent sur l'explicabilité comme une caractéristique clé des systèmes dignes de confiance. En outre, des réglementations émergentes telles que la loi sur l'IA de l'Union européenne l 'Union européenne établissent des normes juridiques qui exigent que les systèmes d'IA à haut risque fournissent des explications compréhensibles pour leurs décisions automatisées. les systèmes d'IA à haut risque de fournir des explications compréhensibles pour leurs décisions automatisées.

La mise en œuvre de l'XAI joue également un rôle essentiel dans le maintien de l'éthique de l'IA. l 'éthique de l'IA. En visualisant comment un modèle pondère différentes caractéristiques, les développeurs peuvent detect et les biais algorithmiques, garantissant ainsi une l 'équité dans les déploiements de l'IA. Des initiatives telles que le programme Explainable AI de la DARPA de la DARPA ont stimulé la recherche de techniques permettant de rendre ces outils puissants plus accessibles aux non-experts.

Techniques XAI courantes

Il existe plusieurs approches pour parvenir à l'explicabilité, souvent classées selon qu'elles sont agnostiques ou spécifiques à un modèle. spécifiques au modèle.

• SHAP (Shapley Additive exPlanations): Cette approche basée sur la théorie des jeux attribue une valeur de contribution à chaque caractéristique pour une prédiction spécifique. à chaque caractéristique pour une prédiction spécifique. Les valeurs SHAP fournissent une mesure unifiée de l'importance des caractéristiques, les utilisateurs voient exactement quelles entrées ont modifié les résultats du modèle.
• LIME (Local Interpretable Model-agnostic Explanations): Cette technique permet d'approximer un modèle complexe par un modèle plus simple localement autour d'une prédiction spécifique. LIME permet d'expliquer les prédictions individuelles en modifiant les entrées et en observant les modifications de la sortie, ce qui la rend très efficace pour les boîtes noires. et en observant comment la sortie change, ce qui la rend très efficace pour les modèles à boîte noire.
• Cartes de saillance: Largement utilisées en vision par ordinateur, les cartes de saillance les pixels d'une image qui ont eu le plus d'influence sur la décision du modèle. Des techniques telles que Grad-CAM (Gradient-weighted Class Activation Mapping) génèrent des des cartes thermiques superposées à l'image originale, montrant où le réseau neuronal à réseau neuronal convolutif a "regardé" pour identifier un objet.

Applications concrètes

L'IA explicable transforme les industries où la justification des décisions est aussi importante que la décision elle-même.

1. Soins de santé et diagnostics: Dans l'analyse l'analyse d'images médicales, les modèles d'IA radiologues en détectant des anomalies telles que des tumeurs. Un système compatible XAI ne se contente pas d'émettre une probabilité ; il met en évidence la région spécifique d'une radiographie ou d'une IRM qui a déclenché l'alerte. met en évidence la région spécifique d'une radiographie ou d'une IRM qui a déclenché l'alerte. Cela permet aux professionnels de la santé de de valider les résultats de l'IA par rapport à leur expertise, ce qui favorise une L 'IA dans les soins de santé.
2. Services financiers: Lorsque les banques utilisent l'IA pour l'évaluation du crédit, le rejet d'une demande de prêt nécessite une raison claire pour se conformer à des réglementations telles que la loi sur la protection des données. une raison claire pour se conformer à des réglementations telles que la loi sur l'égalité des chances en matière de crédit. Les outils d'IAO peuvent décomposer un refus en facteurs compréhensibles, tels qu'un "ratio dette/revenu élevé" ou des "antécédents de crédit insuffisants", offrant ainsi la transparence nécessaire aux clients et aux auditeurs. Les outils XAI peuvent décomposer un refus en facteurs compréhensibles - tels que "ratio dette/revenu élevé" ou "historique de crédit insuffisant" - offrant la transparence nécessaire aux clients et aux auditeurs.

Différencier les termes apparentés

Il est utile de distinguer l'IAO des concepts apparentés dans le glossaire de l'IA :

• XAI vs. Transparence dans l'IA: La transparence est un concept plus large qui fait référence à l'ouverture de l'ensemble du système, y compris les sources de données, l'architecture du modèle et les processus de développement. l'architecture du modèle et les processus de développement. L'IAO se concentre spécifiquement sur les méthodes permettant de rendre compréhensibles les résultats et le raisonnement du modèle. et le raisonnement du modèle sont compréhensibles. La transparence peut signifier le partage de la distribution des données d'apprentissage, alors que l'IAO explique pourquoi une entrée spécifique a produit un résultat spécifique.
• XAI et interprétabilité: Bien qu'elle soit souvent utilisée de manière interchangeable, l'interprétabilité fait généralement référence à la façon dont la structure d'un modèle est intrinsèquement compréhensible. la structure d'un modèle (comme un arbre de décision), alors que l'explicabilité se réfère souvent à la façon dont la structure d'un modèle est intrinsèquement compréhensible. (comme un arbre de décision), alors que l'explicabilité l'explicabilité implique souvent des méthodes post-hoc appliquées à des modèles complexes et non les réseaux neuronaux profonds.

Exemple de code : Interprétation des résultats de l'inférence

Lorsque l'on utilise des modèles tels que YOLO11 pour détection d'objetsLa compréhension du résultat est le premier pas vers l'explicabilité. premier pas vers l'explicabilité. Les ultralytics permet d'accéder facilement aux données de détection, qui servent de base à d'autres analyses ou visualisations XAI.

from ultralytics import YOLO

# Load the YOLO11 model (official pre-trained weights)
model = YOLO("yolo11n.pt")

# Run inference on an image to detect objects
results = model("https://ultralytics.com/images/bus.jpg")

# Display the annotated image to visually interpret what the model detected
# Visual inspection is a basic form of explainability for vision models.
results[0].show()

En visualisant les boîtes de délimitation et les étiquettes de classe, les utilisateurs peuvent effectuer une vérification de base par "test oculaire", un aspect fondamental de l'analyse des données. aspect fondamental de l'évaluation de l 'évaluation et du suivi des modèles. Pour des besoins plus Pour des besoins plus avancés, les chercheurs intègrent souvent ces sorties à des bibliothèques conçues pour l'attribution détaillée des caractéristiques.