Concept Bottleneck Models

Les modèles à goulot d'étranglement conceptuel (CBM) sont des réseaux de neurones qui effectuent une prédiction par l'intermédiaire d'une couche intermédiaire de concepts compréhensibles par l'humain. Au lieu de mapper une entrée directement sur une étiquette finale, un CBM prédit d'abord des attributs significatifs — tels que « aile rouge », « fissure de surface » ou « pincement articulaire » — puis utilise uniquement ces attributs pour produire sa décision. Cette structure rend le modèle plus facile à inspecter, à déboguer et à corriger qu'un modèle de boîte noire conventionnel.

Comment fonctionnent les modèles à goulot d'étranglement conceptuel#

Un réseau de neurones standard représente souvent l'information dans un espace latent opaque. Un CBM remplace une partie de cette représentation cachée par un vecteur de concepts dont les dimensions ont des significations définies.

Son pipeline de prédiction comporte deux étapes principales :

1. Un prédicteur de concepts mappe une entrée brute, telle qu'une image, vers des valeurs de concepts.
2. Un prédicteur de cible mappe ces valeurs de concepts vers la classe ou le score final.

Par exemple, un classificateur d'oiseaux peut prédire « bec noir », « poitrine blanche » et « longue queue » avant d'identifier l'espèce. Les concepts peuvent être binaires, catégoriels ou continus. Ils sont généralement appris par apprentissage supervisé, ce qui exige que chaque exemple d'entraînement comprenne à la fois des étiquettes cibles et des annotations de concepts.

Les deux étapes peuvent être entraînées indépendamment, séquentiellement ou conjointement. L'entraînement indépendant rend la séparation explicite, tandis que l'entraînement conjoint permet d'équilibrer la qualité des concepts par rapport aux performances de la tâche finale. Dans tous les cas, le goulot d'étranglement doit restreindre le prédicteur de cible aux concepts déclarés ; sinon, des informations cachées risquent de contourner l'explication prévue.

Pourquoi l'interprétabilité et l'intervention comptent#

Les CBM constituent une forme d'intelligence artificielle explicable intrinsèque : leur structure interprétable est intégrée à la prédiction plutôt que d'être ajoutée après coup. Cela diffère des outils a posteriori tels que les cartes de saillance, qui estiment ce qui a influencé une boîte noire déjà entraînée.

La couche de concepts prend en charge plusieurs interactions utiles :

• Les utilisateurs peuvent inspecter quels concepts ont provoqué une décision.
• Les experts du domaine peuvent corriger un concept inexact et recalculer la sortie.
• Les développeurs peuvent tester si le prédicteur de cible suit une logique de domaine valide.
• Les équipes peuvent mesurer la précision des concepts séparément de la précision de la tâche finale.

Ces capacités s'alignent sur les recommandations du NIST concernant l'IA explicable et les contrôles axés sur l'humain abordés dans le Guide People + AI. Cependant, une explication compréhensible n'est pas automatiquement correcte. La fidélité des concepts doit être évaluée plutôt que présumée.

Applications concrètes#

• Analyse d'images médicales : Un modèle examinant une radiographie peut estimer des concepts tels que des excroissances osseuses, le pincement de l'espace articulaire et la sclérose avant de grader la sévérité de la maladie. Un clinicien peut examiner ou corriger ces résultats intermédiaires au lieu de recevoir uniquement un score de sévérité. Cette interaction homme-modèle est particulièrement pertinente pour les principes de transparence de la FDA pour les dispositifs médicaux d'apprentissage automatique.

• Inspection visuelle industrielle : Un système de vision peut identifier des concepts tels que des composants manquants, des fissures, une décoloration ou un mauvais alignement, puis les utiliser pour décider si un produit réussit l'inspection ou nécessite une réparation particulière. La détection d'objets peut localiser les composants et les défauts, tandis que le classificateur basé sur les concepts en aval fournit une décision de qualité vérifiable.

Limitations et concepts connexes#

Les étiquettes de concepts engendrent des coûts supplémentaires d'annotation de données et peuvent nécessiter des connaissances spécialisées. Des concepts mal définis peuvent être subjectifs, corrélés, incomplets ou difficiles à reconnaître à partir de l'entrée. Les équipes doivent créer des règles d'étiquetage précises et auditer les désaccords entre annotateurs.

Parmi les autres risques importants figurent les erreurs de prédiction de concepts, les scores non calibrés et la fuite de concepts, où des valeurs de concepts continus codent des informations non intentionnelles au-delà de leur signification déclarée. Les recommandations sur la calibration des probabilités peuvent aider à déterminer si les valeurs de confiance des concepts sont fiables.

Un CBM est également différent de l'ingénierie des caractéristiques : les caractéristiques ingénierisées sont des entrées calculées manuellement, tandis que les concepts sont normalement prédits à partir de données brutes et explicitement supervisés. Il ne s'agit pas non plus du principe du goulot d'étranglement de l'information, qui compresse les représentations sans exiger que chaque dimension soit lisible par l'humain.

Les performances des concepts doivent être vérifiées sur des tranches de données pertinentes, car des annotations biaisées ou des concepts manquants peuvent produire des erreurs inégales. Les directives de Google pour l'identification des biais de l'IA et le NIST AI RMF Core fournissent des pratiques utiles d'évaluation et de gouvernance.

Construire un pipeline de vision pratique#

Un modèle Ultralytics YOLO26 peut agir comme un extracteur de concepts visuels en amont. Le flux de travail du mode Predict suivant recueille les classes d'objets détectées en tant que signaux de concepts candidats :

from ultralytics import YOLO

# Load a pretrained visual concept extractor
model = YOLO("yolo26n.pt")

# Run inference and select the first result
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Convert detected classes into human-readable concept candidates
concepts = {result.names[int(class_id)] for class_id in result.boxes.cls}
print(sorted(concepts))

result.save(filename="concept_candidates.jpg")

Il ne s'agit pas d'un CBM complet : un modèle en aval doit encore être entraîné pour prédire la cible finale exclusivement à partir des concepts sélectionnés. Les équipes peuvent utiliser Ultralytics Platform pour annoter des données visuelles, entraîner des extracteurs de concepts, comparer des expériences et surveiller les composants déployés. Évaluez séparément la précision des concepts, la précision de la cible, la calibration, le comportement d'intervention et les sous-groupes importants à l'aide d'un flux de travail d'évaluation de modèle structuré.