Concept Bottleneck Models

I concept bottleneck models (CBMs) sono reti neurali che effettuano una previsione attraverso un livello intermedio di concetti comprensibili per l'uomo. Invece di mappare un input direttamente su un'etichetta finale, un CBM prevede prima attributi significativi—come “ala rossa”, “crepa superficiale” o “restringimento dell'articolazione”—e poi utilizza solo tali attributi per produrre la propria decisione. Questa struttura rende il modello più facile da ispezionare, analizzare per la correzione dei bug e correggere rispetto a un modello black-box convenzionale.

Come Funzionano i Concept Bottleneck Models#

Una neural network standard rappresenta spesso le informazioni in uno latent space opaco. Un CBM sostituisce una parte di tale rappresentazione nascosta con un vettore di concetti le cui dimensioni hanno significati definiti.

La sua pipeline di previsione ha due fasi principali:

1. Un predittore di concetti mappa l'input grezzo, come un'immagine, sui valori dei concetti.
2. Un predittore di obiettivi mappa tali valori dei concetti sulla classe o sul punteggio finale.

Ad esempio, un classificatore di uccelli potrebbe prevedere “becco nero”, “petto bianco” e “coda lunga” prima di identificare la specie. I concetti possono essere binari, categorici o continui. Di solito vengono appresi tramite supervised learning, richiedendo che ciascun esempio di addestramento includa sia le etichette di obiettivo che le annotazioni dei concetti.

Le due fasi possono essere addestrate in modo indipendente, sequenziale o congiunto. L'addestramento indipendente rende esplicita la separazione, mentre l'addestramento congiunto può bilanciare la qualità dei concetti rispetto alle prestazioni sul compito finale. In ogni caso, il collo di bottiglia dovrebbe limitare il predittore di obiettivi ai concetti dichiarati; in caso contrario, informazioni nascoste potrebbero aggirare la spiegazione prevista.

Perché l'Interpretabilità e l'Intervento Sono Importanti#

I CBM sono una forma di explainable AI intrinseca: la loro struttura interpretabile è integrata nella previsione anziché essere aggiunta in seguito. Questo differisce da strumenti post-hoc come le saliency maps, che stimano ciò che ha influenzato una scatola nera già addestrata.

Il livello dei concetti supporta diverse interazioni utili:

• Gli utenti possono ispezionare quali concetti hanno causato una decisione.
• Gli esperti di dominio possono correggere un concetto impreciso e ricalcolare l'output.
• Gli sviluppatori possono testare se il predittore di obiettivi segue una logica di dominio valida.
• I team possono misurare l'accuratezza dei concetti separatamente dall'accuratezza del compito finale.

Queste capacità sono in linea con le NIST guidance on explainable AI e con i controlli incentrati sull'uomo discussi nella People + AI Guidebook. Tuttavia, una spiegazione comprensibile non è automaticamente corretta. La fedeltà del concetto deve essere valutata anziché data per scontata.

Applicazioni nel mondo reale#

• Medical Image Analysis: Un modello che esamina una radiografia potrebbe stimare concetti come speroni ossei, restringimento dello spazio articolare e sclerosi prima di valutare la gravità della malattia. Un medico può esaminare o correggere questi risultati intermedi invece di ricevere solo un punteggio di gravità. Questa interazione uomo-modello è particolarmente rilevante per i FDA transparency principles for machine-learning medical devices.

• Manufacturing Visual Inspection: Un sistema di visione può identificare concetti come componenti mancanti, crepe, scolorimento o allineamento errato, per poi utilizzarli per decidere se un prodotto supera l'ispezione o richiede una riparazione specifica. L'Object detection può localizzare componenti e difetti, mentre il classificatore basato su concetti a valle fornisce una decisione di qualità verificabile.

Limitazioni e Concetti Correlati#

Le etichette dei concetti creano costi aggiuntivi di data annotation e possono richiedere competenze specialistiche. Concetti definiti in modo inadeguato possono essere soggettivi, correlati, incompleti o difficili da riconoscere dall'input. I team dovrebbero creare regole di etichettatura precise ed effettuare verifiche sui disaccordi tra i revisori delle annotazioni.

Altri rischi importanti includono errori di previsione dei concetti, punteggi non calibrati e concept leakage, in cui i valori dei concetti continui codificano informazioni non intenzionali oltre al loro significato dichiarato. Le linee guida sulla probability calibration possono aiutare a determinare se i valori di confidenza dei concetti sono affidabili.

Un CBM è anche diverso dal feature engineering: le feature ingegnerizzate sono input calcolati manualmente, mentre i concetti vengono normalmente previsti da dati grezzi ed esplicitamente supervisionati. Non è la stessa cosa del principio information bottleneck, che comprime le rappresentazioni senza richiedere che ogni dimensione sia leggibile dall'uomo.

Le prestazioni dei concetti dovrebbero essere verificate su fette di dati pertinenti perché annotazioni distorte o concetti mancanti possono produrre errori disuguali. La Google’s guidance for identifying ML bias e il NIST AI RMF Core forniscono utili pratiche di valutazione e governance.

Creazione di una Pipeline di Visione Pratica#

Un modello Ultralytics YOLO26 può fungere da estrattore di concetti visivi a monte. Il seguente Predict mode workflow raccoglie le classi di oggetti rilevati come segnali di concetto candidati:

from ultralytics import YOLO

# Load a pretrained visual concept extractor
model = YOLO("yolo26n.pt")

# Run inference and select the first result
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Convert detected classes into human-readable concept candidates
concepts = {result.names[int(class_id)] for class_id in result.boxes.cls}
print(sorted(concepts))

result.save(filename="concept_candidates.jpg")

Questo non è un CBM completo: un modello a valle deve comunque essere addestrato per prevedere l'obiettivo finale esclusivamente dai concetti selezionati. I team possono utilizzare Ultralytics Platform per annotare dati visivi, addestrare estrattori di concetti, confrontare esperimenti e monitorare i componenti distribuiti. Valuta l'accuratezza dei concetti, l'accuratezza degli obiettivi, la calibrazione, il comportamento di intervento e i sottogruppi importanti separatamente utilizzando un model evaluation workflow strutturato.