Concept Bottleneck Models

Ein Konzept-Engpassmodell (CBM) ist ein neuronales Netzwerk, das zunächst eine Reihe von Konzepten mit menschlich verständlichen Bezeichnungen aus seiner Eingabe vorhersagt und anschließend die endgültige Bezeichnung ausschließlich anhand dieser Konzepte bestimmt. Bei einer Röntgenaufnahme des Knies könnten die Konzepte eine Gelenkspaltverschmälerung und Knochensporne sein; bei einem Vogelfoto die Flügelfarbe und die Schnabelform. Da jede Vorhersage diese schmale, beschriftete Ebene durchläuft, kann eine Person erkennen, welche Konzepte die Entscheidung beeinflusst haben, und ein falsches Konzept korrigieren, um das Ergebnis zu ändern. Dadurch sind CBMs eine in die Architektur integrierte Form von erklärbarer KI (XAI). Pang Wei Koh, Thao Nguyen, Yew Siang Tang, Stephen Mussmann, Emma Pierson, Been Kim und Percy Liang von Stanford und Google führten den Begriff 2020 auf der ICML in Concept Bottleneck Models ein. Sie zeigten bei zwei Aufgaben eine mit herkömmlichen End-to-End-Modellen vergleichbare Genauigkeit: der Einstufung von Kniearthrose anhand von Röntgenaufnahmen und der Identifizierung von Vogelarten.

So funktionieren Konzept-Bottleneck-Modelle#

Ein CBM besteht aus zwei Teilen: einem Konzeptprädiktor, der die Eingabe, etwa ein Bild, auf Konzeptwerte abbildet, und einem Bezeichnungsprädiktor, der diese Konzeptwerte auf die Ausgabe abbildet. Koh et al. verglichen drei Trainingsmethoden:

• Unabhängig: Der Konzeptprädiktor lernt anhand von Konzeptannotationen und der Bezeichnungsprädiktor anhand der tatsächlichen Konzepte; beide werden separat trainiert.
• Sequenziell: Zuerst wird der Konzeptprädiktor trainiert. Anschließend lernt der Bezeichnungsprädiktor anhand seiner vorhergesagten Konzepte.
• Gemeinsam: Beide Teile werden zusammen anhand einer gewichteten Summe aus Konzeptverlust und Bezeichnungsverlust trainiert.

Im Datensatz der Osteoarthritis Initiative mit 36.369 Knie-Röntgenaufnahmen, die nach dem Schweregrad der Kellgren-Lawrence-Klassifikation beschriftet waren, bestanden die Konzepte aus 10 ordinalen Befunden, die Radiologen bereits beurteilen, etwa Gelenkspaltverschmälerung, Knochenspornen und Knochenverdichtung. Im Caltech-UCSD Birds-Datensatz mit 11.788 Fotos von 200 Arten waren es 112 binäre Merkmale wie Flügelfarbe und Schnabelform. Jedes Trainingsbeispiel benötigt sowohl Konzept- als auch Klassen-Annotationen, was den größten Kostenfaktor des Ansatzes darstellt.

Der Engpass ermöglicht Eingriffe zur Testzeit: Wenn ein Experte erkennt, dass ein vorhergesagtes Konzept falsch ist, ersetzt er es durch den korrekten Wert, woraufhin der Bezeichnungsprädiktor die Ausgabe neu berechnet. Bei der Röntgenaufgabe senkte die Eingabe der tatsächlichen Werte für nur zwei Konzepte den Fehler des vorhergesagten Schweregrads von über 0.4 auf etwa 0.3 RMSE.

Dieses PyTorch-Beispiel trainiert ein unabhängiges CBM mit synthetischen Daten, bei denen sechs binäre Konzepte verrauschte Eingaben erzeugen und die Bezeichnung nur von den Konzepten abhängt. Anschließend wird die Genauigkeit der Bezeichnungen gemessen, während ein Experte die tatsächlichen Werte der Konzepte mit der geringsten Sicherheit eingibt:

import torch
from torch import nn

torch.manual_seed(0)
# Toy data: 6 binary concepts generate noisy 20-D inputs, and the label depends only on the concepts
concepts = torch.randint(0, 2, (3000, 6)).float()
inputs = concepts @ torch.randn(6, 20) + 2 * torch.randn(3000, 20)
labels = (concepts @ torch.tensor([3.0, 2, 2, 1, 1, 1]) >= 5).float()
train, test = slice(0, 2000), slice(2000, None)

# Independent training: inputs -> concepts, and concepts -> label, each against its own ground truth
concept_model, label_model = nn.Linear(20, 6), nn.Linear(6, 1)
optimizer = torch.optim.Adam([*concept_model.parameters(), *label_model.parameters()], lr=0.05)
bce = nn.functional.binary_cross_entropy_with_logits
for _ in range(500):
    optimizer.zero_grad()
    loss = bce(concept_model(inputs[train]), concepts[train]) + bce(label_model(concepts[train])[:, 0], labels[train])
    loss.backward()
    optimizer.step()

with torch.no_grad():
    probs = concept_model(inputs[test]).sigmoid()
    print(f"Concept accuracy: {((probs > 0.5) == concepts[test]).float().mean():.3f}")
    for k in range(4):
        # Test-time intervention: replace the k least certain predicted concepts with their true values
        uncertain = (probs - 0.5).abs().argsort(dim=1)[:, :k]
        fixed = probs.scatter(1, uncertain, concepts[test].gather(1, uncertain))
        accuracy = ((label_model(fixed)[:, 0] > 0) == labels[test].bool()).float().mean()
        print(f"Intervene on {k} of 6 concepts: label accuracy {accuracy:.3f}")

Der Konzeptprädiktor sagt 0.834 der 6.000 Testkonzepte korrekt voraus, und das CBM ordnet 0.819 der 1.000 Testbeispiele korrekt ein. Werden für jedes Beispiel die tatsächlichen Werte der ein, zwei und drei Konzepte mit der geringsten Sicherheit eingegeben, steigt die Genauigkeit der Bezeichnungen auf 0.861, 0.915 und 0.951, ohne dass eines der beiden Modelle geändert wird.

Einsatzgebiete von CBMs#

CBMs eignen sich für Bereiche, in denen Experten bereits anhand benannter Befunde arbeiten. In der medizinischen Bildanalyse verwendete die oben erwähnte Röntgenstudie dieselben Befunde, die Radiologen dokumentieren, sodass Ärzte jeden einzelnen prüfen können. Bei der Sicherheitsüberwachung gilt dasselbe Prinzip: Ein auf dem Construction-PPE-Datensatz trainiertes Ultralytics YOLO26-Modell erkennt benannte Klassen wie helmet, no_helmet, vest und no_boots. Eine Konformitätsregel, die nur diese Erkennungen auswertet, wird so zum Konzept-Engpass, dessen Entscheidung eine prüfende Person auf einen bestimmten fehlenden Gegenstand zurückführen kann.

Spätere Arbeiten lockerten die Anforderungen an Annotationen. Label-freie CBMs erstellen mithilfe eines Sprachmodells eine Konzeptliste und bewerten die Konzepte mit CLIP. Dadurch lässt sich der Ansatz ohne Konzeptbezeichnungen auf ImageNet skalieren. Nachträgliche CBMs wandeln ein bereits trainiertes Modell um, indem sie seine Einbettungen auf Konzeptvektoren projizieren.

Einschränkungen#

Konzeptmengen erfassen selten alles, was die Bezeichnung bestimmt, wodurch die Genauigkeit eines CBM begrenzt wird. Erhält der Bezeichnungsprädiktor Konzeptwahrscheinlichkeiten statt fester Werte, können diese Wahrscheinlichkeiten zusätzliche Informationen über die Bezeichnung enthalten, die über die Bedeutung der einzelnen Konzepte hinausgehen. Dieser als Konzeptleckage bezeichnete Effekt macht Erklärungen und Eingriffe weniger vertrauenswürdig. Konzept-Einbettungsmodelle stellen jedes Konzept als erlernten Vektor dar, um eine hohe Genauigkeit bei gleichzeitiger Unterstützung von Eingriffen zu gewährleisten. Ungenau definierte oder korrelierte Konzepte führen zu unzuverlässigen Erklärungen, und verzerrte Konzeptannotationen übertragen Verzerrungen auf jede davon abhängige Entscheidung.

CBMs im Vergleich zu verwandten Konzepten#

• Salienzabbildungen: Heben die Pixel hervor, die ein bereits trainiertes Black-Box-Modell beeinflusst haben. CBMs erklären Entscheidungen anhand benannter Konzepte und ermöglichen es, diese Konzepte zu bearbeiten.
• Mechanistische Interpretierbarkeit: Rekonstruiert die Merkmale und Schaltkreise, die ein trainiertes Modell selbstständig gelernt hat. CBMs legen die Zwischenschichtkonzepte von Anfang an durch Überwachung fest.
• Lineare Sondierung: Prüft, ob sich ein Konzept aus den Aktivierungen eines trainierten Modells dekodieren lässt, ohne dessen Vorhersageverhalten zu ändern. Konzeptsonden für Black-Box-Modelle, etwa TCAV von Been Kim und Kollegen, messen nachträglich den Einfluss eines Konzepts.
• Merkmalsentwicklung: Berechnet Eingabemerkmale von Hand aus Rohdaten. CBM-Konzepte werden von einem trainierten Modell aus Roheingaben vorhergesagt und mit menschlichen Bezeichnungen überwacht.