Saliency Maps

Salienz-Karten sind ein leistungsstarkes visuelles Werkzeug, das in der erklärbaren KI (XAI) eingesetzt wird, um die internen Entscheidungsprozesse komplexer neuronaler Netze sichtbar zu machen. Im Wesentlichen fungieren sie als Heatmaps und heben die spezifischen Pixel oder Bereiche eines Eingabebildes hervor, die die Vorhersage eines Modells am stärksten beeinflussen. Indem sie zeigen, "wo" ein Modell hinschaut, helfen Salienz-Karten Forschenden und Ingenieurinnen und Ingenieuren, das Verhalten tiefer Faltungsneuronaler Netze (CNNs) zu interpretieren. So lässt sich sicherstellen, dass das System die richtigen Merkmale lernt, anstatt sich auf Artefakte des Datensatzes oder Hintergrundrauschen zu stützen. Mehr über die mathematischen Grundlagen dieses Verfahrens erfährst du auf der Wikipedia-Seite zu Salienz-Karten.

Funktionsweise von Salienz-Karten#

Der grundlegende Ansatz zur Erstellung einer Salienz-Karte stützt sich stark auf Backpropagation und Gradienten über die Netzwerkschichten hinweg. Statt diese Gradienten zur Aktualisierung der Modellgewichte während des Modelltrainings zu verwenden, berechnet der Algorithmus den Gradienten des vorhergesagten Klassenwerts in Bezug auf das Eingabebild selbst. Wie in der PyTorch-Dokumentation zu autograd erklärt, ergibt die Ermittlung des Absolutmaximums dieser Gradienten über die Farbkanäle hinweg eine Karte, bei der hohe Werte Pixeln entsprechen, die den Ausgabewert stark verändern, wenn sie geändert werden. Moderne Ansätze erweitern dieses Verfahren sogar auf generative KI und ermöglichen Salienz-Karten für Diffusionsmodelle zur Nachverfolgung von Rauschgradienten.

Anwendungen in der Praxis#

Da sie eine direkte visuelle Überprüfung der Modelllogik ermöglichen, sind Salienz-Karten in Computer-Vision-Szenarien mit hohen Anforderungen von entscheidender Bedeutung:

• Medizinische Diagnostik: Bei KI im Gesundheitswesen ist es für die Sicherheit der Patientinnen und Patienten entscheidend zu bestätigen, dass ein Algorithmus einen Tumor anhand echter physiologischer Gewebeanomalien erkennt und nicht anhand eines Wasserzeichens des Scanners. Salienz-Karten liefern diesen visuellen Nachweis, wie aktuelle Studien zur Konsistenz erklärbarer KI in der medizinischen Bildgebung zeigen.
• Autonome Navigation: Bei autonomen Fahrzeugen, die Lenkwinkel vorhersagen oder Stoppschilder erkennen, hilft die Analyse von Salienz-Karten Ingenieurinnen und Ingenieuren bei der Fehlersuche. Sie können überprüfen, ob sich das Modell korrekt auf die Straße konzentriert hat oder durch irrelevante Umgebungsdetails abgelenkt wurde.

Abgrenzung verwandter Begriffe#

Es wird dringend empfohlen, Salienz-Karten von anderen Konzepten im KI-Glossar zu unterscheiden, um ihre spezifische Rolle im Deep Learning (DL) zu verstehen:

• Salienz-Karten vs. Klassenaktivierungskartierung (CAM): Während grundlegende Salienz-Karten die Wichtigkeit auf der Ebene der Rohpixel berechnen, analysieren CAM-Verfahren wie Grad-CAM die Wichtigkeit auf der Ebene übergeordneter Merkmalskarten innerhalb der letzten Faltungsschicht des Netzwerks. Neuere Benchmarks verfeinern kontinuierlich, wie wir visuelle Erklärungen und CAMs über verschiedene Datensätze hinweg bewerten.
• Salienz-Karten vs. mechanistische Interpretierbarkeit: Salienz-Kartierung ist ein nachträgliches Verfahren, das lediglich zeigt, wo ein Modell hinschaut. Im Gegensatz dazu geht die mechanistische Interpretierbarkeit tiefer und entwickelt zurück, wie und warum bestimmte Neuronen oder algorithmische Schaltkreise diesen Fokus berechnet haben.
• Salienz-Karten vs. erklärbare KI (XAI): XAI ist die übergeordnete Disziplin, die sich damit befasst, KI transparent zu machen, während Salienz-Karten lediglich ein bestimmtes Werkzeug innerhalb dieses Werkzeugkastens sind und häufig als wichtige Technik zur Erklärbarkeit in Google Cloud hervorgehoben werden. Das Gebiet entwickelt sich schnell weiter: von Rohpixeln hin zu einer robusten menschenorientierten Taxonomie für Erklärungen, die konzeptionelle Daten abbildet.

Salienz per Code extrahieren#

Das Verständnis dafür, wie ein neuronales Netz Wichtigkeit zuordnet, lässt sich mithilfe von Deep-Learning-Frameworks wie PyTorch programmatisch erlangen. Das folgende Snippet veranschaulicht die grundlegende Mathematik hinter der Extraktion einer einfachen Salienz-Karte (gradientenbasierten Attribution) aus einem vortrainierten Bildklassifizierungsmodell.

import torch
from torchvision.models import resnet18

# Load a pre-trained model in evaluation mode
model = resnet18(weights="DEFAULT").eval()

# Create a dummy image tensor and explicitly require gradients
input_image = torch.randn(1, 3, 224, 224, requires_grad=True)

# Forward pass: get predictions for the input image
output = model(input_image)

# Backward pass: compute gradients for the highest scoring class
output[0, output.argmax()].backward()

# Saliency map is the maximum absolute gradient across the 3 color channels
saliency_map, _ = torch.max(input_image.grad.data.abs(), dim=1)
print(f"Generated Saliency Map Shape: {saliency_map.shape}")

Für übergeordnete Arbeitsabläufe mit Objekterkennung oder dem Zeichnen von Begrenzungsrahmen unterstützen Tools wie die Ultralytics Platform Entwicklerinnen und Entwickler dabei, Datensätze nahtlos zu annotieren, Experimente zu überwachen und Ausgaben von Modellen wie dem hochmodernen Ultralytics YOLO26 zu visualisieren. Durch die kontinuierliche Bewertung visueller Schlussfolgerungen zusammen mit der Modellbereitstellung können Teams deutlich vertrauenswürdigere und transparentere KI-Systeme entwickeln und skalieren.