Saliency Maps

Eine Salienzkarte ist eine Heatmap, die bewertet, wie stark jedes Pixel eines Eingabebildes die Ausgabe eines neuronalen Netzes beeinflusst hat, üblicherweise den Wert einer vorhergesagten Klasse. Sie ist ein gängiges Werkzeug der erklärbaren KI (XAI) in der Computer Vision: Hebt die Karte das Objekt hervor, stützt das die Vorhersage. Hebt sie hingegen ein Wasserzeichen, den Hintergrund oder einen Bildrand hervor, deckt sie eine Abkürzung auf. Eine Salienzkarte stellt einen Bezug zwischen der Ausgabe und den Eingabepixeln her. Dadurch unterscheidet sie sich von den internen Merkmalkarten eines Netzes und den Aufmerksamkeitsgewichten eines Vision Transformers, die zeigen, wo eine Schicht Informationen sammelt. In der Wahrnehmungsforschung bezeichnet der Begriff eine verwandte Idee: eine Karte, die anzeigt, worauf der Blick von Menschen in einer Szene fällt, wie beim Itti-Koch-Modell visueller Aufmerksamkeit.

So funktioniert Gradientensalienz#

Die Gradientensalienzkarte von Simonyan, Vedaldi und Zisserman (2013) nutzt Rückpropagierung, um den Gradienten eines Klassenwerts bezüglich des Eingabebilds statt der Modellgewichte zu berechnen. Der Betrag des Gradienten an einem Pixel zeigt, wie stark eine kleine Änderung an dieser Stelle den Wert verschieben würde. Der größte Absolutwert der drei Farbkanäle ergibt einen Wert pro Pixel. Für einen ImageNet-Klassifikator benötigt die Berechnung einen Vorwärts- und einen Rückwärtslauf in PyTorch:

import urllib.request

from PIL import Image
from torchvision.models import ResNet50_Weights, resnet50
from torchvision.utils import save_image

# Load an ImageNet classifier and track gradients on the input pixels
weights = ResNet50_Weights.DEFAULT
model = resnet50(weights=weights).eval()
image = Image.open(urllib.request.urlopen("https://ultralytics.com/images/bus.jpg"))
x = weights.transforms()(image).unsqueeze(0).requires_grad_()

# Backpropagate the top class score to the pixels
scores = model(x)
top = scores.argmax().item()
scores[0, top].backward()

# Saliency: largest absolute gradient across the color channels, scaled for display
saliency = x.grad.abs().amax(dim=1)
save_image((saliency / saliency.quantile(0.99)).clamp(max=1), "saliency.png")
print(f"Explained class: {weights.meta['categories'][top]}")

Die Ausgabe zeigt Explained class: minibus und speichert eine körnige Karte mit 224 × 224 Pixeln des mittleren Bildausschnitts, den der Klassifikator verarbeitet hat. Rohe Gradienten sind von Pixel zu Pixel verrauscht. Spätere Verfahren verringern dieses Rauschen durch Mittelung oder indem sie mit Merkmalkarten arbeiten.

Salienzverfahren#

• SmoothGrad: Durch das Mitteln von Gradientenkarten vieler verrauschter Kopien des Bildes wird ein Großteil des Pixelrauschens entfernt.
• Integrierte Gradienten: Werden Gradienten entlang eines Pfads von einem Ausgangsbild, etwa einem schwarzen Bild, bis zur Eingabe aufsummiert, ergeben die Pixelwerte zusammen die Differenz zwischen den beiden Klassenwerten.
• Grad-CAM: Werden die Merkmalkarten der letzten Faltungsschicht mit ihrem durchschnittlichen Gradienten gewichtet und anschließend hochskaliert, entstehen grobe, aber klassenspezifische Bereiche. LayerCAM (2021) gewichtet jede Position einzeln, sodass auch frühere Schichten mit höherer Auflösung brauchbare Karten liefern.
• Verdeckung und andere Störungsverfahren: Dabei werden Bildausschnitte verdeckt und gemessen, wie stark der Wert sinkt. Dafür sind keine Gradienten nötig, aber für jeden Ausschnitt ein Vorwärtslauf.

Ultralytics YOLO berechnet LayerCAM-Karten für die Objekterkennung und andere Aufgaben: Im Vorhersagemodus mit visualize=True gewichtet das Verfahren jede Position der Merkmalkarten, die in den Erkennungskopf eingehen, anhand ihres positiven Gradienten zum Klassenwert jeder sicheren Vorhersage und speichert eine gemeinsame Heatmap pro Bild.

from ultralytics import YOLO

# Eine LayerCAM-Heatmap der Belege für YOLO26-Erkennungen speichern
model = YOLO("yolo26n.pt")
results = model("https://ultralytics.com/images/bus.jpg", visualize=True)

Das Verfahren schreibt bus_cam.jpg in das Speicherverzeichnis des Laufs und erklärt damit bis zu 16 der stärksten unverarbeiteten Vorhersagen von YOLO26, die über dem Konfidenz-Schwellwert liegen, bevor NMS Duplikate entfernt. Mit classes=[0] werden nur die Personen in den Karten angezeigt.

Grenzen von Salienzkarten#

Eine Salienzkarte zeigt, auf welche Bereiche die Ausgabe empfindlich reagiert, nicht, wie das Modell schlussfolgert. Letzteres ist das Ziel der mechanistischen Interpretierbarkeit. Die Plausibilitätsprüfungen von Adebayo und Kollegen aus dem Jahr 2018 ergaben, dass manche beliebten Verfahren wie die geführte Rückpropagierung nahezu dieselbe Karte erzeugen, wenn die Modellgewichte zufällig belegt werden. Solche Karten spiegeln also eher Bildkanten als das trainierte Modell wider. Karten können sich außerdem bei kleinen Änderungen der Eingabe stark verändern, obwohl die Vorhersage gleich bleibt.

Anwendungen in der Praxis#

• Abkürzungen finden: Heatmaps zeigten, dass ein auf dem Datensatz PASCAL VOC trainierter Klassifikator Pferde teilweise anhand eines Copyright-Vermerks erkannte, der auf vielen Pferdefotos zu sehen war – ein „Clever-Hans“-Verhalten, das sich an der Genauigkeit nicht erkennen ließ.
• Medizinische Bildgebung: Entwickler von Klassifikatoren für Röntgenaufnahmen des Brustkorbs prüfen, ob die ausschlaggebenden Bildbereiche in der Lunge liegen und nicht auf dem Scannertext oder medizinischen Hilfsmitteln wie Thoraxdrainagen. Es wurde gezeigt, dass Klassifikatoren für Pneumothorax auf solche Hilfsmittel zurückgreifen.
• Bildzuschnitt: Twitter schnitt Vorschaubilder um den Punkt herum zu, an den ein Modell für menschliche Aufmerksamkeit den ersten Blick von Betrachtern vorhersagte. Eine Prüfung der Unternehmensforscher aus dem Jahr 2021 ergab, dass die Zuschnitte manche Personengruppen systematisch gegenüber anderen bevorzugten.