Explainable AI (XAI)

Erklärbare künstliche Intelligenz (XAI) bezeichnet eine umfassende Sammlung von Prozessen, Werkzeugen und Methoden, die darauf ausgelegt sind, die Ausgaben von Systemen der künstlichen Intelligenz (AI) für menschliche Nutzer verständlich zu machen. Da Unternehmen zunehmend komplexe Maschinelle-Lernverfahren (ML)-Modelle einsetzen – insbesondere im Bereich des Deep Learning (DL) –, funktionieren diese Systeme häufig wie „Blackboxen“. Ein Blackbox-Modell kann zwar äußerst genaue Vorhersagen liefern, doch seine interne Entscheidungslogik bleibt undurchsichtig. XAI soll diesen Prozess transparent machen und Stakeholdern helfen zu verstehen, warum eine bestimmte Entscheidung getroffen wurde. Das ist entscheidend, um Vertrauen zu schaffen, Sicherheit zu gewährleisten und gesetzliche Vorgaben einzuhalten.

Die Bedeutung der Erklärbarkeit#

Der Bedarf an Transparenz bei automatisierten Entscheidungsprozessen treibt die Einführung von XAI in zahlreichen Branchen voran. Vertrauen ist ein zentraler Faktor: Nutzer verlassen sich weniger wahrscheinlich auf prädiktive Modellierung, wenn sie die dahinterstehende Begründung nicht überprüfen können. Dies ist besonders in Umgebungen mit hohen Risiken relevant, in denen Fehler schwerwiegende Folgen haben können.

• Einhaltung gesetzlicher Vorgaben: Neue rechtliche Rahmenwerke wie das KI-Gesetz der Europäischen Union und die Datenschutz-Grundverordnung (GDPR) schreiben zunehmend vor, dass KI-Systeme mit hohem Risiko verständliche Erklärungen für ihre Entscheidungen liefern.
• Ethische KI: Die Implementierung von XAI ist ein zentraler Bestandteil der KI-Ethik. Indem Entwickler offenlegen, welche Merkmale die Ausgabe eines Modells beeinflussen, können sie algorithmische Verzerrungen erkennen und mindern und so sicherstellen, dass das System verschiedene Bevölkerungsgruppen fair behandelt.
• Fehlersuche in Modellen: Für Ingenieure ist Erklärbarkeit für die Modellüberwachung unverzichtbar. Sie hilft bei der Diagnose, warum ein Modell bei bestimmten Sonderfällen versagen oder unter Datenverschiebung leiden könnte, und ermöglicht ein gezielteres erneutes Training.

Gängige XAI-Verfahren#

Es gibt verschiedene Verfahren, um neuronale Netze transparenter zu machen. Häufig werden sie danach eingeteilt, ob sie modellagnostisch (auf jeden Algorithmus anwendbar) oder modellspezifisch sind.

• SHAP (SHapley Additive exPlanations): Die auf der kooperativen Spieltheorie basierenden SHAP-Werte weisen jedem Merkmal für eine bestimmte Vorhersage einen Beitragswert zu und erklären, wie stark jede Eingabe das Ergebnis gegenüber dem Ausgangswert verändert hat.
• LIME (Local Interpretable Model-agnostic Explanations): Diese Methode nähert ein komplexes Modell lokal im Umfeld einer bestimmten Vorhersage durch ein einfacheres, interpretierbares Modell (etwa ein lineares Modell) an. LIME hilft, einzelne Instanzen zu erklären, indem Eingaben verändert und die daraus resultierenden Änderungen der Ausgabe beobachtet werden.
• Saliency Maps: Diese Visualisierungen werden häufig im Bereich der Computervision (CV) eingesetzt und heben die Pixel in einem Bild hervor, die die Entscheidung des Modells am stärksten beeinflusst haben. Verfahren wie Grad-CAM erzeugen Heatmaps, die zeigen, wo das Modell „hingeschaut“ hat, um ein Objekt zu erkennen.

Anwendungen in der Praxis#

Erklärbare künstliche Intelligenz ist in Bereichen entscheidend, in denen das „Warum“ ebenso wichtig ist wie das „Was“.

1. Medizinische Diagnostik: Bei der Analyse medizinischer Bilder reicht es nicht aus, wenn eine KI eine Röntgenaufnahme lediglich als auffällig kennzeichnet. Ein XAI-fähiges System hebt den konkreten Bereich der Lunge oder des Knochens hervor, der die Warnung ausgelöst hat. Diese visuellen Belege ermöglichen es Radiologen, die Ergebnisse des Modells zu überprüfen, und erleichtern eine sicherere Einführung von KI im Gesundheitswesen.

2. Finanzdienstleistungen: Wenn Banken Algorithmen zur Bonitätsbewertung einsetzen, erfordert die Ablehnung eines Kreditantrags eine klare Begründung, um Gesetze wie den Equal Credit Opportunity Act einzuhalten. XAI-Werkzeuge können eine Ablehnung in verständliche Faktoren aufschlüsseln – etwa „Verhältnis von Schulden zu Einkommen zu hoch“ –, wodurch Fairness in der KI gefördert wird und Antragsteller die konkreten Probleme beheben können.

Abgrenzung verwandter Begriffe#

Es ist hilfreich, XAI von ähnlichen Konzepten im KI-Glossar zu unterscheiden:

• XAI vs. Transparenz in der KI: Transparenz ist ein umfassenderes Konzept, das die Offenheit des gesamten Systems einschließlich der Datenquellen und Entwicklungsprozesse umfasst. XAI konzentriert sich speziell auf die Verfahren, mit denen die Begründung einer Inferenz verständlich gemacht wird. Transparenz kann beispielsweise die Veröffentlichung von Modellgewichten beinhalten, während XAI erklärt, warum diese Gewichte ein bestimmtes Ergebnis hervorgebracht haben.
• XAI vs. Interpretierbarkeit: Interpretierbarkeit bezeichnet häufig Modelle, die aufgrund ihres Designs von sich aus verständlich sind, etwa Entscheidungsbäume oder lineare Regression. XAI umfasst typischerweise nachträgliche Verfahren, die auf komplexe, nicht interpretierbare Modelle wie tiefe konvolutionale neuronale Netze (CNN) angewendet werden.

Codebeispiel: Visualisierung der Inferenz zur Erklärung#

Ein grundlegender Schritt zur Erklärbarkeit in der Computervision besteht darin, die Vorhersagen des Modells direkt im Bild zu visualisieren. Während fortgeschrittene XAI Heatmaps verwendet, liefern die Anzeige der Begrenzungsrahmen und der Konfidenzwerte unmittelbare Einblicke in die vom Modell erkannten Inhalte. Mit dem Paket ultralytics und modernen Modellen wie YOLO26 können Nutzer die Erkennungsergebnisse einfach überprüfen.

from ultralytics import YOLO

# Load a pre-trained YOLO26 model (Nano version)
model = YOLO("yolo26n.pt")

# Run inference on an image
results = model("https://ultralytics.com/images/bus.jpg")

# Visualize the results
# This displays the image with bounding boxes, labels, and confidence scores,
# acting as a basic visual explanation of the model's detection logic.
results[0].show()

Diese einfache Visualisierung dient als Plausibilitätsprüfung – eine grundlegende Form der Erklärbarkeit, die bestätigt, dass sich das Modell während Aufgaben zur Objekterkennung auf relevante Objekte in der Szene konzentriert. Für fortgeschrittenere Arbeitsabläufe mit Datenverwaltung und der Visualisierung des Modelltrainings können Nutzer die Ultralytics Platform verwenden. Forscher erweitern dies häufig, indem sie auf die zugrunde liegenden Merkmalskarten zugreifen, um eine tiefergehende Analyse nach den NIST-XAI-Prinzipien durchzuführen.