Alles, was du über erklärbare KI (XAI) wissen musst

Hast du schon einmal eine Antwort von einem Werkzeug für künstliche Intelligenz (AI) wie ChatGPT gesehen und dich gefragt, wie es zu diesem Schluss gekommen ist? Dann bist du dem sogenannten „Black-Box-Problem“ der KI begegnet. Der Begriff bezeichnet die mangelnde Transparenz darüber, wie KI-Modelle Daten verarbeiten und analysieren. Selbst KI-Ingenieuren und Wissenschaftlern, die regelmäßig mit fortschrittlichen KI-Algorithmen arbeiten, fällt es oft schwer, deren Funktionsweise vollständig zu verstehen. Tatsächlich verstehen nur 22 % der IT-Fachkräfte wirklich, wozu KI-Werkzeuge in der Lage sind.

Die Unsicherheit darüber, wie KI-Modelle Entscheidungen treffen, kann riskant sein, insbesondere in kritischen Bereichen wie Computer Vision im Gesundheitswesen und KI im Finanzwesen. Es werden jedoch erhebliche Fortschritte erzielt, um diese Herausforderungen zu bewältigen und die Transparenz zu verbessern.

Insbesondere erklärbare KI (XAI) setzt sich mit diesem Problem auseinander. Einfach ausgedrückt handelt es sich um eine Reihe von Prozessen und Methoden, die menschlichen Nutzern helfen, die Ergebnisse komplexer Algorithmen des maschinellen Lernens zu verstehen und ihnen zu vertrauen.

XAI kann Entwicklern dabei helfen, sicherzustellen, dass KI-Systeme wie vorgesehen funktionieren. Außerdem kann XAI KI-Unternehmen dabei unterstützen, regulatorische Standards einzuhalten. In diesem Artikel betrachten wir erklärbare KI und ihre vielfältigen Einsatzmöglichkeiten.

Die Bedeutung erklärbarer KI#

Erklärbarkeit ist bei der Arbeit mit KI entscheidend. Das gilt besonders für das Teilgebiet Computer Vision, das in Branchen wie dem Gesundheitswesen weit verbreitet ist. Bei der Verwendung von Bildverarbeitungsmodellen in so sensiblen Branchen ist es wichtig, dass die Funktionsweise des Modells für alle transparent und nachvollziehbar ist.

Die Nachvollziehbarkeit von Computer-Vision-Modellen hilft Nutzern, besser zu verstehen, wie eine Vorhersage zustande kam und welche Logik dahintersteckt. Transparenz trägt dazu bei, indem sie die Funktionsweise des Modells für alle verständlich macht, seine Grenzen klar aufzeigt und eine ethische Datennutzung sicherstellt. So kann Computer Vision beispielsweise Radiologen dabei helfen, gesundheitliche Komplikationen auf Röntgenbildern effizient zu erkennen.

Abb. 1. Röntgenaufnahmen des Brustkorbs werden mit Vision-KI analysiert und als gesund, erkrankt, aktive Tuberkulose oder latente Tuberkulose klassifiziert.

Ein Bildverarbeitungssystem, das lediglich genaue Ergebnisse liefert, reicht jedoch nicht aus. Das System muss auch seine Entscheidungen erklären können. Angenommen, das System könnte zeigen, welche Bildbereiche zu seinen Schlussfolgerungen geführt haben – dann wären die Ergebnisse verständlicher. Eine solche Transparenz würde Medizinern helfen, ihre Befunde zu überprüfen und sicherzustellen, dass die Patientenversorgung medizinischen Standards entspricht.

Ein weiterer Grund, warum Erklärbarkeit unverzichtbar ist: Sie macht KI-Unternehmen rechenschaftspflichtig und schafft Vertrauen bei den Anwendern. Vertrauenswürdige KI gibt Anwendern die Sicherheit, dass KI-Innovationen zuverlässig funktionieren, faire Entscheidungen treffen und verantwortungsvoll mit Daten umgehen.

Wichtige Verfahren erklärbarer KI in Computer Vision#

Nachdem wir besprochen haben, warum Erklärbarkeit bei Computer Vision wichtig ist, sehen wir uns nun die wichtigsten XAI-Verfahren an, die in Vision-KI eingesetzt werden.

Salienzkarten#

Neuronale Netze sind vom menschlichen Gehirn inspirierte Modelle, die Muster erkennen und Entscheidungen treffen, indem sie Daten über miteinander verbundene Knotenschichten (Neuronen) verarbeiten. Sie können komplexe Computer-Vision-Probleme mit hoher Genauigkeit lösen. Trotz dieser Genauigkeit sind sie konstruktionsbedingt weiterhin Blackbox-Systeme.

Saliency Maps sind eine XAI-Technik, mit der sich nachvollziehen lässt, worauf neuronale Netze bei der Bildanalyse achten. Sie können außerdem bei der Fehlersuche helfen, wenn Modelle nicht wie erwartet funktionieren.

Saliency Maps zeigen, welche Bildbereiche (Pixel) die Vorhersagen eines Modells bestimmen. Dieses Verfahren ähnelt stark der Rückpropagierung, bei der das Modell von den Vorhersagen zu den Eingabedaten zurückgeht. Statt die Modellgewichte anhand von Fehlern anzupassen, wird jedoch lediglich untersucht, wie wichtig jedes Pixel für die Vorhersage ist. Saliency Maps sind für Computer-Vision-Aufgaben wie die Bildklassifizierung sehr nützlich.

Wenn ein Bildklassifizierungsmodell beispielsweise vorhersagt, dass ein Bild einen Hund zeigt, können wir uns die zugehörige Salienzkarte ansehen, um zu verstehen, warum das Modell das Bild als Hund einstuft. So können wir erkennen, welche Pixel das Ergebnis am stärksten beeinflussen. Die Salienzkarte hebt alle Pixel hervor, die zur endgültigen Vorhersage beigetragen haben, dass auf dem Bild ein Hund zu sehen ist.

Abb. 2. Eingabebilder und ihre Salienzkarten im direkten Vergleich.

Klassenaktivierungskartierung (CAM)#

Die Klassenaktivierungskartierung ist ein weiteres XAI-Verfahren, mit dem sich nachvollziehen lässt, auf welche Bildbereiche ein neuronales Netz bei Bildklassifizierungen achtet. Sie funktioniert ähnlich wie Salienzkarten, konzentriert sich jedoch darauf, wichtige Merkmale im Bild statt einzelner Pixel zu erkennen. Merkmale sind Muster oder Details wie Formen oder Texturen, die das Modell im Bild erkennt.

Verfahren wie Gradient-weighted Class Activation Mapping (Grad-CAM) und Grad-CAM++ bauen auf derselben Idee auf und bieten einige Verbesserungen.

So funktioniert CAM:

• Bevor das neuronale Netz seine endgültige Entscheidung trifft, verwendet es einen Schritt namens globale Durchschnitts-Pooling (GAP), um die Informationen zu vereinfachen. GAP fasst alle Pixel eines erkannten Musters zu einem einzelnen Durchschnittswert zusammen und erstellt so eine Zusammenfassung für jede Merkmalskarte (eine visuelle Darstellung erkannter Muster).
• Anschließend wird jede Merkmalskarte mit einem Gewicht versehen, das angibt, wie wichtig sie für die Vorhersage einer bestimmten Klasse ist (zum Beispiel „Vogel“ oder „Katze“).
• Eine Einschränkung von CAM ist jedoch, dass du das Modell möglicherweise neu trainieren musst, um diese Gewichte zu berechnen. Das kann zeitaufwendig sein.

Grad-CAM verbessert dieses Verfahren, indem es Gradienten nutzt, die anzeigen, wie stark jede Merkmalskarte die endgültige Vorhersage beeinflusst. So ist kein GAP erforderlich, und es lässt sich leichter erkennen, worauf sich das Modell konzentriert, ohne es neu zu trainieren. Grad-CAM++ geht noch einen Schritt weiter und berücksichtigt nur positive Einflüsse, wodurch die Ergebnisse noch klarer werden. Ultralytics-YOLO-Modelle können für jedes Bild eine ähnliche Klassenaktivierungskarte speichern, wenn du den Vorhersagemodus mit visualize=True ausführst.

Abb. 3. CAM, Grad-CAM und Grad-CAM++ im Vergleich.

Kontrafaktische Erklärungen#

Kontrafaktische Erklärungen sind ein wichtiger Bestandteil erklärbarer KI. Dabei wird eine Situation oder ein Ergebnis anhand alternativer Szenarien oder Ereignisse beschrieben, die nicht eingetreten sind, aber hätten eintreten können. So lässt sich zeigen, wie Änderungen bestimmter Eingabevariablen zu anderen Ergebnissen führen, etwa: „Wenn X nicht geschehen wäre, wäre Y nicht eingetreten.“

In der KI und Computer Vision bezeichnet eine kontrafaktische Erklärung die kleinste Änderung, die an einer Eingabe – etwa einem Bild oder Datensatz – vorgenommen werden muss, damit ein KI-Modell ein anderes, bestimmtes Ergebnis ausgibt. Eine Änderung der Farbe eines Objekts in einem Bild könnte beispielsweise die Vorhersage eines Bildklassifizierungsmodells von „Katze“ zu „Hund“ ändern.

Ein weiteres gutes Beispiel wäre eine Änderung des Winkels oder der Beleuchtung bei einem Gesichtserkennungssystem. Dadurch könnte das Modell eine andere Person identifizieren und zeigen, wie kleine Änderungen der Eingabe die Vorhersagen des Modells beeinflussen können.

Am einfachsten erstellst du solche Erklärungen durch Ausprobieren: Du kannst Teile der Eingabe – etwa Merkmale des Bildes oder der Daten – zufällig verändern, bis das KI-Modell das gewünschte Ergebnis liefert. Weitere Verfahren sind modellunabhängige Ansätze, die Optimierungs- und Suchtechniken verwenden, um Änderungen zu finden, sowie modellspezifische Ansätze, die sich auf interne Einstellungen oder Berechnungen stützen, um die erforderlichen Änderungen zu ermitteln.

Anwendungen erklärbarer KI in Computer Vision#

Nachdem wir nun XAI und die wichtigsten Verfahren betrachtet haben, sehen wir uns an, wie sie in der Praxis eingesetzt wird. XAI kommt in vielen Bereichen auf unterschiedliche Weise zum Einsatz. Die folgenden Anwendungsfälle veranschaulichen ihr Potenzial:

• Sicherheitssysteme: XAI kann Sicherheitssysteme verbessern, indem manipulierte Bilder in Ausweisdokumenten wie Reisepässen und Führerscheinen erkannt werden. Dadurch wird die Echtheit von Bildern sichergestellt, die Identitätsprüfung gestärkt und Betrug in sensiblen Anwendungsbereichen verhindert.

Abb. 4. So erkennt XAI manipulierte Bilder.

• Autonomes Fahren: Wenn man die Fähigkeiten und Grenzen des bordeigenen Vision-KI-Systems eines selbstfahrenden Autos versteht, kann dies ein wichtiger Bestandteil der Tests sein, bevor das Fahrzeug auf öffentlichen Straßen eingesetzt wird. XAI kann Autoherstellern dabei helfen, Probleme klarer zu erkennen und zu beheben.
• Rechtssysteme: Systeme zur Dokumentenanalyse mit Bildverarbeitung werden zunehmend bei gerichtlichen Entscheidungen eingesetzt. XAI unterstützt faire Ergebnisse und ermöglicht es, automatisierte Urteile zu überprüfen. Außerdem hilft XAI Juristen zu verstehen, wie ein KI-Modell zu seinen Entscheidungen gelangt.
• Überwachung von Wildtieren: Fotofallen werden häufig eingesetzt, um Wildtiere zu beobachten und Daten über Tierarten zu sammeln. Mit XAI lässt sich erklären, wie KI diese Arten auf Bildern klassifiziert. So können Naturschutzmaßnahmen zuverlässiger und präziser umgesetzt werden.

Wichtige Erkenntnisse zu erklärbarer KI#

Erklärbare KI erleichtert das Verständnis dafür, wie KI-Systeme funktionieren und warum sie bestimmte Entscheidungen treffen. Transparenz bei KI-Modellen schafft Vertrauen und Verantwortlichkeit. In kritischen Bereichen wie dem Gesundheitswesen, der Sicherheit, dem autonomen Fahren und Rechtssystemen kann XAI Entwicklern und Nutzern dabei helfen, KI-Vorhersagen zu verstehen, Fehler zu erkennen und einen fairen und ethischen Einsatz sicherzustellen. Indem XAI KI transparenter macht, schließt sie die Lücke zwischen Technologie und menschlichem Vertrauen und macht KI sicherer und zuverlässiger für Anwendungen in der Praxis.

Weitere Informationen findest du in unserem GitHub-Repository. Tausche dich mit unserer Community aus. Entdecke auf unseren Lösungsseiten KI-Anwendungen in selbstfahrenden Autos und in der Landwirtschaft.