Alles, was du über Explainable AI (XAI) wissen musst

Hast du schon mal eine Antwort von einem künstliche Intelligenz (AI)-Tool wie ChatGPT gesehen und dich gefragt, wie es zu diesem Schluss gekommen ist? Dann kennst du bereits das Problem der „Black Box“ der AI. Dieser Begriff bezeichnet den Mangel an Klarheit darüber, wie AI-Modelle Daten verarbeiten und analysieren. Selbst AI-Ingenieure und -Wissenschaftler, die regelmäßig mit modernsten AI-Algorithmen arbeiten, finden es oft anspruchsvoll, deren Innenleben vollständig zu verstehen. Tatsächlich verstehen nur 22 % der IT-Fachleute die Fähigkeiten von AI-Tools wirklich.

Die Ungewissheit darüber, wie AI-Modelle Entscheidungen treffen, kann riskant sein, insbesondere in kritischen Bereichen wie der Computer Vision im Gesundheitswesen und AI im Finanzwesen. Es werden jedoch bedeutende Fortschritte erzielt, um diese Herausforderungen anzugehen und die Transparenz zu verbessern.

Insbesondere konzentriert sich Explainable AI (XAI) ausschließlich darauf, dieses Problem zu lösen. Einfach ausgedrückt handelt es sich dabei um eine Reihe von Prozessen und Methoden, die menschlichen Benutzern helfen, die Ergebnisse oder Ausgaben komplexer Machine Learning-Algorithmen zu verstehen und ihnen zu vertrauen.

XAI kann Entwicklern helfen sicherzustellen, dass AI-Systeme wie erwartet funktionieren. Es kann AI-Unternehmen auch dabei helfen, regulatorische Standards zu erfüllen. In diesem Artikel untersuchen wir Explainable AI und ihre vielfältigen Anwendungsfälle. Fangen wir an!

Die Bedeutung von erklärbarer KI#

Erklärbarkeit ist bei der Arbeit mit AI von entscheidender Bedeutung. Dies gilt insbesondere für das Teilgebiet der AI, die Computer Vision, das in Anwendungen in Branchen wie dem Gesundheitswesen weit verbreitet ist. Bei der Verwendung von Vision-Modellen in so sensiblen Branchen ist es wichtig, dass die Funktionsweise des Modells für jeden transparent und interpretierbar ist.

Die Interpretierbarkeit von Computer-Vision-Modellen hilft den Benutzern, besser zu verstehen, wie eine Vorhersage getroffen wurde und welche Logik dahintersteckt. Transparenz trägt dazu bei, indem sie die Funktionsweise des Modells für alle verständlich macht, die Einschränkungen des Modells klar aufzeigt und sicherstellt, dass Daten ethisch einwandfrei verwendet werden. Beispielsweise kann Computer Vision Radiologen dabei helfen, gesundheitliche Komplikationen in Röntgenbildern effizient zu erkennen.

Abb. 1. Mittels Vision AI analysierte Röntgenaufnahmen des Brustkorbs, die gesunde, kranke, aktive und latente Tuberkulose-Klassifikationen zeigen.

Ein Vision-System, das lediglich präzise ist, reicht jedoch nicht aus. Das System muss auch in der Lage sein, seine Entscheidungen zu erklären. Angenommen, das System könnte zeigen, welche Teile des Bildes zu seinen Schlussfolgerungen geführt haben – dann wären alle Ausgaben klarer. Ein solches Maß an Transparenz würde medizinischen Fachkräften helfen, ihre Befunde doppelt zu überprüfen und sicherzustellen, dass die Patientenversorgung medizinische Standards erfüllt.

Ein weiterer Grund, warum Erklärbarkeit unverzichtbar ist, besteht darin, dass sie AI-Unternehmen zur Rechenschaft zieht und Vertrauen bei den Nutzern aufbaut. Vertrauenswürdige AI führt dazu, dass Anwender die Zuverlässigkeit von AI-Innovationen spüren, faire Entscheidungen treffen und Daten verantwortungsbewusst behandeln.

Wichtige Techniken der erklärbaren KI in der Computer Vision#

Nachdem wir nun besprochen haben, warum Erklärbarkeit in der Computer Vision wichtig ist, werfen wir einen Blick auf die wichtigsten XAI-Techniken, die in der Vision-KI verwendet werden.

Saliency Maps#

Neuronale Netze sind vom menschlichen Gehirn inspirierte Modelle, die darauf ausgelegt sind, Muster zu erkennen und Entscheidungen zu treffen, indem sie Daten durch miteinander verbundene Schichten von Knoten (Neuronen) verarbeiten. Sie können eingesetzt werden, um komplexe Computer-Vision-Probleme mit hoher Genauigkeit zu lösen. Trotz dieser Genauigkeit bleiben sie von Natur aus Black Boxes.

Saliency Maps sind eine XAI-Technik, die helfen kann, nachzuvollziehen, was neuronale Netze sehen, wenn sie Bilder analysieren. Sie können auch zur Fehlerbehebung bei Modellen verwendet werden, falls diese nicht wie erwartet funktionieren.

Saliency Maps (Saliency-Karten) funktionieren, indem sie sich darauf konzentrieren, welche Teile eines Bildes (Pixel) die Vorhersagen eines Modells bestimmen. Dieser Prozess ähnelt stark der Backpropagation, bei der das Modell von den Vorhersagen bis zur Eingabe zurückverfolgt. Anstatt jedoch die Gewichtungen des Modells basierend auf Fehlern zu aktualisieren, betrachten wir lediglich, wie stark jedes Pixel für die Vorhersage „zählt“. Saliency Maps sind sehr nützlich für Computer-Vision-Aufgaben wie die Bildklassifizierung.

Wenn beispielsweise ein Bildklassifizierungs-Modell vorhersagt, dass ein Bild einen Hund zeigt, können wir uns seine Saliency Map ansehen, um zu verstehen, warum das Modell denkt, dass es ein Hund ist. Dies hilft uns herauszufinden, welche Pixel das Ergebnis am stärksten beeinflussen. Die Saliency Map würde alle Pixel hervorheben, die zur endgültigen Vorhersage beigetragen haben, dass das Bild einen Hund zeigt.

Abb. 2. Eine Ansicht der Eingangsbilder und ihrer Saliency Maps nebeneinander.

Class Activation Mapping (CAM)#

Class Activation Mapping ist eine weitere XAI-Technik, mit der verstanden wird, auf welche Teile eines Bildes sich ein neuronales Netz bei Bildklassifizierungsvorhersagen konzentriert. Es funktioniert ähnlich wie Saliency Maps, konzentriert sich jedoch darauf, wichtige Merkmale im Bild anstelle bestimmter Pixel zu identifizieren. Merkmale sind Muster oder Details wie Formen oder Texturen, die das Modell im Bild erkennt.

Methoden wie Gradient Weighted Class Activation Mapping (Grad-CAM) und Grad-CAM++ bauen auf derselben Idee auf, jedoch mit einigen Verbesserungen.

So funktioniert CAM:

• Bevor das neuronale Netz seine endgültige Entscheidung trifft, verwendet es einen Schritt namens Global Average Pooling (GAP), um die Informationen zu vereinfachen. GAP kombiniert alle Pixel in einem erkannten Muster zu einem einzigen Durchschnittswert und erstellt so eine Zusammenfassung für jede Feature Map (eine visuelle Darstellung erkannter Muster).
• Jeder Feature Map wird dann ein Gewicht zugewiesen, das anzeigt, wie wichtig sie für die Vorhersage einer bestimmten Klasse (wie „Vogel“ oder „Katze“) ist.
• Eine Einschränkung von CAM besteht jedoch darin, dass du möglicherweise das Modell neu trainieren musst, um diese Gewichtungen zu berechnen, was zeitaufwändig sein kann.

Grad-CAM verbessert dies, indem es Gradienten verwendet, die wie Signale anzeigen, wie stark jede Feature-Map die endgültige Vorhersage beeinflusst. Diese Methode macht GAP überflüssig und erleichtert das Erkennen des Modellfokus ohne Retraining. Grad-CAM++ geht noch einen Schritt weiter, indem es sich nur auf positive Einflüsse konzentriert, was die Ergebnisse noch klarer macht.

Abb. 3. Vergleich von CAM, Grad-CAM und Grad-CAM++.

Kontrafaktische Erklärungen#

Kontrafaktische Erklärungen sind ein wichtiges Element der erklärbaren KI. Eine kontrafaktische Erklärung beinhaltet die Beschreibung einer Situation oder eines Ergebnisses durch Berücksichtigung alternativer Szenarien oder Ereignisse, die nicht eingetreten sind, aber hätten eintreten können. Sie kann demonstrieren, wie Änderungen an bestimmten Eingabevariablen zu anderen Ergebnissen führen, wie etwa: „Wenn X nicht passiert wäre, wäre Y nicht eingetreten.“

Wenn es um AI und Computer Vision geht, identifiziert eine kontrafaktische Erklärung die kleinste Änderung, die in einer Eingabe (wie einem Bild oder Daten) erforderlich ist, damit ein AI-Modell ein anderes, spezifisches Ergebnis liefert. Beispielsweise könnte das Ändern der Farbe eines Objekts in einem Bild die Vorhersage eines Bildklassifizierungsmodells von „Katze“ in „Hund“ ändern.

Ein weiteres gutes Beispiel wäre das Ändern des Winkels oder der Beleuchtung in einem Gesichtserkennungssystem. Dies könnte dazu führen, dass das Modell eine andere Person identifiziert, was zeigt, wie kleine Änderungen in der Eingabe die Vorhersagen des Modells beeinflussen können.

Der einfachste Weg, diese Erklärungen zu erstellen, ist durch Versuch und Irrtum: Du kannst Teile der Eingabe (wie Merkmale des Bildes oder Daten) nach und nach zufällig ändern, bis das AI-Modell dir das gewünschte Ergebnis liefert. Andere Methoden umfassen modellagnostische Ansätze, die Optimierungs- und Suchtechniken verwenden, um Änderungen zu finden, sowie modellspezifische Ansätze, die sich auf interne Einstellungen oder Berechnungen stützen, um die erforderlichen Änderungen zu ermitteln.

Anwendungen der erklärbaren KI in der Computer Vision#

Nachdem wir nun untersucht haben, was XAI ist und welche wichtigen Techniken es gibt, können wir durchgehen, wie es im wirklichen Leben eingesetzt wird. XAI hat vielfältige Anwendungen in vielen Bereichen. Lass uns in einige Anwendungsfälle eintauchen, die ihr Potenzial hervorheben:

• Sicherheitssysteme: XAI kann zur Verbesserung von Sicherheitssystemen eingesetzt werden, indem morphing-manipulierte Bilder in Ausweisdokumenten wie Pässen und Führerscheinen erkannt werden. Dies gewährleistet die Echtheit von Bildern, stärkt Identitätsprüfungsprozesse und verhindert betrügerische Aktivitäten in sensiblen Anwendungen.

Abb. 4. Funktionsweise von XAI bei der Erkennung manipulierter Bilder.

• Autonomes Fahren: Das Verständnis der Fähigkeiten und Einschränkungen des Onboard-Vision-AI-Systems eines selbstfahrenden Autos kann ein wesentlicher Bestandteil beim Testen des Autos sein, bevor es im Realbetrieb eingesetzt wird. XAI kann Automobilunternehmen helfen, Probleme klarer zu identifizieren und zu beheben.

• Rechtssysteme: Auf Vision basierende Dokumentenanalyse-Systeme werden zunehmend bei gerichtlichen Entscheidungen eingesetzt. XAI unterstützt faire Ergebnisse und ermöglicht die Überprüfung automatisierter Urteile. Es hilft auch Juristen zu verstehen, wie ein AI-Modell zu seinen Entscheidungen gelangt.

• Wildtiermonitoring: Kamerastationen werden häufig eingesetzt, um Wildtiere zu überwachen und Daten über Tierarten zu sammeln. XAI kann verwendet werden, um zu erklären, wie AI diese Arten auf den Bildern klassifiziert. Dadurch können Naturschutzbemühungen zuverlässiger und genauer gestaltet werden.

Wichtige Erkenntnisse über erklärbare KI#

Erklärbare KI macht es einfacher zu verstehen, wie KI-Systeme funktionieren und warum sie bestimmte Entscheidungen treffen. Transparenz über KI-Modelle schafft Vertrauen und Verantwortlichkeit. Wissen ist Macht und hilft dabei, KI-Innovationen verantwortungsbewusster zu nutzen. In kritischen Bereichen wie dem Gesundheitswesen, der Sicherheit, dem autonomen Fahren und Rechtssystemen kann XAI verwendet werden, um Entwicklern und Benutzern zu helfen, KI-Vorhersagen zu verstehen, Fehler zu identifizieren sowie eine faire und ethische Verwendung sicherzustellen. Indem sie KI transparenter macht, schlägt XAI die Brücke zwischen Technologie und menschlichem Vertrauen und macht sie sicherer und zuverlässiger für reale Anwendungen.

Um mehr zu erfahren, besuche unser GitHub-Repository und tausche dich mit unserer Community aus. Entdecke AI-Anwendungen im autonomen Fahren und in der Landwirtschaft auf unseren Lösungsseiten. 🚀