Algorithmische Verzerrung

Algorithmische Verzerrungen beziehen sich auf systematische und wiederholbare Fehler in einem System der künstlichen Intelligenz (KI), die zu ungerechten oder diskriminierenden Ergebnissen führen. Im Gegensatz zu Verzerrungen, die lediglich auf fehlerhafte Daten zurückzuführen sind, entstehen algorithmische Verzerrungen durch den Entwurf, die Implementierung oder die Anwendung des Algorithmus selbst. Dies kann selbst dann passieren, wenn die eingegebenen Trainingsdaten ausgewogen erscheinen. Dies ist ein kritisches Problem beim maschinellen Lernen (ML) und in Bereichen wie der Computer Vision (CV), da es die Zuverlässigkeit und Fairness von KI-Systemen untergraben kann und sich auf alles auswirkt, von Produktempfehlungen bis hin zu wichtigen Entscheidungen im Finanz- und Gesundheitswesen. Wie Forschungsorganisationen wie das NIST betonen, ist es für die Entwicklung vertrauenswürdiger KI von entscheidender Bedeutung, diese Art von Verzerrungen zu bekämpfen.

Quellen für algorithmische Verzerrungen

Algorithmische Verzerrungen sind zwar oft mit Datenproblemen verbunden, ergeben sich aber speziell aus der Mechanik des Algorithmus:

• Design-Entscheidungen: Entscheidungen, die während der Algorithmusentwicklung getroffen werden, wie z. B. die Auswahl bestimmter Merkmale oder des verwendeten Optimierungsalgorithmus, können unbeabsichtigt zu Verzerrungen führen. Wird beispielsweise nur die Genauigkeit optimiert, kann dies dazu führen, dass ein Modell bei Minderheitengruppen schlecht abschneidet, wenn diese Randfälle darstellen.
• Feature Engineering und Auswahl: Der Prozess der Auswahl, Umwandlung oder Erstellung von Merkmalen(Feature-Engineering) kann Vorurteile einschließen. Ein Algorithmus kann Korrelationen lernen, die indirekt gesellschaftliche Vorurteile in den Merkmalen widerspiegeln.
• Proxy-Variablen: Algorithmen können scheinbar neutrale Variablen (wie Postleitzahl oder Kaufhistorie) als Stellvertreter für sensible Merkmale (wie Ethnie oder Einkommen) verwenden. Diese Verwendung von Proxy-Variablen kann auch ohne explizite sensible Daten zu diskriminierenden Ergebnissen führen.
• Rückkopplungsschleifen: Bei Systemen, die im Laufe der Zeit lernen, können anfängliche algorithmische Verzerrungen verstärkt werden, da die verzerrten Ergebnisse des Systems die künftige Datenerfassung oder das Nutzerverhalten beeinflussen.

Beispiele aus der Praxis

Algorithmische Verzerrungen können in verschiedenen Anwendungen auftreten:

1. Einstellungs-Tools: KI-Systeme, die zur Überprüfung von Lebensläufen entwickelt wurden, könnten aus historischen Einstellungsdaten Muster lernen. Wenn in der Vergangenheit bestimmte demografische Gruppen bevorzugt wurden, könnte der Algorithmus diese Voreingenommenheit aufrechterhalten und qualifizierte Bewerber aus unterrepräsentierten Gruppen benachteiligen, wie es bei einem experimentellen Tool von Amazon der Fall war.
2. Finanzdienstleistungen: Algorithmen, die für die Kreditwürdigkeitsprüfung oder die Kreditvergabe verwendet werden, könnten Anträge von Personen aus bestimmten Stadtvierteln oder demografischen Gruppen unverhältnismäßig ablehnen, selbst wenn geschützte Merkmale ausgeschlossen sind. Dies kann passieren, wenn der Algorithmus Korrelationen zwischen scheinbar neutralen Faktoren (wie dem Surfverhalten im Internet oder dem Besuch bestimmter Einzelhändler) und dem Kreditrisiko feststellt, die mit gesellschaftlichen Vorurteilen übereinstimmen. Die Besorgnis über algorithmische Verzerrungen im Finanzwesen wächst.

Algorithmische Verzerrung im Vergleich zu verwandten Konzepten

Es ist wichtig, algorithmische Verzerrungen von verwandten Begriffen zu unterscheiden:

• Voreingenommenheit in der KI: Dies ist ein weit gefasster Begriff, der alle Formen von systematischer Unfairness in KI-Systemen umfasst. Algorithmische Voreingenommenheit ist eine spezifische Quelle der KI-Voreingenommenheit, neben anderen wie Dataset Bias.
• Datensatzverzerrung: Dies bezieht sich auf Verzerrungen, die von den Daten herrühren, die zum Trainieren des Modells verwendet werden (z. B. nicht repräsentative Stichproben, verzerrte Annotationen). Während Datensatzverzerrungen algorithmische Verzerrungen verursachen oder verstärken können, können algorithmische Verzerrungen auch unabhängig davon durch das Design des Algorithmus entstehen, selbst bei perfekt repräsentativen Daten. Das Verständnis des Zusammenspiels zwischen KI-Verzerrung und Datensatzverzerrung ist entscheidend.
• Bias-Variance Tradeoff: Dies ist ein grundlegendes Konzept der ML in Bezug auf Modellkomplexität und Fehlertypen. Bias" bezieht sich in diesem Zusammenhang auf vereinfachende Annahmen eines Modells, die zu systematischen Fehlern(Underfitting) führen, und nicht auf gesellschaftliche oder fairnessbezogene Verzerrungen.

Strategien zur Schadensbegrenzung

Der Umgang mit algorithmischen Verzerrungen erfordert einen proaktiven und vielschichtigen Ansatz während des gesamten KI-Lebenszyklus:

• Fairness-Metriken: Integrieren Sie Fairness-Metriken in den Modellschulungs- und -validierungsprozess, zusätzlich zu den traditionellen Leistungsmetriken wie Genauigkeit.
• Algorithmus-Überprüfung: Prüfen Sie Algorithmen regelmäßig auf verzerrte Ergebnisse in verschiedenen Untergruppen. Tools wie die AI Fairness 360 und Fairlearn Toolkits können dabei helfen, Verzerrungen zu erkennen und abzuschwächen.
• Techniken zur Verringerung von Verzerrungen: Anwendung von Techniken zur Anpassung von Algorithmen, wie z. B. Neugewichtung von Datenpunkten, Änderung von Lernbeschränkungen oder Nachbearbeitung von Modellergebnissen, um gerechtere Ergebnisse zu erzielen.
• Erklärbare KI (XAI): Verwenden Sie XAI-Methoden, um zu verstehen , warum ein Algorithmus bestimmte Entscheidungen trifft, und helfen Sie, versteckte Verzerrungen in seiner Logik zu erkennen. Die Verbesserung der Transparenz in der KI ist entscheidend.
• Unterschiedliche Teams und Tests: Beziehen Sie unterschiedliche Teams in den Entwicklungsprozess ein und führen Sie gründliche Tests mit repräsentativen Benutzergruppen durch, um mögliche Vorurteile aufzudecken.
• Sensibilisierung für Rechtsvorschriften: Bleiben Sie auf dem Laufenden über sich entwickelnde Vorschriften wie das EU-Gesetz über künstliche Intelligenz, das Bestimmungen zu Voreingenommenheit und Fairness enthält.
• Kontinuierliche Modellüberwachung: Überwachen Sie eingesetzte Modelle auf Leistungsverschlechterung oder auftretende Verzerrungen im Laufe der Zeit.

Indem sie die Nuancen algorithmischer Verzerrungen verstehen und aktiv daran arbeiten, diese durch sorgfältiges Design, strenge Tests und die Einhaltung der Grundsätze der Fairness in der KI und der KI-Ethik zu verringern, können Entwickler zuverlässigere, gerechtere und vorteilhaftere KI-Anwendungen entwickeln. Organisationen wie die Partnership on AI und die Algorithmic Justice League setzen sich für eine verantwortungsvolle KI-Entwicklung ein. Plattformen wie Ultralytics HUB und Modelle wie Ultralytics YOLO bieten Rahmenwerke, die eine sorgfältige Modellentwicklung und -bewertung unterstützen, Faktoren wie den Datenschutz berücksichtigen und zur Schaffung gerechterer Systeme beitragen. Die ACM Conference on Fairness, Accountability, and Transparency (FAccT) ist ein führender Treffpunkt für die Forschung in diesem Bereich.