Algorithmic Bias

Algorithmische Verzerrung ist ein systematischer und wiederholbarer Fehler in einem Computersystem, der zu unfairen Ergebnissen führt, etwa wenn bei Einstellungen, Kreditvergaben, der Polizeiarbeit oder im Gesundheitswesen eine Personengruppe gegenüber einer anderen bevorzugt wird. Der Begriff umfasst alle automatisierten Entscheidungsverfahren, von einer manuell erstellten Formel zur Kreditbewertung bis hin zu einem tiefen neuronalen Netz. Da dieselbe fehlerhafte Regel auf jeden Fall angewendet wird, wiederholt sich der Fehler über Tausende oder Millionen von Entscheidungen hinweg. In Diskussionen über maschinelles Lernen (ML) sind algorithmische Verzerrung und Verzerrung in der KI Synonyme. Algorithmische Verzerrung ist der ältere und umfassendere Begriff und bezieht sich meist auf die Entscheidungen, die ein eingesetztes System über Menschen trifft.

Drei Ursachen algorithmischer Verzerrung#

In ihrer Arbeit „Verzerrung in Computersystemen“ aus dem Jahr 1996 teilten Batya Friedman und Helen Nissenbaum Verzerrungen je nach Ursprung in drei Arten ein. Dieses Modell wird bis heute verwendet:

• Vorhandene Verzerrung: Das System übernimmt Vorurteile, die bereits in der Gesellschaft oder in historischen Aufzeichnungen bestanden.
• Technische Verzerrung: Eine Designentscheidung, etwa die Wahl einer Ersatzgröße für die eigentlich interessierende Größe, verursacht die Ungerechtigkeit.
• Entstehende Verzerrung: Eine Verzerrung entsteht nach der Bereitstellung, wenn sich die Bevölkerung, der Kontext oder der Einfluss des Systems auf seine künftigen Daten verändert.

Amazon stellte ein experimentelles Einstellungsmodell ein, nachdem es gelernt hatte, Lebensläufe mit dem Wort „women's“ abzuwerten. Das war ein Fall vorhandener Verzerrung: Das Modell war mit zehn Jahren an Lebensläufen trainiert worden, die größtenteils von Männern stammten. Ein weit verbreiteter Algorithmus im US-Gesundheitswesen zeigt technische Verzerrung. Er sagte die künftigen Behandlungskosten von Patientinnen und Patienten als Ersatzmaß für deren Gesundheitsbedarf voraus. Da für Schwarze Patientinnen und Patienten mit gleicher Krankheitsschwere weniger Geld ausgegeben worden war, wurden sie seltener für zusätzliche Versorgung vorgeschlagen. Eine 2019 in Science veröffentlichte Studie stellte fest, dass eine Korrektur der Verzerrung den Anteil der Schwarzen Patientinnen und Patienten, die als hilfsbedürftig eingestuft wurden, von 17,7 % auf 46,5 % erhöhen würde. Vorausschauende Polizeiarbeit ist das Standardbeispiel für entstehende Verzerrung durch eine Rückkopplungsschleife:

Forschende zeigten 2018, dass sich diese Schleife verselbstständigen kann: Streifen finden dort mehr Vorfälle, wo sie eingesetzt werden, die neuen Aufzeichnungen bestätigen die Rangfolge, und das Modell schickt die Streifen zurück in dieselben Viertel – selbst wenn die Kriminalitätsraten anderswo gleich hoch sind.

Warum faire Entscheidungen Zielkonflikte mit sich bringen#

2016 analysierte ProPublica COMPAS, einen in US-Gerichten verwendeten Risikowert, und stellte fest, dass Schwarze Angeklagte, die nicht rückfällig wurden, fast doppelt so häufig wie weiße Angeklagte als risikoreicher eingestuft wurden (45 % gegenüber 23 %). Der Anbieter entgegnete, der Wert sei für beide Gruppen gleich gut kalibriert. Das bedeutete, dass ein bestimmter Wert unabhängig von der ethnischen Zugehörigkeit derselben Rückfallquote entsprach. Beide Aussagen stimmten. Forschende, darunter Kleinberg, Mullainathan und Raghavan, bewiesen daraufhin, dass ein unvollkommener Wert bei unterschiedlichen Grundraten zweier Gruppen nicht für beide Gruppen kalibriert sein und zugleich gleiche Falsch-Positiv- und Falsch-Negativ-Raten liefern kann. Die folgende Simulation zeigt diesen Konflikt mit perfekt kalibrierten Werten und einem gemeinsamen Schwellenwert:

import numpy as np

rng = np.random.default_rng(0)

# True risk per person; group B has a higher base rate than group A
risks = {"A": rng.beta(2, 5, 100_000), "B": rng.beta(3, 4, 100_000)}

for name, risk in risks.items():
    # Outcomes follow the risk exactly, so the score is perfectly calibrated in both groups
    outcome = rng.random(risk.size) < risk
    flagged = risk > 0.5  # one shared decision threshold

    # False positive rate: share of people without the outcome who were flagged anyway
    fpr = flagged[~outcome].mean()
    print(f"group {name}: base rate {outcome.mean():.2f}, false positive rate {fpr:.2f}")

Gruppe A hat eine Grundrate von 0,29 und eine Falsch-Positiv-Rate von 0,06, Gruppe B eine Grundrate von 0,43 und eine Falsch-Positiv-Rate von 0,23. Bei gleichem kalibriertem Wert und Schwellenwert werden Personen aus Gruppe B, bei denen das Ereignis nie eintritt, fast viermal so häufig markiert. Jedes System, das Werte in Entscheidungen umsetzt, steht vor dieser Wahl. Ultralytics YOLO26 wendet auf jede Erkennung denselben Konfidenzschwellenwert an (conf, bei Vorhersagen standardmäßig 0,25). Daher entgehen jeder Gruppe, deren Erkennungen niedrigere Werte erzielen, beispielsweise Fußgängerinnen und Fußgänger, die in den Trainingsdaten selten vorkommen, bei derselben Einstellung mehr Erkennungen.

Algorithmische Verzerrung und verwandte Begriffe#

• Datensatzverzerrung: Fehler in den Daten selbst, etwa eine nicht repräsentative Stichprobe. Datensatzverzerrung ist neben Designentscheidungen und Auswirkungen des Einsatzes eine Ursache algorithmischer Verzerrung.
• Fairness in der KI: Das Fachgebiet legt Fairnesskriterien wie demografische Parität oder gleiche Fehlerraten sowie Methoden zu ihrer Erfüllung fest.
• Datenverschiebung: Eine Veränderung der Eingabedaten nach der Bereitstellung, die bei einem Modell, das zum Startzeitpunkt fair getestet wurde, zu entstehender Verzerrung führen kann.

Algorithmische Verzerrung prüfen und verringern#

Bei Prüfungen werden Ergebnisse und Fehlerraten zwischen Gruppen verglichen. Dafür kommen Open-Source-Werkzeuge wie Fairlearn und IBMs AI Fairness 360 zum Einsatz. Korrekturen erfolgen in drei Phasen: Bei der Vorverarbeitung werden die Trainingsdaten neu gewichtet oder neu abgetastet, bei der Verarbeitung werden Fairnessbedingungen zum Trainingsziel hinzugefügt und bei der Nachverarbeitung werden Entscheidungsgrenzwerte für jede Gruppe angepasst. Die laufende Modellüberwachung erkennt neu auftretende Verzerrungen, die Prüfungen vor der Einführung übersehen. Vorschriften verlangen solche Prüfungen zunehmend: New York Citys Local Law 144, das seit dem 5. Juli 2023 durchgesetzt wird, untersagt Arbeitgebern den Einsatz automatisierter Einstellungswerkzeuge, sofern nicht innerhalb des vergangenen Jahres eine unabhängige Prüfung auf Verzerrungen erfolgt ist und der Arbeitgeber eine Zusammenfassung mit Wirkungsquotienten veröffentlicht, die Einstellungsraten nach Geschlecht sowie nach ethnischer Zugehörigkeit vergleichen.