Bias in AI

Voreingenommenheit in KI, auch KI-Bias genannt, ist ein systematischer Fehler in einem System der künstlichen Intelligenz (KI), der für bestimmte Personengruppen zu weniger genauen oder weniger fairen Ergebnissen führt, häufig entlang von Merkmalen wie Hautfarbe, Geschlecht, Alter, Dialekt oder Einkommen. Anders als zufällige Fehler tritt sie beständig auf: Dieselbe Gruppe erhält wiederholt schlechtere Ergebnisse. Im allgemeinen Sprachgebrauch ist KI-Bias ein Synonym für algorithmische Voreingenommenheit. Der Begriff algorithmische Voreingenommenheit ist älter und umfasst auch automatisierte Entscheidungen anhand fester Formeln und Bewertungsregeln, bei denen kein Lernen zum Einsatz kommt. Da Voreingenommenheit in jeder Phase entstehen kann, in der ein System des maschinellen Lernens (ML) entwickelt wird, betrachten Rahmenwerke zur KI-Ethik sie als Eigenschaft des gesamten Lebenszyklus.

Woher Voreingenommenheit kommt#

Der NIST-Bericht Hin zu einem Standard für die Identifizierung und den Umgang mit Voreingenommenheit in der künstlichen Intelligenz (SP 1270) unterteilt KI-Bias in drei Kategorien: systemische Voreingenommenheit durch Institutionen und Geschichte, statistische und rechnerische Voreingenommenheit durch Daten und Algorithmen sowie menschliche Voreingenommenheit durch die Personen, die das System entwickeln und nutzen. In einer typischen ML-Pipeline zeigen sich diese Kategorien in bestimmten Phasen:

• Repräsentation und Verzerrung des Datensatzes: Gruppen, die in den Trainingsdaten selten vorkommen, erhalten schlechtere Vorhersagen. Ein Modell für Computer Vision, das überwiegend mit Fotos aus Nordamerika und Europa trainiert wurde, erkennt Objekte und Szenen aus anderen Regionen weniger zuverlässig.
• Messung: Ein Merkmal oder eine Beschriftung erfasst eine Gruppe weniger genau. Pulsoximeter überschätzen den Sauerstoffgehalt im Blut bei Patientinnen und Patienten mit dunklerer Haut. Eine Studie aus dem Jahr 2020 im New England Journal of Medicine ergab, dass ein verborgener Sauerstoffmangel bei schwarzen Patientinnen und Patienten fast dreimal so häufig unentdeckt blieb wie bei weißen.
• Beschriftung: Annotierende bringen ihre eigenen Einschätzungen in die Beschriftungen ein, aus denen ein Modell lernt. Eine Studie aus dem Jahr 2019 zur Erkennung von Hassrede stellte fest, dass weit verbreitete Datensätze Tweets in African American English deutlich häufiger als anstößig kennzeichneten. Modelle, die mit diesen Daten trainiert wurden, markierten solche Tweets bis zu doppelt so häufig wie andere.
• Modellierung und Auswertung: Die Minimierung des durchschnittlichen Fehlers begünstigt die Mehrheit, und ein einzelner Gesamtwert kann eine versagende Gruppe verbergen. Modelle können außerdem Merkmale als Abkürzung lernen, die zufällig mit der Gruppenzugehörigkeit korrelieren.
• Einsatz: Wird ein Modell für eine Bevölkerungsgruppe oder in einem Kontext eingesetzt, für die beziehungsweise den es nie getestet wurde, oder beeinflussen seine Ausgaben die Daten, aus denen es später lernt, kann sich seine Voreingenommenheit mit der Zeit verändern.

Praxisbeispiele#

• Gender Shades: Diese Überprüfung aus dem Jahr 2018 ergab, dass kommerzielle Modelle zur Geschlechtsklassifizierung dunkelhäutige Frauen in bis zu 34,7 % der Fälle und hellhäutige Männer in höchstens 0,8 % der Fälle falsch einordneten.
• Gesichtserkennung: Eine Bewertung von Algorithmen zur Gesichtserkennung durch NIST aus dem Jahr 2019 ergab bei vielen Algorithmen für einige demografische Gruppen 10- bis 100-mal höhere Falsch-Positiv-Raten.
• Fußgängererkennung: Eine Studie aus dem Jahr 2019, in der Fußgänger in einem Datensatz zum autonomen Fahren nach Hautfarbe annotiert wurden, stellte fest, dass Modelle zur Objekterkennung dunkelhäutige Fußgänger weniger genau erkannten. Weder die Tageszeit noch Verdeckung erklärten diese Abweichung.
• KI in der Dermatologie: Klassifikatoren für Hautläsionen, die überwiegend mit Bildern heller Haut trainiert wurden, schnitten bei Tests mit einem vielfältigen klinischen Bilddatensatz bei dunkler Haut schlechter ab. Durch Feinabstimmung mit vielfältigen Bildern verringerte sich die Abweichung.

Voreingenommenheit messen#

Voreingenommenheit wird durch eine aufgeschlüsselte Auswertung sichtbar: Dabei wird dieselbe Metrik getrennt für jede Gruppe berechnet, wie es Model Cards empfehlen. Im folgenden Beispiel misst ein Sensor bei Gruppe B einen um 1.0 Einheit zu hohen Wert. Gruppe B umfasst 5 % der Patientinnen und Patienten. Das entspricht dem Problem mit Pulsoximetern:

import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split

rng = np.random.default_rng(0)
group_b = rng.random(20000) < 0.05  # 5% of patients belong to group B
oxygen = rng.normal(size=20000)  # true blood oxygen, standardized
y = oxygen < 0  # condition to detect: low oxygen

# The sensor reads 1.0 too high for group B (measurement bias)
reading = (oxygen + 1.0 * group_b).reshape(-1, 1)
x_tr, x_te, y_tr, y_te, _, g_te = train_test_split(reading, y, group_b, random_state=0)

model = LogisticRegression()
model.fit(x_tr, y_tr)
pred = model.predict(x_te)

# Disaggregated evaluation: score each group separately
print(f"overall accuracy: {np.mean(pred == y_te):.3f}")
print(f"group A accuracy: {np.mean(pred[~g_te] == y_te[~g_te]):.3f}")
print(f"group B accuracy: {np.mean(pred[g_te] == y_te[g_te]):.3f}")

Das Modell erreicht insgesamt einen Wert von 0.967 und für Gruppe A einen Wert von 0.981, für Gruppe B dagegen nur 0.706. Bei Gruppe B verbergen die überhöhten Messwerte Fälle mit zu niedrigem Sauerstoffgehalt. Fairness-Metriken auf Gruppenebene, etwa gleiche Falsch-Negativ-Raten für alle Gruppen, formalisieren diese Prüfungen im Bereich der Fairness in der KI.

Voreingenommenheit mindern#

Gegenmaßnahmen setzen bei den Daten an: Dazu gehören das Sammeln weiterer Beispiele aus unterrepräsentierten Gruppen, das Korrigieren fehlerhafter Messwerte und Beschriftungen sowie der Einsatz von Datenaugmentation oder synthetischen Daten, wenn reale Beispiele rar sind. Beim Training lassen sich seltene Gruppen neu gewichten, durch eine angepasste Stichprobenziehung häufiger berücksichtigen oder Fairnessbedingungen ergänzen; bei der Nachbearbeitung können Entscheidungsschwellen angepasst werden. Die Ultralytics Platform visualisiert die Anzahl der Annotationen jeder Klasse in einem Datensatz, und das Argument cls_pw beim Training von YOLO26 gewichtet den Klassifikationsverlust mit der inversen Klassenhäufigkeit, die mit diesem Exponenten potenziert wird, sodass seltene Klassen stärker ins Gewicht fallen. Das NIST-Rahmenwerk für das Risikomanagement von KI fordert Organisationen auf, Verzerrungen während des gesamten Lebenszyklus eines Systems zu messen, und Artikel 10 der EU-KI-Verordnung verpflichtet Anbieter von Hochrisiko-KI-Systemen, ihre Trainings-, Validierungs- und Testdaten auf mögliche Verzerrungen zu untersuchen.

Verzerrungen in KI im Vergleich zu anderen Bedeutungen von Verzerrung#

• Bias-Varianz-Kompromiss: Statistischer Bias ist ein Fehler, der dadurch entsteht, dass ein Modell zu einfach ist, um das Muster in den Daten zu erfassen. Das führt bei allen Gruppen gleichermaßen zu Underfitting.
• Bias-Parameter: In einem neuronalen Netz ist der Bias jedes Neurons ein lernbarer Offset, der zu seinen gewichteten Eingaben addiert wird – der konstante Term einer linearen Gleichung.