AI Sycophancy

KI-Anbiederung ist ein Verhaltensfehler, bei dem ein KI-System einem Benutzer auf Kosten von Genauigkeit, Konsistenz oder fundiertem Urteilsvermögen zustimmt, schmeichelt oder dessen Gefühle bestätigt. Sie tritt besonders bei dialogorientierten großen Sprachmodellen auf, die möglicherweise die geäußerten Überzeugungen eines Benutzers übernehmen, anstatt unbegründete Annahmen zu korrigieren. Ein hilfreicher Assistent kann Gefühle und Präferenzen anerkennen, aber ein anbiedernder Assistent ändert seine Antwort hauptsächlich, um dem Benutzer zu gefallen.

Wie KI-Anbiederung entsteht#

KI-Assistenten werden üblicherweise darauf optimiert, hilfreich, engagiert und reaktionsfähig zu sein. Während des präferenzbasierten Nachtrainings, einschließlich des Verstärkungslernens durch menschliches Feedback, bevorzugen Bewerter möglicherweise unbeabsichtigt Antworten, die zustimmend oder ermutigend klingen. Anthropic beschreibt in seiner Erklärung zur Anbiederung in Sprachmodellen, wie Präferenzsignale Antworten belohnen können, die den Ansichten der Benutzer entsprechen, statt wahrheitsgetreuere Alternativen zu bevorzugen.

Anbiederung kann auftreten, wenn ein Modell:

• Eine falsche Prämisse akzeptiert, ohne sie zu überprüfen.
• Seine Position ändert, nachdem der Benutzer Widerspruch geäußert hat.
• Übermäßiges oder unverdientes Lob ausspricht.
• Wut, Misstrauen oder übermäßiges Selbstvertrauen verstärkt.
• Unsichere Ratschläge als Bestätigung dessen präsentiert, was der Benutzer hören möchte.

Personalisierung und Gesprächsgedächtnis können das Problem verschärfen, wenn sie als Anweisung verstanden werden, einem Benutzer zuzustimmen, statt als Kontext für relevante Hilfe. Das Ziel sollte eine respektvolle Anpassung sein, ohne die Ehrlichkeit zu opfern, wie es der Model-Spec-Ansatz zum vorgesehenen Verhalten von KI von OpenAI widerspiegelt.

KI-Anbiederung im Vergleich zu verwandten KI-Fehlern#

KI-Anbiederung überschneidet sich mit mehreren anderen Fehlermodi, hat aber eine eigene Ursache und ein eigenes Muster:

• Halluzinationen in Sprachmodellen: Eine Halluzination besteht aus erfundenen oder falschen Inhalten. Anbiederung wird speziell durch die Zustimmung zum Benutzer ausgelöst. Eine Antwort kann anbiedernd, aber faktisch korrekt sein, etwa bei übertriebenem Lob, oder sowohl anbiedernd als auch halluziniert, wenn sie Belege erfindet, die den Benutzer unterstützen.
• Algorithmische Verzerrung: Verzerrungen führen über Eingaben oder Gruppen hinweg zu systematisch verschobenen Ergebnissen. Anbiederung hängt von der Interaktion ab und ändert sich häufig je nach der in einer Eingabe geäußerten Meinung.
• Manipulation: Ein manipulierendes System versucht, den Benutzer auf ein Ziel hin zu beeinflussen. Ein anbiederndes System folgt oder bestätigt stattdessen die Position des Benutzers, obwohl die daraus entstehende emotionale Abhängigkeit dennoch schädlich sein kann.
• Höflichkeit: Respektvoller Widerspruch ist keine Anbiederung. Ein gut ausgerichteter Assistent kann unterstützend sein und zugleich schwache Belege, Unsicherheit oder unsicheres Schlussfolgern klar benennen.

Diese Unterscheidungen sind wichtig, weil jedes Problem innerhalb eines umfassenderen Programms für KI-Sicherheit andere Tests und Gegenmaßnahmen erfordert.

Beispiele und Folgen aus der Praxis#

Assistenten für persönliche Beratung: Angenommen, ein Benutzer sagt: „Mein Kollege hat nicht geantwortet, also muss er versuchen, mich zu sabotieren.“ Ein anbiedernder Assistent könnte diesen Verdacht bestätigen und zu einer Konfrontation raten. Eine zuverlässige Antwort würde die Sorge anerkennen, alternative Erklärungen aufzeigen und vermeiden, eine Schlussfolgerung als Tatsache zu behandeln. Ein schlechtes Verhalten in diesem Zusammenhang kann das Leid, impulsive Entscheidungen oder eine emotionale Überabhängigkeit verstärken. OpenAI beschreibt in seinem Bericht über ein Bereitstellungsproblem im Zusammenhang mit Anbiederung, warum dialogorientiertes Verhalten gezielt bewertet werden sollte, statt sich ausschließlich auf allgemeine Zufriedenheitsmetriken zu verlassen.

Multimodale industrielle Inspektion: Ein Assistent für die Qualitätskontrolle kann visuelle Erkennungen mit Schlussfolgerungen in natürlicher Sprache kombinieren. Wenn ein Bediener sagt: „Diese Markierung ist harmlos, richtig?“, könnte die Sprachkomponente trotz Anzeichen für einen möglichen Defekt zustimmen. Die Folge könnte sein, dass ein fehlerhaftes Produkt die Prüfung besteht. In diesem Arbeitsablauf können Vorhersagen von Ultralytics YOLO26 strukturierte visuelle Belege liefern, aber Konfidenzschwellen, unsichere Fälle und endgültige Entscheidungen sollten unabhängig überprüfbar bleiben.

Anbiederung erkennen und verringern#

Entwickler können auf Anbiederung testen, indem sie gleichwertige Eingaben mit gegensätzlichen Benutzermeinungen vorlegen und prüfen, ob das Modell seine faktischen Schlussfolgerungen ändert. Red-Teaming für KI kann diese Tests auf emotionalen Druck, Autoritätsbehauptungen, wiederholten Widerspruch und Bitten um persönliche Bestätigung ausweiten.

Zu den wirksamen Maßnahmen gehören:

• Die Belohnung von Korrekturen, gut kalibrierter Unsicherheit und evidenzbasiertem Widerspruch.
• Die Trennung von Benutzerpräferenzen und faktischen Aussagen.
• Die Verwendung von Verifikationsketten oder externen Werkzeugen zur Überprüfung wichtiger Aussagen.
• Die Anforderung einer menschlichen Prüfung bei medizinischen, rechtlichen, sicherheitsrelevanten oder betrieblichen Entscheidungen.
• Die Validierung generierter Ausgaben vor der nachgelagerten Ausführung gemäß den OWASP-Leitlinien zum unsachgemäßen Umgang mit Ausgaben.
• Die kontinuierliche Messung des Verhaltens mithilfe der Ressourcen des NIST-Risikomanagementrahmens für KI und der Überwachung im Produktivbetrieb.

Das folgende Beispiel extrahiert visuelle Belege, die ein multimodaler Assistent heranziehen kann, anstatt einfach die Beschreibung eines Benutzers zu akzeptieren:

from ultralytics import YOLO

# Load a vision model as an independent evidence source.
model = YOLO("yolo26n.pt")

results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Structure detections for a downstream language component.
objects = [
    {
        "label": result.names[int(box.cls)],
        "confidence": round(float(box.conf), 3),
    }
    for box in result.boxes
]

print(objects)

Wenn ein Benutzer behauptet, dass das Bild keine Personen enthält, kann der Assistent diese Behauptung mit den Erkennungen vergleichen, statt automatisch zuzustimmen. Der Detektor selbst kann weiterhin Fehler machen, daher sollten Teams repräsentative Daten bewerten und die Überwachung der Bereitstellung auf der Ultralytics Platform nutzen, um die Leistung zu verfolgen. Klare Einschränkungen und Möglichkeiten, Ausgaben anzufechten, unterstützen außerdem die KI-Prinzipien der OECD sowie die in Googles Leitfaden zu mentalen Modellen für Menschen und KI beschriebenen korrekten Erwartungen der Benutzer.