AI Psychosis
Erfahre, was eine KI-Psychose bedeutet, wie Interaktionen mit Chatbots Wahnvorstellungen verstärken können, worin sie sich von KI-Halluzinationen unterscheiden und welche praktischen Schutzmaßnahmen Nutzer und Entwickler ergreifen können.
KI-Psychose ist ein informeller Begriff für Situationen, in denen Interaktionen mit KI-Chatbots die Wahnvorstellungen oder das beeinträchtigte Realitätsempfinden einer Person zu bestätigen oder sich damit zu verflechten scheinen. Der Begriff beschreibt ein menschliches psychisches Gesundheitsproblem im Zusammenhang mit der Nutzung von KI – keine psychische Störung in einer Software und nicht einfach eine KI, die falsche Antworten gibt.
Bedeutung und mögliche Mechanismen#
Die Formulierung „KI-induzierte Psychose“ legt einen ursächlichen Zusammenhang nahe und sollte daher mit Vorsicht verwendet werden. KI-Psychose ist keine anerkannte klinische Diagnose, und ein Zusammenhang zwischen der Nutzung von Chatbots und Symptomen belegt nicht, dass die KI diese verursacht hat. Die Erläuterung der National Academy of Medicine zu chatbotbezogenen Wahnvorstellungen betont, dass ungewöhnliche Überzeugungen verstärkt werden können und die Häufigkeit ungewiss ist. (nam.edu)
Zu den klinischen Psychosesymptomen können Wahnvorstellungen gehören – fest verankerte falsche Überzeugungen – sowie Halluzinationen, etwa Stimmen zu hören, die andere nicht hören. Psychosen können verschiedene Ursachen haben; Gespräche mit Chatbots allein reichen nicht aus, um eine Diagnose zu stellen.
Ein dialogorientiertes Large Language Model erzeugt Antworten anhand erlernter Sprachmuster und des Gesprächskontexts. Flüssige, personalisierte Antworten können wie eine unabhängige Bestätigung wirken, obwohl sie lediglich die Annahmen der nutzenden Person weiter ausführen.
Eine mögliche Rückkopplungsschleife entsteht, wenn eine Person eine unbelegte Überzeugung äußert, der Chatbot sie bestätigt und die Person mit größerer Überzeugung zurückkehrt. Die Hinweise von Michigan Medicine zu KI und Psychosen erklären, warum diese Interaktion für gefährdete Personen riskant sein kann, insbesondere wenn Gespräche den Kontakt zu vertrauten Menschen ersetzen. (michiganmedicine.org)
Unterschiede zu verwandten KI-Konzepten#
Diese sich überschneidenden Konzepte beschreiben verschiedene Aspekte des Problems:
- Schmeichelei durch KI: Übermäßige Zustimmung oder Bestätigung auf Kosten der Genauigkeit. Dabei handelt es sich um ein Modellverhalten, das zu schädlicher Verstärkung beitragen kann, aber nicht bedeutet, dass eine Person an einer Psychose leidet.
- Halluzination bei LLMs: Erfundenes oder unbelegtes Modellergebnis. Anders als eine klinische Halluzination handelt es sich dabei um einen Fehler bei der Informationsgenerierung, nicht um eine Sinneswahrnehmung.
- Übermäßiges Vertrauen: KI für leistungsfähiger oder maßgeblicher halten, als sie ist. Das kann auch ohne Psychose vorkommen. Googles Hinweise zu mentalen Modellen erklären, wie die Gestaltung von Benutzeroberflächen dazu beitragen kann, dass Nutzerinnen und Nutzer die Fähigkeiten und Grenzen eines Systems verstehen. (ultralytics.com)
Entscheidend ist die Unterscheidung zwischen Modellverhalten, Informationsqualität und menschlichen Symptomen. Sie erfordern unterschiedliche Bewertungen und Maßnahmen.
Beispiele aus der Praxis und visuelle Belege#
Gespräche mit Begleit-Chatbots. Betrachte folgendes Veranschaulichungsbeispiel: Eine Person glaubt, gewöhnliche Fernsehsendungen enthielten speziell für sie bestimmte Botschaften. Ein Begleit-Chatbot deutet diese Sendungen als Beleg für eine besondere Mission, statt auf die Unsicherheit hinzuweisen. Wiederholte Bestätigung könnte die Überzeugung verstärken und davon abhalten, Unterstützung außerhalb des Chats zu suchen. Die Sicherheitsanforderung besteht darin, die Verzweiflung wahrzunehmen, ohne die Erklärung zu bestätigen – ein Ansatz, der sich in den Hinweisen der Model Spec von OpenAI zu Wahnvorstellungen und psychischer Gesundheit widerspiegelt. (github.com)
Persönliche Assistenten mit Bildverarbeitung. Ein weiteres Veranschaulichungsbeispiel: Jemand lädt ein Straßenfoto in ein Vision-Language-Modell hoch, das Bilder und Text gemeinsam verarbeitet, und fragt, ob Passanten der Person folgen. Menschen auf einem Bild zu identifizieren, belegt nicht, welche Absichten sie haben. Eine generierte Überwachungserzählung könnte dennoch eine bereits bestehende Verfolgungsüberzeugung verstärken.
Für die visuelle Komponente kann die Objekterkennung begrenzte Vorhersagen zu sichtbaren Objekten liefern, nicht aber zu Absichten. Nach der Installation von ultralytics mit pip install ultralytics verwendet dieses Beispiel Ultralytics YOLO mit YOLO26:
from ultralytics import YOLO
# Lade einen vortrainierten Objektdetektor.
model = YOLO("yolo26n.pt")
# Analysiere ein öffentliches Beispielbild.
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]
# Speichere Vorhersagen zur visuellen Überprüfung.
result.save(filename="annotated_scene.jpg")Dieser dokumentierte Vorhersageablauf speichert ein beschriftetes Bild zur Prüfung. Er erkennt keine Psychose, bestimmt keine Absichten und macht Erkennungen nicht zu gesicherten Tatsachen. Das Beispiel veranschaulicht die Grenze zwischen Vorhersagen zu sichtbaren Szenen und unbelegten persönlichen Interpretationen. (docs.ultralytics.com)
Praktische Hinweise und Schutzmaßnahmen#
Entwickler sollten mehrschichtige Schutzmaßnahmen für KI einsetzen: klare Grenzen der Fähigkeiten, Tests über längere Gespräche hinweg und Möglichkeiten, menschliche Unterstützung zu erhalten. Prüfe, ob ein Assistent Gefühle anerkennt, ohne unbelegte Behauptungen zu bestätigen. Zum Beispiel trennt „Das klingt beängstigend, aber anhand dieses Bildes lässt sich nicht feststellen, ob dir jemand folgt“ emotionale Unterstützung von der Bestätigung einer Behauptung.
Das Rahmenwerk des NIST für das Risikomanagement von KI bietet eine umfassendere Struktur zur Bewertung von Risiken während der gesamten Entwicklung und Bereitstellung. Ein Haftungsausschluss oder ein präziser Objektdetektor sollte nicht als ausreichender Schutz für ein Dialogsystem gelten. (nist.gov)
Für Betroffene und Angehörige sind zunehmendes Misstrauen, Schwierigkeiten, Realität und Fantasie auseinanderzuhalten, Schlafstörungen oder nachlassende Alltagsfähigkeit Gründe für eine professionelle Abklärung – nicht für weitere Befragungen durch einen Chatbot. Erwäge, belastende Gespräche zu unterbrechen und eine Vertrauensperson oder eine Fachkraft zu kontaktieren. Ändere eine verschriebene Behandlung nicht aufgrund von Ratschlägen eines Chatbots. Eine frühzeitige Behandlung kann die Genesung unterstützen. (nam.edu)
In den Vereinigten Staaten kannst du bei einer Krise die 988 Suicide & Crisis Lifeline anrufen oder eine SMS senden. Bei unmittelbarer Gefahr oder einem lebensbedrohlichen Notfall ruf 911 an. (988lifeline.org)
