Halluzination (in LLMs)

In der sich schnell entwickelnden Landschaft der Künstlichen Intelligenz (KI) bezeichnet eine Halluzination ein Phänomen, bei dem ein generatives Modell, insbesondere ein großes Sprachmodell (LLM), Inhalte produziert, die selbstbewusst präsentiert und grammatikalisch korrekt, aber sachlich ungenau, unsinnig oder nicht originalgetreu in Bezug auf die Quelldaten sind. Im Gegensatz zu herkömmlichen Softwarefehlern, bei denen ein System abstürzen oder einen Fehler zurückgeben kann, verhält sich ein halluzinierendes Modell wie ein „überzeugender Lügner” und erzeugt plausibel klingende Unwahrheiten. Dies stellt eine besondere Herausforderung für den Einsatz generativer KI dar, da Nutzer in kritischen Bereichen wie dem Gesundheitswesen, der Rechtsforschung und der automatisierten Erstellung von Inhalten unbeabsichtigt falschen Ergebnissen vertrauen könnten.

Warum halluzinieren LLMs?

Um Halluzinationen zu verstehen, muss man sich die zugrunde liegende Architektur moderner KI ansehen. Die meisten LLMs basieren auf der Transformer-Architektur, die darauf ausgelegt ist, das nächste Token in einer Sequenz auf der Grundlage statistischer Wahrscheinlichkeiten vorherzusagen. Diese Modelle sind keine Datenbanken mit Fakten, sondern probabilistische Engines, die anhand riesiger Mengen von Trainingsdaten darauf trainiert wurden, sprachliche Muster zu erkennen.

Mehrere Faktoren tragen zu Halluzinationen bei:

• Probabilistische Generierung: Das Modell wählt Wörter basierend auf ihrer Wahrscheinlichkeit und nicht auf ihrer Richtigkeit aus. Wenn eine Wortfolge statistisch wahrscheinlich, aber sachlich falsch ist, kann das Modell sie dennoch generieren. Dies wird in der Forschungsarbeit über stochastische Papageien anschaulich beschrieben, in der hervorgehoben wird, wie Modelle Formen nachahmen, ohne deren Bedeutung zu verstehen.
• Datenqualität: Wenn der Trainingskorpus widersprüchliche oder veraltete Informationen enthält, kann das Modell diese Inkonsistenzen reproduzieren.
• Quelle Amnesie: LLMs komprimieren Wissen zu Parametern und verlieren dabei oft die spezifische Informationsquelle, was zu einer Vermischung unterschiedlicher Konzepte oder zu „Konfabulationen” führt, wenn sie zu obskuren Themen befragt werden .

Beispiele aus der Praxis

Halluzinationen können von geringfügigen Unstimmigkeiten bis hin zu erheblichen Erfindungen reichen, die reale Konsequenzen haben:

• Rechtliche Zitate: In einem viel beachteten Fall verwendete ein Anwalt ein LLM, um einen Schriftsatz zu verfassen. Das Modell halluzinierte mehrere nicht existierende Gerichtsverfahren, komplett mit erfundenen Aktenzeichen und richterlichen Stellungnahmen, was zu Sanktionen für den Anwalt führte.
• Softwareentwicklung: Entwickler, die KI-Codierungsassistenten verwenden, erhalten möglicherweise Vorschläge für Bibliotheken oder API-Funktionen, die nicht existieren. Das Modell erfindet einen plausiblen Funktionsnamen (z. B. solve_my_problem()) basierend auf den Namenskonventionen, die in seiner Tiefes Lernen Trainingssätze, was zu Laufzeitfehlern führt. Fehler.

Strategien zur Risikominderung

Die Reduzierung von Halluzinationen ist ein vorrangiges Ziel der KI-Sicherheitsforschung. Entwickler wenden verschiedene Techniken an , um Modelle in der Realität zu „verankern”:

• Retrieval Augmented Generation (RAG): Anstatt sich ausschließlich auf den internen Speicher zu verlassen, ist das Modell mit einer kuratierten externen Wissensdatenbank verbunden, die häufig in einer Vektordatenbank gespeichert ist. Das Modell ruft relevante Fakten ab, bevor es eine Antwort generiert, was die Genauigkeit erheblich verbessert, wie von IBM Research zu RAG beschrieben.
• Kettengedanken-Anregung: Diese Technik ermutigt das Modell, komplexe Gedankengänge in Zwischenschritte zu unterteilen, wodurch logische Fehler reduziert werden.
• Reinforcement Learning from Human Feedback (RLHF): Während der Feinabstimmungsphase bewerten menschliche Annotatoren die Modellausgaben, bestrafen Halluzinationen und lenken das Modell in Richtung Wahrhaftigkeit.

Erdung mit Computer Vision

In multimodalen Anwendungen können Halluzinationen auftreten, wenn ein LLM ein Bild falsch interpretiert. Eine wirksame Abhilfemaßnahme ist die Verwendung eines leistungsstarken Computer Vision (CV) -Modells zur Überprüfung der physischen Präsenz von Objekten. Beispielsweise kann Ultralytics verwendet werden, um eine definitive Liste der erkannten Objekte zu erstellen, die als faktische Einschränkung für das Sprachmodell dient.

Das folgende Beispiel zeigt, wie man eine faktische Liste von Objekten mit Hilfe der ultralytics Paket, das dann in ein LLM eingespeist werden kann, um zu verhindern, dass es Dinge „sieht”, die nicht vorhanden sind.

from ultralytics import YOLO

# Load an official YOLO model (YOLO11 used here for demonstration)
model = YOLO("yolo11n.pt")

# Run inference on an image to get ground-truth data
results = model("https://ultralytics.com/images/bus.jpg")

# Extract the class names of actually detected objects
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]

# This factual list can be passed to an LLM to curb hallucination
print(f"Verified Objects: {detected_objects}")
# Output: Verified Objects: ['bus', 'person', 'person', 'person', 'person']

Halluzinationen von verwandten Konzepten unterscheiden

Es ist wichtig, Halluzinationen von anderen Arten von Fehlern in der natürlichen Sprachverarbeitung (NLP) und der ML-Landschaft zu unterscheiden:

• Vs. Voreingenommenheit in der KI: Voreingenommenheit bezieht sich auf systematische Vorurteile oder Verzerrungen in den Ergebnissen (z. B. Geschlechterstereotypen), während Halluzinationen ein Versagen der sachlichen Genauigkeit sind. Eine Aussage kann unvoreingenommen, aber halluziniert oder sachlich, aber voreingenommen sein.
• Im Gegensatz dazu steht das Überanpassen: Überanpassen tritt auf, wenn ein Modell seine Trainingsdaten zu genau speichert und nicht verallgemeinern kann. Halluzinationen treten häufig auf, wenn ein Modell versucht, über seine Trainingsdaten hinaus zu verallgemeinern, dabei jedoch scheitert und die Antwort im Grunde nur erraten kann.
• Vs. Genauigkeitsfehler: Bei Klassifizierungsaufgaben wie der Objekterkennung ist ein Fehler in der Regel eine Fehlklassifizierung (wenn man einen Hund als Katze bezeichnet). Halluzinationen sind spezifisch für den generativen Prozess der Erstellung neuer, kohärenter, aber falscher Inhalte.

Weitere Informationen zum Risikomanagement in generativen Modellen finden Sie im NIST AI Risk Management Framework, das umfassende Richtlinien enthält. Darüber hinaus arbeiten Organisationen wie das Stanford Center for Research on Foundation Models (CRFM) aktiv an der Entwicklung von Standards zur Bewertung und zum Benchmarking der Wahrhaftigkeit von Foundation Models.