Hallucination (in LLMs)

Im Bereich der Artificial Intelligence (AI) bezeichnet eine Halluzination ein Phänomen, bei dem ein Large Language Model (LLM) Inhalte generiert, die überzeugend und syntaktisch korrekt, aber sachlich unrichtig, unsinnig oder treulos gegenüber der Quelle sind. Im Gegensatz zu Standard-Softwarefehlern, die zu einem Absturz oder einem sichtbaren Fehler führen können, verhält sich ein halluzinatorisches Modell wie ein überzeugender Fälscher, der falsche Informationen mit derselben Autorität wie gültige Fakten präsentiert. Dies stellt Organisationen vor erhebliche Herausforderungen, die Generative AI in sensiblen Bereichen wie dem Gesundheitswesen, der Rechtswissenschaft und dem Finanzwesen einsetzen, wo Datenintegrität von größter Bedeutung ist.

Warum treten Halluzinationen auf?#

Um zu verstehen, warum Modelle halluzinieren, ist es hilfreich, sich anzusehen, wie sie aufgebaut sind. LLMs basieren typischerweise auf der Transformer-Architektur, die als hochentwickelte Vorhersagemaschine fungiert. Anstatt eine strukturierte Datenbank mit verifizierten Fakten abzufragen, sagt das Modell das nächste token in einer Sequenz basierend auf statistischen Wahrscheinlichkeiten voraus, die aus seinen training data abgeleitet wurden.

Mehrere Faktoren treiben dieses Verhalten an:

• Probabilistisches Raten: Das Modell priorisiert Flüssigkeit und Kohärenz vor sachlicher Wahrheit. Wenn eine bestimmte Wortfolge statistisch wahrscheinlich ist – selbst wenn sie sachlich falsch ist –, generiert das Modell sie möglicherweise. Dieses Konzept wird häufig in der Forschung bezüglich stochastic parrots diskutiert, bei denen Modelle Sprachmuster nachahmen, ohne die Bedeutung zu verstehen.
• Probleme bei der Datenqualität: Wenn der umfangreiche Textkorpus, der zum Training verwendet wurde, Widersprüche, veraltete Informationen oder Fiktionen enthält, kann das Modell diese Ungenauigkeiten reproduzieren.
• Quellenamnesie: LLMs komprimieren riesige Mengen an Informationen in model weights. Dabei verlieren sie oft den Bezug zu spezifischen Quellen, was zu einer „Konfabulation“ führt, bei der unterschiedliche Konzepte oder Ereignisse fälschlicherweise zusammengeführt werden.

Beispiele für Halluzinationen aus der realen Welt#

Halluzinationen können sich auf verschiedene Weise äußern, von harmlosen kreativen Ausschmückungen bis hin zu schwerwiegenden faktischen Fehlern:

• Juristische Fälschung: Es gibt dokumentierte Fälle, in denen Rechtsexperten KI zum Entwerfen von Schriftsätzen verwendeten, nur um festzustellen, dass das Modell non-existent court cases und Zitate zur Unterstützung eines Arguments erfunden hatte.
• Code-Generierung: Entwickler, die KI-Assistenten verwenden, stoßen möglicherweise auf "Paket-Halluzinationen", bei denen das Modell den Import einer Softwarebibliothek oder den Aufruf einer Funktion vorschlägt, die gar nicht existiert, einfach weil der Name Standard-Namenskonventionen folgt.
• Biografische Fehler: Wenn sie nach weniger bekannten Personen gefragt werden, können Modelle ihnen selbstbewusst falsche Erfolge, Geburtsorte oder Karriereverläufe zuschreiben und dabei Details von mehreren Personen miteinander vermischen.

Strategien zur Minderung#

Die Verringerung der Häufigkeit von Halluzinationen ist ein Hauptschwerpunkt von AI Safety. Ingenieure und Forscher setzen verschiedene Techniken ein, um Modelle in der Realität zu verankern:

• Retrieval-Augmented Generation (RAG): Diese Methode verbindet das LLM mit einer externen, vertrauenswürdigen Wissensbasis, die oft in einer vector database indiziert ist. Durch das Abrufen relevanter Dokumente vor dem Generieren einer Antwort wird das Modell durch tatsächliche Daten eingeschränkt.
• Chain-of-Thought Prompting: Diese prompt engineering-Technik ermutigt das Modell, „seine Arbeit zu zeigen“, indem komplexe Überlegungen in Zwischenschritte unterteilt werden, was häufig Logikfehler reduziert.
• Reinforcement Learning from Human Feedback (RLHF): Während der Feinabstimmungsphase bewerten menschliche Evaluatoren die Antworten des Modells. Durch die Bestrafung von Halluzinationen und die Belohnung von Wahrheitsgehalt lernt das Modell, sich besser an menschlichen Erwartungen auszurichten.

Verankerung von LLMs mit Computer Vision#

In Multimodal AI-Systemen kann die Textgenerierung mithilfe visueller Daten verankert werden. Wenn ein LLM aufgefordert wird, eine Szene zu beschreiben, halluziniert es möglicherweise Objekte, die nicht da sind. Durch die Integration eines hochpräzisen Objektdetektors wie YOLO26 können Entwickler dem LLM eine faktische Liste vorhandener Objekte zur Verfügung stellen und dessen Ausgabe streng auf verifizierte Erkennungen beschränken.

Das folgende Python-Beispiel zeigt, wie du das ultralytics-Paket verwendest, um eine verifizierte Liste von Objekten zu extrahieren, die dann als faktische Einschränkung für einen Sprachmodell-Prompt dienen kann.

from ultralytics import YOLO

# Load the YOLO26n model (latest generation, efficient and accurate)
model = YOLO("yolo26n.pt")

# Run inference on an image to get ground-truth detections
results = model("https://ultralytics.com/images/bus.jpg")

# Extract the class names of actually detected objects
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]

# This factual list prevents the LLM from hallucinating items
print(f"Verified Objects for Prompt Context: {detected_objects}")
# Output example: ['bus', 'person', 'person', 'person', 'person']

Unterscheidung verwandter Konzepte#

Es ist wichtig, Halluzinationen von anderen häufigen KI-Fehlern zu unterscheiden:

• Gegen Bias in AI: Bias bezieht sich auf systematische Vorurteile in Ausgaben (z. B. die Bevorzugung einer demografischen Gruppe gegenüber einer anderen), während Halluzination ein Versagen der sachlichen Genauigkeit ist. Eine Antwort kann unvoreingenommen und dennoch halluziniert sein (z. B. „Der Mond besteht aus Käse“).
• Gegen Overfitting: Overfitting tritt auf, wenn ein Modell Trainingsdaten zu genau auswendig lernt und nicht auf neue Eingaben verallgemeinern kann. Halluzinationen treten häufig auf, wenn ein Modell versucht, zu stark in Bereiche zu verallgemeinern, in denen ihm Daten fehlen.
• Gegen Fehlklassifizierung: Bei der object detection ist das Kennzeichnen eines Autos als Lkw ein Klassifizierungsfehler (Genauigkeitsproblem), keine Halluzination. Halluzination ist spezifisch für die generative Erstellung falscher Inhalte.

Für diejenigen, die Datensätze verwalten und Modelle mit hoher Datenintegrität trainieren möchten, um nachgelagerte Fehler zu vermeiden, bietet die Ultralytics Platform umfassende Tools für die Annotation und das Dataset-Management. Darüber hinaus bietet die Anleitung des NIST AI Risk Management Framework Standards für die Bewertung und Minderung dieser Risiken in Produktionsumgebungen.