Hallucination (in LLMs)

Im Bereich der Künstlichen Intelligenz (KI) bezeichnet eine Halluzination ein Phänomen, bei dem ein Large Language Model (LLM) Inhalte generiert, die überzeugend und syntaktisch korrekt klingen, aber faktisch ungenau, unsinnig oder nicht durch die Quelle gedeckt sind. Anders als bei Standard-Softwarefehlern, die zu einem Absturz oder sichtbaren Fehler führen, verhält sich ein halluzinierendes Modell wie ein überzeugender Fabulierer und präsentiert falsche Informationen mit derselben Autorität wie gültige Fakten. Dies stellt Unternehmen, die Generative KI in sensiblen Bereichen wie Gesundheitswesen, Recht und Finanzen einsetzen, vor erhebliche Herausforderungen, da hier die Datenintegrität von größter Bedeutung ist.

Link to this sectionWarum treten Halluzinationen auf?#

Um zu verstehen, warum Modelle halluzinieren, ist es hilfreich, sich ihren Aufbau anzusehen. LLMs basieren typischerweise auf der Transformer-Architektur, die als hochentwickelte Vorhersagemaschine fungiert. Anstatt eine strukturierte Datenbank mit verifizierten Fakten abzufragen, sagt das Modell das nächste Token in einer Sequenz auf Basis statistischer Wahrscheinlichkeiten voraus, die aus seinen Trainingsdaten abgeleitet wurden.

Mehrere Faktoren treiben dieses Verhalten an:

• Probabilistisches Raten: Das Modell priorisiert Flüssigkeit und Kohärenz gegenüber faktischer Wahrheit. Wenn eine bestimmte Wortfolge statistisch wahrscheinlich ist – selbst wenn sie faktisch falsch ist –, generiert das Modell sie möglicherweise. Dieses Konzept wird häufig in der Forschung bezüglich stochastischer Papageien diskutiert, bei denen Modelle Sprachmuster nachahmen, ohne die Bedeutung zu verstehen.
• Probleme bei der Datenqualität: Wenn der umfangreiche Textkorpus, der zum Training verwendet wurde, Widersprüche, veraltete Informationen oder Fiktionen enthält, kann das Modell diese Ungenauigkeiten reproduzieren.
• Quellenamnesie: LLMs komprimieren riesige Informationsmengen in Modellgewichte. Bei diesem Prozess verlieren sie oft die Verbindung zu spezifischen Quellen, was zu einer "Konfabulation" führt, bei der unterschiedliche Konzepte oder Ereignisse fälschlicherweise miteinander verschmolzen werden.

Link to this sectionBeispiele für Halluzinationen aus der realen Welt#

Halluzinationen können sich auf verschiedene Weise äußern, von harmlosen kreativen Ausschmückungen bis hin zu schwerwiegenden faktischen Fehlern:

• Rechtliche Fabrikationen: Es gibt dokumentierte Fälle, in denen Rechtsexperten KI zum Entwurf von Schriftsätzen nutzten, nur um festzustellen, dass das Modell nicht existierende Gerichtsverfahren und Zitate zur Stützung eines Arguments erfunden hatte.
• Code-Generierung: Entwickler, die KI-Assistenten verwenden, stoßen möglicherweise auf "Paket-Halluzinationen", bei denen das Modell den Import einer Softwarebibliothek oder den Aufruf einer Funktion vorschlägt, die gar nicht existiert, einfach weil der Name Standard-Namenskonventionen folgt.
• Biografische Fehler: Wenn sie nach weniger bekannten Personen gefragt werden, können Modelle ihnen selbstbewusst falsche Erfolge, Geburtsorte oder Karriereverläufe zuschreiben und dabei Details von mehreren Personen miteinander vermischen.

Link to this sectionStrategien zur Minderung#

Die Verringerung der Häufigkeit von Halluzinationen ist ein zentraler Fokus der KI-Sicherheit. Ingenieure und Forscher setzen verschiedene Techniken ein, um Modelle in der Realität zu verankern:

• Retrieval-Augmented Generation (RAG): Diese Methode verbindet das LLM mit einer externen, vertrauenswürdigen Wissensdatenbank, die häufig in einer Vektordatenbank indexiert ist. Durch das Abrufen relevanter Dokumente vor der Generierung einer Antwort wird das Modell durch tatsächliche Daten eingeschränkt.
• Chain-of-Thought Prompting: Diese Technik des Prompt Engineerings ermutigt das Modell dazu, "seinen Denkprozess offenzulegen", indem komplexe Überlegungen in Zwischenschritte zerlegt werden, was häufig logische Fehler reduziert.
• Reinforcement Learning from Human Feedback (RLHF): Während der Feinabstimmungsphase bewerten menschliche Evaluatoren die Antworten des Modells. Durch die Bestrafung von Halluzinationen und die Belohnung von Wahrheitsgehalt lernt das Modell, sich besser an menschlichen Erwartungen auszurichten.

Link to this sectionVerankerung von LLMs mit Computer Vision#

In Multimodalen KI-Systemen kann die Textgenerierung durch visuelle Daten verankert werden. Wenn ein LLM aufgefordert wird, eine Szene zu beschreiben, halluziniert es möglicherweise Objekte, die nicht vorhanden sind. Durch die Integration eines hochpräzisen Objektdetektors wie YOLO26 können Entwickler dem LLM eine faktische Liste der vorhandenen Objekte zur Verfügung stellen und dessen Ausgabe strikt auf verifizierte Erkennungen begrenzen.

Das folgende Python-Beispiel zeigt, wie man das ultralytics-Paket verwendet, um eine verifizierte Liste von Objekten zu extrahieren, die dann als faktische Einschränkung für einen Prompt eines Sprachmodells dienen kann.

from ultralytics import YOLO

# Load the YOLO26n model (latest generation, efficient and accurate)
model = YOLO("yolo26n.pt")

# Run inference on an image to get ground-truth detections
results = model("https://ultralytics.com/images/bus.jpg")

# Extract the class names of actually detected objects
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]

# This factual list prevents the LLM from hallucinating items
print(f"Verified Objects for Prompt Context: {detected_objects}")
# Output example: ['bus', 'person', 'person', 'person', 'person']

Link to this sectionUnterscheidung verwandter Konzepte#

Es ist wichtig, Halluzinationen von anderen häufigen KI-Fehlern zu unterscheiden:

• Gegensatz zu Bias in der KI: Bias bezieht sich auf systematische Vorurteile in den Ausgaben (z. B. Bevorzugung einer demografischen Gruppe gegenüber einer anderen), während eine Halluzination ein Versagen der faktischen Genauigkeit ist. Eine Antwort kann unvoreingenommen, aber dennoch halluziniert sein (z. B. "Der Mond besteht aus Käse").
• Gegensatz zu Overfitting: Overfitting tritt auf, wenn ein Modell Trainingsdaten zu genau auswendig lernt und nicht auf neue Eingaben generalisieren kann. Halluzinationen treten oft auf, wenn ein Modell versucht, zu stark in Bereiche zu generalisieren, in denen es über keine Daten verfügt.
• Gegensatz zu Fehlklassifizierung: Bei der Objekterkennung ist die Kennzeichnung eines Autos als LKW ein Klassifizierungsfehler (Genauigkeitsproblem), keine Halluzination. Halluzination ist spezifisch für die generative Erstellung falscher Inhalte.

Für diejenigen, die Datensätze verwalten und Modelle mit hoher Datenintegrität trainieren möchten, um nachgelagerte Fehler zu vermeiden, bietet die Ultralytics Plattform umfassende Tools für Annotation und Datensatzmanagement. Darüber hinaus bietet die Anleitung des NIST AI Risk Management Framework Standards zur Bewertung und Minderung dieser Risiken in Produktionsumgebungen.