Hallucination (in LLMs)

Im Bereich der Künstlichen Intelligenz (AI) bezeichnet eine Halluzination ein Phänomen, bei dem ein großes Sprachmodell (LLM) Inhalte erzeugt, die selbstsicher und syntaktisch korrekt, aber faktisch falsch, unsinnig oder nicht quellentreu sind. Anders als bei gewöhnlichen Softwarefehlern, die möglicherweise einen Absturz oder eine sichtbare Fehlfunktion verursachen, verhält sich ein halluzinierendes Modell wie ein überzeugender Erfinder von Unwahrheiten und präsentiert falsche Informationen mit derselben Autorität wie korrekte Fakten. Dies stellt Organisationen, die generative KI in sensiblen Bereichen wie Gesundheitswesen, Recht und Finanzen einsetzen, vor erhebliche Herausforderungen, da die Datenintegrität dort von größter Bedeutung ist.

Warum treten Halluzinationen auf?#

Um zu verstehen, warum Modelle halluzinieren, ist ein Blick auf ihren Aufbau hilfreich. LLMs basieren typischerweise auf der Transformer-Architektur, die als hochentwickelte Vorhersagemaschine fungiert. Anstatt eine strukturierte Datenbank mit verifizierten Fakten abzufragen, sagt das Modell das nächste Token in einer Sequenz anhand statistischer Wahrscheinlichkeiten voraus, die aus seinen Trainingsdaten abgeleitet werden.

Mehrere Faktoren treiben dieses Verhalten an:

• Probabilistisches Raten: Das Modell gibt flüssiger und schlüssiger Sprache den Vorrang vor faktischer Wahrheit. Wenn eine bestimmte Wortfolge statistisch wahrscheinlich ist – selbst wenn sie faktisch falsch ist –, kann das Modell sie erzeugen. Dieses Konzept wird in der Forschung häufig im Zusammenhang mit stochastischen Papageien diskutiert, bei denen Modelle Sprachmuster nachahmen, ohne deren Bedeutung zu verstehen.
• Probleme mit der Datenqualität: Wenn der umfangreiche Textkorpus, der zum Trainieren verwendet wird, Widersprüche, veraltete Informationen oder Fiktion enthält, kann das Modell diese Ungenauigkeiten reproduzieren.
• Quellenvergessen: LLMs komprimieren große Informationsmengen in Modellgewichte. Dabei verlieren sie häufig den Bezug zu bestimmten Quellen, was zu einer „Konfabulation“ führt, bei der unterschiedliche Konzepte oder Ereignisse fälschlicherweise miteinander verschmolzen werden.

Beispiele für Halluzinationen aus der Praxis#

Halluzinationen können sich auf unterschiedliche Weise zeigen – von harmlosen kreativen Ausschmückungen bis hin zu schwerwiegenden faktischen Fehlern:

• Erfundene Rechtsinhalte: Es gibt dokumentierte Fälle, in denen Juristen KI zum Erstellen von Schriftsätzen verwendet haben und anschließend feststellen mussten, dass das Modell nicht existente Gerichtsverfahren und Belege zur Unterstützung eines Arguments erfunden hatte.
• Codegenerierung: Entwickler, die KI-Assistenten verwenden, können auf „Pakethalluzinationen“ stoßen, bei denen das Modell den Import einer Softwarebibliothek oder den Aufruf einer Funktion vorschlägt, die tatsächlich nicht existiert, nur weil der Name den üblichen Benennungskonventionen entspricht.
• Biografische Fehler: Wenn Modelle zu weniger bekannten Personen befragt werden, schreiben sie diesen möglicherweise selbstsicher falsche Errungenschaften, Geburtsorte oder berufliche Werdegänge zu und vermischen dabei faktisch Details mehrerer Personen.

Strategien zur Reduzierung#

Die Verringerung der Häufigkeit von Halluzinationen ist ein wichtiges Ziel der KI-Sicherheit. Ingenieure und Forscher setzen verschiedene Techniken ein, um Modelle stärker an der Realität auszurichten:

• Retrieval-Augmented Generation (RAG): Diese Methode verbindet das LLM mit einer externen, vertrauenswürdigen Wissensdatenbank, die häufig in einer Vektordatenbank indiziert ist. Durch das Abrufen relevanter Dokumente vor der Generierung einer Antwort wird das Modell durch tatsächliche Daten eingeschränkt.
• Prompting mit Gedankenkette: Diese Prompt-Engineering-Technik ermutigt das Modell, seine „Arbeit zu zeigen“, indem komplexe Schlussfolgerungen in Zwischenschritte zerlegt werden, wodurch logische Fehler häufig reduziert werden.
• Bestärkendes Lernen durch menschliches Feedback (RLHF): Während der Feinabstimmungsphase bewerten menschliche Prüfer die Antworten des Modells. Indem Halluzinationen bestraft und wahrheitsgemäße Antworten belohnt werden, lernt das Modell, sich besser an den Erwartungen von Menschen auszurichten.

LLMs mit Computer Vision an der Realität ausrichten#

In Systemen für multimodale KI kann die Texterzeugung anhand visueller Daten an der Realität ausgerichtet werden. Wenn ein LLM aufgefordert wird, eine Szene zu beschreiben, halluziniert es möglicherweise Objekte, die nicht vorhanden sind. Durch die Integration eines hochpräzisen Objektdetektors wie YOLO26 können Entwickler dem LLM eine faktische Liste der vorhandenen Objekte bereitstellen und seine Ausgabe strikt auf verifizierte Erkennungen beschränken.

Das folgende Python-Beispiel zeigt, wie du das Paket ultralytics verwenden kannst, um eine verifizierte Objektliste zu extrahieren, die anschließend als faktische Einschränkung für einen Prompt an ein Sprachmodell dienen kann.

from ultralytics import YOLO

# Load the YOLO26n model (latest generation, efficient and accurate)
model = YOLO("yolo26n.pt")

# Run inference on an image to get ground-truth detections
results = model("https://ultralytics.com/images/bus.jpg")

# Extract the class names of actually detected objects
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]

# This factual list prevents the LLM from hallucinating items
print(f"Verified Objects for Prompt Context: {detected_objects}")
# Output example: ['bus', 'person', 'person', 'person', 'person']

Abgrenzung verwandter Konzepte#

Es ist wichtig, Halluzinationen von anderen häufigen KI-Fehlern zu unterscheiden:

• Im Vergleich zu Verzerrungen in der KI: Verzerrungen beziehen sich auf systematische Vorurteile in Ausgaben (z. B. die Bevorzugung einer demografischen Gruppe gegenüber einer anderen), während eine Halluzination ein Versagen der faktischen Genauigkeit ist. Eine Antwort kann unverzerrt und dennoch halluziniert sein (z. B. „Der Mond besteht aus Käse“).
• Im Vergleich zu Overfitting: Overfitting tritt auf, wenn ein Modell die Trainingsdaten zu genau auswendig lernt und nicht auf neue Eingaben generalisieren kann. Halluzinationen treten häufig auf, wenn ein Modell versucht, zu stark auf Bereiche zu generalisieren, für die ihm Daten fehlen.
• Im Vergleich zur Fehlklassifizierung: Bei der Objekterkennung ist die Kennzeichnung eines Autos als Lastwagen ein Klassifizierungsfehler (ein Genauigkeitsproblem) und keine Halluzination. Eine Halluzination bezieht sich speziell auf die generative Erstellung falscher Inhalte.

Wenn du Datensätze verwalten und Modelle mit hoher Datenintegrität trainieren möchtest, um nachgelagerte Fehler zu verhindern, bietet die Ultralytics Platform umfassende Werkzeuge für Annotation und Datensatzverwaltung. Darüber hinaus bietet der NIST-Leitfaden zum Risikomanagement für KI Standards zur Bewertung und Minderung dieser Risiken in Produktionsumgebungen.