Halluzination (in LLMs)

Im Kontext der Große Sprachmodelle (LLMs)tritt eine Halluzination auf, wenn ein generatives Modell Inhalte produziert, die sicher und syntaktisch fließend sind, aber faktisch falsch, unsinnig oder nicht originalgetreu ist. Im Gegensatz zu Standardfehlern beim Abrufen von Datenbanken, Halluzinationen in der Generative KI sind Halluzinationen in der Generativen KI oft plausibel, so dass sie für die Benutzer ohne unabhängige Überprüfung schwer zu detect . Dieses Phänomen ist auf das grundlegende Design dieser Modelle zurückzuführen, die vorrangig Textgenerierung basierend auf statistischen Wahrscheinlichkeit und nicht auf der Wahrheitsprüfung basieren. Das Verständnis von Halluzinationen ist entscheidend für den Einsatz sicherer KI Systeme zu verstehen, insbesondere in Branchen mit hohem Risiko wie dem Gesundheitswesen, dem Finanzwesen und dem Rechtswesen.

Warum LLMs halluzinieren

Die Hauptursache für Halluzinationen liegt in der Transformator Architektur und den Trainingsziele, die für die Erstellung von Basismodellen verwendet werden. Diese Systeme werden darauf trainiert, die nächste Token in einer Sequenz auf der Grundlage von Mustern die aus großen Mengen von Trainingsdaten. Sie besitzen kein inhärentes Konzept von "Fakt" oder "Fiktion"; vielmehr modellieren sie die Wahrscheinlichkeit des gemeinsamen Auftretens von Wörtern.

Mehrere Faktoren tragen zu diesem Verhalten bei:

• Datenbeschränkungen: Wenn der Trainingskorpus widersprüchliche, veraltete oder falsche Informationen enthält, kann das Modell diese Fehler reproduzieren. Dies wird in der Forschung häufig diskutiert in Bezug auf stochastischen Papageiendiskutiert, bei denen Modelle sprachliche Formen nachahmen, ohne die Bedeutung zu verstehen.
• Komprimierte Artefakte: LLMs komprimieren das Wissen des Internets in einen festen Satz von Parametern. Bei dieser Komprimierung können Nuancen verloren gehen, was dazu führt, dass unterschiedliche Konzepte miteinander vermischt werden.
• Mehrdeutigkeit der Inferenz: Wenn ein Modell mit einer Aufforderung konfrontiert wird, die außerhalb seiner Wissensverteilung liegt, kann es sich die statistisch wahrscheinlichste Antwort zu generieren, anstatt seine Unwissenheit zuzugeben, ein Verhalten, das oft als "Konfabulation" bezeichnet wird.

Beispiele für Halluzinationen in der Praxis

Halluzinationen können sich in verschiedenen Formen manifestieren, die von subtilen Ungenauigkeiten bis hin zu kompletten Fälschungen reichen:

• Fälschung von Rechtsfällen: In einem weithin bekannt gewordenen Vorfall benutzte ein Jurist einen LLM, um Fallforschung zu betreiben. Das Modell erstellte einen Schriftsatz, in dem mehrere nicht existierende Gerichtsfälle mit erfundenen Zitaten und Gerichtsurteilen, was zu Sanktionen führte.
• Codierungsbibliothek Erfindung: Entwickler, die KI-Codierassistenten verwenden, stoßen manchmal auf Empfehlungen für Softwarebibliotheken oder API-Methoden, die eigentlich gar nicht existieren. Das Modell halluziniert einen plausiblen Funktionsnamen (z. B., ultralytics.detect_everything()) auf der Grundlage von Standard-Namenskonventionen, die es in seinen Trainingsdaten gesehen hat, auch wenn diese spezielle Funktion nie implementiert wurde.

Strategien zur Abschwächung

Die Verringerung von Halluzinationen ist ein wichtiger Schwerpunkt der KI-Sicherheit Forschung. Mehrere Techniken werden derzeit eingesetzt, um Modelle an der Realität zu orientieren:

• Retrieval-Augmented Generation (RAG): Diese Methode verbindet das LLM mit einer vertrauenswürdigen externen Wissens Wissensbasis, wie z.B. einer Vektor-Datenbank. Anstatt sich nur auf den internen Speicher zu verlassen, ruft das Modell relevante Dokumente ab, bevor es eine Antwort generiert. Sie können mehr lesen über wie RAG die Genauigkeit verbessert in Unternehmensanwendungen verbessert.
• Promptes Engineering: Techniken wie Gedankenketten-Prompting ermutigen das Modell, seine Argumentation Schritt für Schritt zu erklären, was nachweislich logische Fehler reduziert und die faktischen Konsistenz.
• Verstärkungslernen aus menschlichem Feedback (RLHF): Die Entwickler verwenden Verstärkungslernen aus menschlichem Feedback (RLHF) um das Modell während der Feinabstimmungsphase für Halluzinationen zu bestrafen und seine Ergebnisse an die menschlichen Präferenzen für für Wahrhaftigkeit an.
• Multimodale Erdung: Bei visuell-sprachlichen Aufgaben können Halluzinationen reduziert werden, indem die Textausgabe Textausgabe gegen strukturierte Daten aus Computer Vision (CV) Modellen.

Erdung von LLMs mit Computer Vision

Eine wirksame Methode zur Abschwächung von Halluzinationen in multimodalen Arbeitsabläufen ist die Verwendung eines hochpräzisen Objekterkennung Modell zur Verifizierung den physischen Inhalt eines Bildes zu überprüfen, bevor ein LLM es beschreibt. Durch die Einspeisung einer verifizierten Liste von Objekten in den Kontext des LLM Kontext einspeist, verhindert man, dass dieser Elemente erfindet, die nicht vorhanden sind.

Das folgende Beispiel zeigt, wie man Ultralytics YOLO11 zur Erzeugung einer Liste von Objekten zu erstellen, die dann als faktische Einschränkung für ein generatives Modell dienen kann.

from ultralytics import YOLO

# Load the official YOLO11 model
model = YOLO("yolo11n.pt")

# Run inference on an image to get factual data
results = model("https://ultralytics.com/images/bus.jpg")

# Extract the class names of detected objects to ground the LLM
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]

# This list prevents the LLM from hallucinating objects not present
print(f"Verified Objects: {detected_objects}")
# Output: Verified Objects: ['bus', 'person', 'person', 'person', 'person']

Halluzination vs. andere Terminologie

Es ist wichtig, Halluzinationen von anderen Arten von KI-Fehlern zu unterscheiden:

• vs. Voreingenommenheit: Voreingenommenheit bei AI bezieht sich auf systematische Vorurteile in der Ausgabe (z. B. Stereotypisierung), während sich Halluzinationen auf sachliche Unrichtigkeiten beziehen. Eine Aussage kann unvoreingenommen, aber halluziniert sein, oder sachlich, aber voreingenommen.
• vs. Genauigkeitsfehler: Bei Klassifizierungsaufgaben ist eine falsche Vorhersage (z. B. einen Hund als Katze zu bezeichnen) ein Genauigkeitsfehler, nicht eine Halluzination. Halluzinationen sind spezifisch für die generativen Prozess der Erstellung neuer Inhalte.
• vs. Überanpassung: Während Überanpassung das Einprägen von Halluzinationen auftreten, wenn das Modell versucht, über seine Trainingsdaten hinaus zu verallgemeinern Trainingsdaten zu verallgemeinern und scheitert.

Weitere Informationen zur Bewertung generativer Modelle finden Sie in der NIST AI Risk Management Framework bietet einen umfassenden Überblick über Zuverlässigkeits- und Sicherheitsstandards. Außerdem entwickeln die Forscher weiterhin Algorithmen zur Faktenüberprüfung zur automatischen detect und Kennzeichnung halluzinatorischer Inhalte in Echtzeit.