Semantic Entropy
Semantische Entropie misst die Unsicherheit eines LLM hinsichtlich der Bedeutung seiner generierten Antworten statt ihrer Formulierung und weist so auf wahrscheinliche Konfabulationen hin.
Semantische Entropie misst, wie unsicher ein großes Sprachmodell (LLM) hinsichtlich der Bedeutung seiner Antwort ist. Dazu werden mehrere Antworten auf dieselbe Frage erzeugt, Antworten mit gleicher Bedeutung gruppiert und die Entropie über diese Gruppen berechnet. Wenn zehn Stichproben eine Antwort auf zehn verschiedene Arten formulieren, beträgt die semantische Entropie null. Geben sie dagegen drei unterschiedliche Antworten, ist sie hoch und das Modell rät wahrscheinlich. Lorenz Kuhn, Yarin Gal und Sebastian Farquhar von der University of Oxford stellten das Verfahren 2023 auf der ICLR in Semantic Uncertainty: Linguistic Invariances for Uncertainty Estimation in Natural Language Generation vor. Farquhar, Jannik Kossen, Kuhn und Gal wandten es 2024 in einer Arbeit in Nature zur Erkennung von Halluzinationen an.
Die Arbeit in Nature befasst sich mit einer bestimmten Art von Halluzination, die sie als Konfabulation bezeichnet: Aussagen, die sowohl falsch als auch willkürlich sind und sich mit dem für die Stichprobenziehung verwendeten Zufallsstartwert ändern. Die gewöhnliche Entropie über die generierten Tokens kann diese Art nicht isolieren. „Paris“, „Es ist Paris“ und „Die Hauptstadt ist Paris“ sind unterschiedliche Tokenfolgen mit derselben Bedeutung. Ein Modell, das die Antwort kennt, wirkt daher trotzdem unsicher.
Berechnung der semantischen Entropie#
- Erzeuge mit einer Temperatur ungleich null etwa zehn Antworten auf denselben Prompt.
- Gruppiere die Antworten anhand wechselseitiger Schlussfolgerungen: Zwei Antworten haben dieselbe Bedeutung, wenn jede die andere impliziert. Das lässt sich von einem Modell für natürlichsprachliche Schlussfolgerungen wie DeBERTa-large-MNLI oder einem allgemeinen LLM beurteilen. In den wichtigsten Experimenten in Nature kam dafür GPT-3.5 zum Einsatz. Dieser Schritt ist eine Form des Verstehens natürlicher Sprache (NLU).
- Schätze die Wahrscheinlichkeit jeder Gruppe, indem du die Sequenzwahrscheinlichkeiten ihrer Antworten addierst. Wenn eine geschlossene API Token-Wahrscheinlichkeiten verbirgt, kannst du stattdessen den Anteil der Stichproben in der Gruppe verwenden. Diese Variante heißt diskrete semantische Entropie.
- Berechne die Entropie anhand der Wahrscheinlichkeiten der Gruppen.
Für die diskrete semantische Entropie werden nur die Antworten und ihre Gruppenzuordnung benötigt. Der folgende Codeausschnitt vergleicht sie für zwei Fragen mit der naiven Entropie über die unveränderten Zeichenfolgen. Die Gruppen sind dabei so zugeordnet, wie es ein Modell für Schlussfolgerungen tun würde:
from collections import Counter
from scipy.stats import entropy
# Five sampled answers per question, and the meaning cluster entailment checks assign to each
samples = {
"Capital of Australia?": (
["Canberra", "Canberra.", "It's Canberra.", "Canberra, ACT", "Canberra"],
["Canberra"] * 5,
),
"Year Canberra was founded?": (
["1913", "In 1913.", "1908", "1927", "1913"],
["1913", "1913", "1908", "1927", "1913"],
),
}
for question, (answers, meanings) in samples.items():
# Naive entropy counts distinct strings; semantic entropy counts distinct meanings
naive = entropy(list(Counter(answers).values()), base=2)
semantic = entropy(list(Counter(meanings).values()), base=2)
print(f"{question} naive: {naive:.2f} bits, semantic: {semantic:.2f} bits")Beide Fragen ergeben vier unterschiedliche Zeichenfolgen aus fünf Stichproben. Die naive Entropie beträgt daher bei beiden 1,92 Bit. Die semantische Entropie unterscheidet sie: Bei der Hauptstadt beträgt sie 0,00 Bit, weil jede Stichprobe Canberra bedeutet. Beim Gründungsjahr beträgt sie 1,37 Bit, weil die Antworten das korrekte Jahr 1913 mit 1908, dem Jahr der Standortwahl, und 1927, dem Jahr des Umzugs des Parlaments dorthin, vermischen.
Ergebnisse und Einschränkungen#
Bei 30 Kombinationen aus Datensätzen zur Fragebeantwortung (TriviaQA, SQuAD, BioASQ, NQ-Open und SVAMP) und Modellen (LLaMA 2 Chat, Falcon Instruct und Mistral Instruct) trennte die semantische Entropie falsche von richtigen Antworten mit einer durchschnittlichen Fläche unter der ROC-Kurve (AUROC) von 0,790. Die naive Entropie erreichte 0,691 und P(True) 0,698. P(True) fragt das Modell, ob seine eigene Antwort korrekt ist. Auch bei Biografien, die GPT-4 über 21 Personen verfasste und die in 150 Tatsachenbehauptungen aufgeteilt wurden, von denen 45 falsch waren, erkannte die diskrete semantische Entropie falsche Aussagen besser als beide Vergleichsverfahren.
Die Methode hat klare Grenzen:
- Kosten: Etwa zehn Generierungen und paarweise Überprüfungen der Schlussfolgerungen pro Frage. Die 2024 von Kossen und seinen Kollegen eingeführten Sonden für semantische Entropie senken diesen Aufwand auf eine Generierung, indem sie die semantische Entropie anhand der verborgenen Zustände des Modells vorhersagen.
- Wiederkehrende Fehler: Ein Modell, das aus seinen Trainingsdaten einen Irrglauben übernommen hat, gibt jedes Mal dieselbe falsche Antwort. Die semantische Entropie bleibt daher niedrig. Nur ein Abgleich mit externen Quellen, wie bei der Retrieval-Augmented Generation (RAG), macht den Fehler sichtbar.
- Lange Antworten: Absätze werden zunächst in einzelne Aussagen unterteilt, wie im Biografieexperiment, bevor sich ihre Bedeutungen vergleichen lassen.
Semantische Entropie ist ein Verfahren zur Quantifizierung von Unsicherheit bei Texten. Perplexität bewertet, wie vorhersehbar ein festgelegter Text für ein Modell ist. Bei der Selbstkonsistenz wird über mehrere Stichproben von Antworten mit Gedankenkette abgestimmt, und konforme Vorhersage wandelt solche Werte in Mengen mit garantierter Abdeckung um. Benchmarks wie Humanity's Last Exam messen dieselbe Diskrepanz aus einer anderen Perspektive, indem sie die von Modellen angegebene Konfidenz mit ihrer tatsächlichen Trefferquote vergleichen.
Dieselbe Prüfung lässt sich auf Sprach-Bild-Modelle (VLMs) anwenden, die beschreiben, was ein Detektor erkannt hat. Die Ultralytics-LLM-Schnittstelle sendet ein Bild und eine Frage an jedes OpenAI-kompatible Modell und gibt Anfrageargumente unverändert weiter. So kann eine Pipeline dieselbe Frage mehrmals zu einem Bild stellen, auf dem YOLO26 ein relevantes Objekt erkannt hat, und die zurückgegebenen Beschreibungen gruppieren.










