Semantic Entropy

Semantische Entropie misst, wie unsicher sich ein generatives KI-Modell hinsichtlich der Bedeutung seiner Antwort ist. Anstatt jede Formulierungsvariante als unterschiedliches Ergebnis zu behandeln, fasst sie semantisch äquivalente Antworten zusammen und misst, wie stark die Wahrscheinlichkeit auf die resultierenden Bedeutungen verteilt ist. Wenn wiederholte Antworten eine einheitliche Idee ausdrücken, ist die semantische Entropie niedrig. Wenn sie mehrere widersprüchliche Ideen unterstützen, ist sie hoch, was darauf hindeutet, dass das Modell möglicherweise nicht weiß, welche Antwort korrekt ist.

Dieses Maß ist besonders relevant für ein großes Sprachmodell (LLM) oder ein anderes System, das Freitext erzeugt, wobei dieselbe Bedeutung durch viele verschiedene Wortsequenzen ausgedrückt werden kann.

Wie semantische Entropie funktioniert#

Entropie ist ein allgemeines Maß für Unsicherheit in einer Wahrscheinlichkeitsverteilung: Sie ist niedrig, wenn sich die Wahrscheinlichkeit auf ein Ergebnis konzentriert, und hoch, wenn mehrere Ergebnisse plausibel bleiben. Die NIST-Definition von Entropie liefert das zugrundeliegende informationstheoretische Konzept. (csrc.nist.gov)

Ein Workflow für semantische Entropie folgt typischerweise vier Schritten:

1. Generiere mittels Sampling mehrere Antworten auf dieselbe Eingabe.
2. Gruppiere Antworten, die dieselbe Bedeutung vermitteln.
3. Schätze die Wahrscheinlichkeit jeder Bedeutung anhand ihrer Häufigkeit oder Generierungswahrscheinlichkeit.
4. Berechne die Entropie über diese semantischen Gruppen.

Zum Beispiel gehören „Paris“, „Die Antwort ist Paris“ und „Die Hauptstadt von Frankreich ist Paris“ zu einer Bedeutungsgruppe. „Lyon“ gehört zu einer anderen. Lexikalische Entropie könnte die Unsicherheit übertreiben, indem sie alle vier Zeichenketten als unterschiedlich behandelt, während die semantische Entropie erkennt, dass die ersten drei übereinstimmen.

Die Gruppierungsphase kann menschliche Beurteilung, textliche Entailment-Prüfung oder numerische Embeddings in Kombination mit einem Ähnlichkeitsmaß wie der Cosine-Ähnlichkeit von scikit-learn nutzen.

from collections import Counter

from scipy.stats import entropy

# Equivalent answers have already been assigned the same meaning label.
meaning_labels = [
    "Paris",
    "Paris",
    "Paris",
    "Lyon",
    "Unknown",
]

counts = Counter(meaning_labels)
probabilities = [count / len(meaning_labels) for count in counts.values()]

score = entropy(probabilities, base=2)
print(f"Semantic entropy: {score:.3f} bits")

Dieses vereinfachte Beispiel verwendet die dokumentierte SciPy-Entropiefunktion. In einem Produktionssystem muss die semantische Gruppierung sorgfältig validiert werden, da eine inkorrekte Gruppierung den Endwert verzerren kann.

Verwandte Konzepte und Hauptunterschiede#

Semantische Entropie gehört zum breiteren Feld der Quantifizierung von Unsicherheit, befasst sich jedoch mit Unsicherheiten bezüglich Bedeutungen anstelle von nur Labels, Token oder numerischen Vorhersagen.

• Token-Entropie misst die Unsicherheit über das nächste Token oder eine vollständige Token-Sequenz. Sie kann harmlosen Formulierungsunterschieden eine hohe Unsicherheit zuweisen.
• Selbstkonsistenz prüft, ob wiederholte Generierungen kompatible Antworten erzeugen. Semantische Entropie erweitert diese Idee, indem sie die relative Verteilung verschiedener Bedeutungen darstellt.
• Konfidenz ist normalerweise ein Wert, der an eine Vorhersage geknüpft ist. Die semantische Entropie vergleicht stattdessen mehrere mögliche Generierungen. Keines von beiden sollte automatisch als kalibrierte Wahrscheinlichkeit interpretiert werden; die Kalibrierung muss anhand beobachteter Ergebnisse evaluiert werden. (scikit-learn.org)
• Halluzinationen in LLMs sind ein Fehler, bei dem generierte Inhalte falsch, nicht unterstützt oder irreführend sind. Semantische Entropie ist ein Warnsignal, nicht der Fehler selbst. Eine hohe Entropie kann widersprüchliche Antworten aufzeigen, während eine niedrige Entropie keine Korrektheit beweist, da ein Modell dieselbe falsche Behauptung konsistent wiederholen kann. Halluzinationen können daher zuversichtlich und intern konsistent bleiben. (openai.com)
• Semantische Segmentierung weist jedem Bildpixel eine Klasse zu. Obwohl sie das Wort „semantisch“ enthält, handelt es sich um eine Computer-Vision-Aufgabe, die in keinem Zusammenhang mit Entropie über generierte Bedeutungen steht.

Praxisanwendungen#

Frage-Antwort-Assistenten: Ein Kundensupport-Assistent kann vor der Antwort mehrere Antworten sampeln. Wenn die Ausgaben sich darüber uneinig sind, ob eine Garantie Unfallschäden abdeckt, kann eine hohe semantische Entropie den Dokumentenabruf, eine Klärung oder eine menschliche Überprüfung auslösen. In Kombination mit Retrieval-Augmented Generation (RAG) verringert dies die Wahrscheinlichkeit, dass eine nicht unterstützte Richtlinienbehauptung den Kunden erreicht.

Vision-Language-Entscheidungsunterstützung: Ein Vision-Language-Modell (VLM) könnte ein Industriebild über wiederholte Generierungen hinweg als „Oberflächenkorrosion“, „Ölrückstände“ oder „normale Verfärbung“ beschreiben. Eine hohe semantische Entropie weist auf eine bedeutsame Meinungsverschiedenheit hin, die zu einer falschen Wartungsentscheidung führen könnte. Das System kann das Bild an einen Prüfer weiterleiten, anstatt eine flüssige Beschreibung als endgültig zu betrachten.

Praktische Verwendung und Einschränkungen#

Semantische Entropie sollte als eine Komponente einer risikobasierten Evaluierungspipeline behandelt werden. Teams sollten testen, ob höhere Werte in ihrem Domainbereich tatsächlich mehr Fehlern entsprechen, Schwellenwerte entsprechend den Konsequenzen von Fehlern auswählen und einen Pfad für Enthaltung oder menschliche Überprüfung beibehalten. Das NIST AI Risk Management Framework Core betont die Messung von Unsicherheit und die Verknüpfung von Evaluierungsergebnissen mit laufender Risikoüberwachung. (airc.nist.gov)

Sie eignet sich am besten für offene generierte Ausgaben. Strukturierte Computer-Vision-Vorhersagen erfordern andere Evaluierungsmethoden: Der Validierungsmodus von Ultralytics misst die Leistung anhand markierter Daten, während semantische Entropie jede Freitext-Erklärung bewerten kann, die von einer multimodalen Komponente hinzugefügt wird.

Produktionsteams sollten zudem Werteverteilungen, Fehlerkategorien, Latenz und Änderungen der Eingabedaten verfolgen. Googles Leitfaden zur Überwachung von ML-Systemen in der Produktion empfiehlt die Protokollierung und Alarmierung bei Vorhersagedrift und Qualitätsabbau. Die Bereitstellungsüberwachung der Ultralytics Platform kann den umfassenderen Workflow aus Annotation, Training, Bereitstellung und Überwachung rund um Vision-Modelle unterstützen. Semantische Entropie kann unsichere Fälle innerhalb dieses Workflows identifizieren, aber faktische Verifizierung und repräsentatives Testen bleiben unerlässlich.