Semantic Entropy

Semantische Entropie misst, wie unsicher ein Modell für generative KI hinsichtlich der Bedeutung seiner Antwort ist. Statt jede abweichende Formulierung als ein anderes Ergebnis zu behandeln, fasst sie semantisch gleichwertige Antworten zusammen und misst, wie breit die Wahrscheinlichkeit über die so entstehenden Bedeutungen verteilt ist. Drücken wiederholte Antworten eine einheitliche Idee aus, ist die semantische Entropie niedrig. Stützen sie mehrere widersprüchliche Ideen, ist sie hoch. Das deutet darauf hin, dass das Modell möglicherweise nicht weiß, welche Antwort richtig ist.

Dieses Maß ist besonders relevant für ein Large Language Model (LLM) oder ein anderes System, das frei formulierte Sprache erzeugt, bei dem dieselbe Bedeutung durch viele verschiedene Wortfolgen ausgedrückt werden kann.

So funktioniert semantische Entropie#

Entropie ist ein allgemeines Maß für Unsicherheit in einer Wahrscheinlichkeitsverteilung: Sie ist niedrig, wenn sich die Wahrscheinlichkeit auf ein Ergebnis konzentriert, und hoch, wenn mehrere Ergebnisse plausibel bleiben. Die NIST-Definition von Entropie vermittelt das zugrunde liegende informationstheoretische Konzept. (csrc.nist.gov)

Ein typischer Arbeitsablauf für semantische Entropie umfasst vier Schritte:

1. Mit Sampling mehrere Antworten auf dieselbe Eingabe erzeugen.
2. Antworten gruppieren, die dieselbe Bedeutung vermitteln.
3. Die Wahrscheinlichkeit jeder Bedeutung anhand ihrer Häufigkeit oder Generierungswahrscheinlichkeit schätzen.
4. Die Entropie über diese semantischen Gruppen hinweg berechnen.

„Paris“, „Die Antwort ist Paris“ und „Die Hauptstadt Frankreichs ist Paris“ gehören beispielsweise zu einer Bedeutungsgruppe. „Lyon“ gehört zu einer anderen. Lexikalische Entropie könnte die Unsicherheit übertreiben, indem sie alle vier Zeichenfolgen als unterschiedlich behandelt, während semantische Entropie erkennt, dass die ersten drei übereinstimmen.

Für die Gruppierung können menschliche Einschätzungen, textuelle Implikation oder numerische Embeddings in Verbindung mit einem Ähnlichkeitsmaß wie der Kosinusähnlichkeit von scikit-learn verwendet werden.

from collections import Counter

from scipy.stats import entropy

# Equivalent answers have already been assigned the same meaning label.
meaning_labels = [
    "Paris",
    "Paris",
    "Paris",
    "Lyon",
    "Unknown",
]

counts = Counter(meaning_labels)
probabilities = [count / len(meaning_labels) for count in counts.values()]

score = entropy(probabilities, base=2)
print(f"Semantic entropy: {score:.3f} bits")

Dieses vereinfachte Beispiel verwendet die dokumentierte Entropiefunktion von SciPy. In einem Produktivsystem muss die semantische Gruppierung sorgfältig validiert werden, da eine fehlerhafte Gruppierung den endgültigen Wert verfälschen kann.

Verwandte Konzepte und wichtige Unterschiede#

Semantische Entropie gehört zum umfassenderen Gebiet der Quantifizierung von Unsicherheit, befasst sich jedoch mit Unsicherheit über Bedeutungen statt nur über Labels, Tokens oder numerische Vorhersagen.

• Token-Entropie misst die Unsicherheit über das nächste Token oder eine vollständige Tokenfolge. Harmlose Unterschiede in der Formulierung können dabei als hohe Unsicherheit bewertet werden.
• Self-Consistency prüft, ob wiederholte Generierungen zu vereinbaren Antworten führen. Semantische Entropie erweitert diese Idee, indem sie die relative Verteilung verschiedener Bedeutungen abbildet.
• Konfidenz ist normalerweise ein Wert, der einer einzelnen Vorhersage zugeordnet ist. Semantische Entropie vergleicht stattdessen mehrere mögliche Generierungen. Keines von beiden sollte automatisch als kalibrierte Wahrscheinlichkeit interpretiert werden; die Kalibrierung muss anhand beobachteter Ergebnisse bewertet werden. (scikit-learn.org)
• Halluzinationen in LLMs sind Fehler, bei denen generierte Inhalte falsch, unbelegt oder irreführend sind. Semantische Entropie ist ein Warnsignal, nicht der Fehler selbst. Eine hohe Entropie kann auf widersprüchliche Antworten hindeuten, während eine niedrige Entropie keine Korrektheit beweist, denn ein Modell kann dieselbe falsche Behauptung konsistent wiederholen. Halluzinationen können daher selbstsicher und in sich schlüssig wirken. (openai.com)
• Semantische Segmentierung ordnet jedem Bildpixel eine Klasse zu. Obwohl auch hier das Wort „semantisch“ vorkommt, handelt es sich um eine Aufgabe der Computer Vision, die nichts mit Entropie über generierte Bedeutungen zu tun hat.

Anwendungen in der Praxis#

Frage-Antwort-Assistenten: Ein Kundendienstassistent kann vor der Antwort mehrere Antworten samplen. Wenn sich die Ausgaben darin widersprechen, ob eine Garantie versehentliche Schäden abdeckt, kann eine hohe semantische Entropie das Abrufen von Dokumenten, eine Rückfrage oder eine menschliche Prüfung auslösen. In Kombination mit Retrieval-Augmented Generation (RAG) verringert dies die Wahrscheinlichkeit, dass eine unbelegte Aussage zu den Garantiebestimmungen den Kunden erreicht.

Entscheidungsunterstützung mit Vision-Language-Modellen: Ein Vision-Language-Modell (VLM) könnte ein Industriebild bei wiederholten Generierungen als „Oberflächenkorrosion“, „Ölrückstände“ oder „normale Verfärbung“ beschreiben. Eine hohe semantische Entropie weist auf eine bedeutsame Uneinigkeit hin, die zu einer falschen Wartungsentscheidung führen könnte. Das System kann das Bild zur Prüfung an einen Inspektor weiterleiten, statt eine einzelne flüssig formulierte Beschreibung als endgültig zu behandeln.

Praktische Anwendung und Grenzen#

Semantische Entropie sollte als Bestandteil einer risikobasierten Evaluierungspipeline betrachtet werden. Teams sollten prüfen, ob höhere Werte in ihrem Anwendungsbereich tatsächlich mit mehr Fehlern einhergehen, Schwellenwerte entsprechend den Folgen von Fehlern festlegen und eine Möglichkeit zur Enthaltung oder menschlichen Prüfung beibehalten. Der Kern des NIST AI Risk Management Framework betont, Unsicherheit zu messen und Evaluierungsergebnisse mit der laufenden Risikoüberwachung zu verknüpfen. (airc.nist.gov)

Am besten eignet sich das Verfahren für offene, generierte Ausgaben. Für strukturierte Computer-Vision-Vorhersagen sind andere Evaluierungsmethoden erforderlich: Der Validierungsmodus von Ultralytics misst die Leistung anhand gelabelter Daten, während semantische Entropie beliebige natürlichsprachliche Erklärungen bewerten kann, die eine multimodale Komponente ergänzt.

Produktionsteams sollten außerdem Werteverteilungen, Fehlerkategorien, Latenz und Änderungen der Eingabedaten verfolgen. Googles Leitfaden zur Überwachung von ML-Produktivsystemen empfiehlt Protokollierung und Warnmeldungen bei Vorhersagedrift und Qualitätsverlust. Die Überwachung der Bereitstellung auf der Ultralytics Platform kann den umfassenderen Arbeitsablauf rund um Annotation, Training, Bereitstellung und Überwachung von Vision-Modellen unterstützen. Semantische Entropie kann darin unsichere Fälle erkennen, doch Faktenprüfung und repräsentative Tests bleiben unerlässlich.