YOLO lizenzieren
Zurück zum Ultralytics-Glossar

Semantic Entropy

Semantische Entropie misst die Unsicherheit eines LLM hinsichtlich der Bedeutung seiner generierten Antworten statt ihrer Formulierung und weist so auf wahrscheinliche Konfabulationen hin.

Semantische Entropie misst, wie unsicher ein großes Sprachmodell (LLM) hinsichtlich der Bedeutung seiner Antwort ist. Dazu werden mehrere Antworten auf dieselbe Frage erzeugt, Antworten mit gleicher Bedeutung gruppiert und die Entropie über diese Gruppen berechnet. Wenn zehn Stichproben eine Antwort auf zehn verschiedene Arten formulieren, beträgt die semantische Entropie null. Geben sie dagegen drei unterschiedliche Antworten, ist sie hoch und das Modell rät wahrscheinlich. Lorenz Kuhn, Yarin Gal und Sebastian Farquhar von der University of Oxford stellten das Verfahren 2023 auf der ICLR in Semantic Uncertainty: Linguistic Invariances for Uncertainty Estimation in Natural Language Generation vor. Farquhar, Jannik Kossen, Kuhn und Gal wandten es 2024 in einer Arbeit in Nature zur Erkennung von Halluzinationen an.

Die Arbeit in Nature befasst sich mit einer bestimmten Art von Halluzination, die sie als Konfabulation bezeichnet: Aussagen, die sowohl falsch als auch willkürlich sind und sich mit dem für die Stichprobenziehung verwendeten Zufallsstartwert ändern. Die gewöhnliche Entropie über die generierten Tokens kann diese Art nicht isolieren. „Paris“, „Es ist Paris“ und „Die Hauptstadt ist Paris“ sind unterschiedliche Tokenfolgen mit derselben Bedeutung. Ein Modell, das die Antwort kennt, wirkt daher trotzdem unsicher.

Berechnung der semantischen Entropie#

  1. Erzeuge mit einer Temperatur ungleich null etwa zehn Antworten auf denselben Prompt.
  2. Gruppiere die Antworten anhand wechselseitiger Schlussfolgerungen: Zwei Antworten haben dieselbe Bedeutung, wenn jede die andere impliziert. Das lässt sich von einem Modell für natürlichsprachliche Schlussfolgerungen wie DeBERTa-large-MNLI oder einem allgemeinen LLM beurteilen. In den wichtigsten Experimenten in Nature kam dafür GPT-3.5 zum Einsatz. Dieser Schritt ist eine Form des Verstehens natürlicher Sprache (NLU).
  3. Schätze die Wahrscheinlichkeit jeder Gruppe, indem du die Sequenzwahrscheinlichkeiten ihrer Antworten addierst. Wenn eine geschlossene API Token-Wahrscheinlichkeiten verbirgt, kannst du stattdessen den Anteil der Stichproben in der Gruppe verwenden. Diese Variante heißt diskrete semantische Entropie.
  4. Berechne die Entropie anhand der Wahrscheinlichkeiten der Gruppen.

Für die diskrete semantische Entropie werden nur die Antworten und ihre Gruppenzuordnung benötigt. Der folgende Codeausschnitt vergleicht sie für zwei Fragen mit der naiven Entropie über die unveränderten Zeichenfolgen. Die Gruppen sind dabei so zugeordnet, wie es ein Modell für Schlussfolgerungen tun würde:

from collections import Counter

from scipy.stats import entropy

# Five sampled answers per question, and the meaning cluster entailment checks assign to each
samples = {
    "Capital of Australia?": (
        ["Canberra", "Canberra.", "It's Canberra.", "Canberra, ACT", "Canberra"],
        ["Canberra"] * 5,
    ),
    "Year Canberra was founded?": (
        ["1913", "In 1913.", "1908", "1927", "1913"],
        ["1913", "1913", "1908", "1927", "1913"],
    ),
}

for question, (answers, meanings) in samples.items():
    # Naive entropy counts distinct strings; semantic entropy counts distinct meanings
    naive = entropy(list(Counter(answers).values()), base=2)
    semantic = entropy(list(Counter(meanings).values()), base=2)
    print(f"{question} naive: {naive:.2f} bits, semantic: {semantic:.2f} bits")

Beide Fragen ergeben vier unterschiedliche Zeichenfolgen aus fünf Stichproben. Die naive Entropie beträgt daher bei beiden 1,92 Bit. Die semantische Entropie unterscheidet sie: Bei der Hauptstadt beträgt sie 0,00 Bit, weil jede Stichprobe Canberra bedeutet. Beim Gründungsjahr beträgt sie 1,37 Bit, weil die Antworten das korrekte Jahr 1913 mit 1908, dem Jahr der Standortwahl, und 1927, dem Jahr des Umzugs des Parlaments dorthin, vermischen.

Ergebnisse und Einschränkungen#

Bei 30 Kombinationen aus Datensätzen zur Fragebeantwortung (TriviaQA, SQuAD, BioASQ, NQ-Open und SVAMP) und Modellen (LLaMA 2 Chat, Falcon Instruct und Mistral Instruct) trennte die semantische Entropie falsche von richtigen Antworten mit einer durchschnittlichen Fläche unter der ROC-Kurve (AUROC) von 0,790. Die naive Entropie erreichte 0,691 und P(True) 0,698. P(True) fragt das Modell, ob seine eigene Antwort korrekt ist. Auch bei Biografien, die GPT-4 über 21 Personen verfasste und die in 150 Tatsachenbehauptungen aufgeteilt wurden, von denen 45 falsch waren, erkannte die diskrete semantische Entropie falsche Aussagen besser als beide Vergleichsverfahren.

Die Methode hat klare Grenzen:

  • Kosten: Etwa zehn Generierungen und paarweise Überprüfungen der Schlussfolgerungen pro Frage. Die 2024 von Kossen und seinen Kollegen eingeführten Sonden für semantische Entropie senken diesen Aufwand auf eine Generierung, indem sie die semantische Entropie anhand der verborgenen Zustände des Modells vorhersagen.
  • Wiederkehrende Fehler: Ein Modell, das aus seinen Trainingsdaten einen Irrglauben übernommen hat, gibt jedes Mal dieselbe falsche Antwort. Die semantische Entropie bleibt daher niedrig. Nur ein Abgleich mit externen Quellen, wie bei der Retrieval-Augmented Generation (RAG), macht den Fehler sichtbar.
  • Lange Antworten: Absätze werden zunächst in einzelne Aussagen unterteilt, wie im Biografieexperiment, bevor sich ihre Bedeutungen vergleichen lassen.

Semantische Entropie ist ein Verfahren zur Quantifizierung von Unsicherheit bei Texten. Perplexität bewertet, wie vorhersehbar ein festgelegter Text für ein Modell ist. Bei der Selbstkonsistenz wird über mehrere Stichproben von Antworten mit Gedankenkette abgestimmt, und konforme Vorhersage wandelt solche Werte in Mengen mit garantierter Abdeckung um. Benchmarks wie Humanity's Last Exam messen dieselbe Diskrepanz aus einer anderen Perspektive, indem sie die von Modellen angegebene Konfidenz mit ihrer tatsächlichen Trefferquote vergleichen.

Dieselbe Prüfung lässt sich auf Sprach-Bild-Modelle (VLMs) anwenden, die beschreiben, was ein Detektor erkannt hat. Die Ultralytics-LLM-Schnittstelle sendet ein Bild und eine Frage an jedes OpenAI-kompatible Modell und gibt Anfrageargumente unverändert weiter. So kann eine Pipeline dieselbe Frage mehrmals zu einem Bild stellen, auf dem YOLO26 ein relevantes Objekt erkannt hat, und die zurückgegebenen Beschreibungen gruppieren.

Lösungen entdecken

Computer Vision im Sport

Computer Vision im Sport

Entdecke, wie Ultralytics YOLO die Sportbildanalyse voranbringt – mit Spieler- und Ballverfolgung, Leistungsanalysen, Erkenntnissen für das Coaching und der Rehabilitation von Athleten.
Mehr erfahren
Computer Vision für Luftbilder

Computer Vision für Luftbilder

Verwandle Drohnen- und Luftbilder mit Ultralytics YOLO in Echtzeit-Erkenntnisse für Landwirtschaft, Aquakultur, Naturschutz und Geodatenanalyse.
Mehr erfahren
Computer Vision in der Luft- und Raumfahrt

Computer Vision in der Luft- und Raumfahrt

Setze Computer Vision in der Luft- und Raumfahrt mit Ultralytics YOLO ein – für Flugzeuginspektionen, die Erkennung von Fremdkörpern auf Start- und Landebahnen, den Bodenbetrieb am Flughafen und die Erkennung von Verbundwerkstofffehlern.
Mehr erfahren
Computer Vision im Sicherheitsbereich

Computer Vision im Sicherheitsbereich

Schütze jeden Standort mit Ultralytics YOLO-Modellen. Vision-KI ermöglicht die Überwachung von Grundstücksgrenzen, die Erkennung von Bedrohungen, die Kennzeichenerkennung und die Sicherheit am Arbeitsplatz.
Mehr erfahren
Computer Vision in der Robotik

Computer Vision in der Robotik

Mach Maschinen mit Ultralytics YOLO-Modellen leistungsfähiger. Vision-KI in der Robotik ermöglicht autonome Navigation, Wahrnehmung, Objektverfolgung und Steuerung in Echtzeit.
Mehr erfahren
Bildverarbeitung in der Logistik

Bildverarbeitung in der Logistik

Optimiere die Logistik mit Ultralytics YOLO-Modellen. Vision AI ermöglicht die Paketprüfung, Sortierung und Fahrzeugverfolgung sowie die Sicherheitsüberwachung von Lagerhäusern in Echtzeit.
Mehr erfahren
Bildverarbeitung im Einzelhandel

Bildverarbeitung im Einzelhandel

Gestalte den Einzelhandel mit Ultralytics YOLO-Modellen neu. Vision AI ermöglicht Bestandsverfolgung, Regalüberwachung und Warteschlangenmanagement und liefert bessere Einblicke in das Kundenverhalten.
Mehr erfahren
Bildverarbeitung im Gesundheitswesen

Bildverarbeitung im Gesundheitswesen

Entwickle Lösungen für das Gesundheitswesen mit Ultralytics YOLO-Modellen. Vision AI ermöglicht im Gesundheitswesen schnellere medizinische Bildgebung, bessere Diagnostik und die Überwachung von Patienten.
Mehr erfahren
Computer Vision in der Fertigung

Computer Vision in der Fertigung

Optimiere die Fertigung mit Ultralytics-YOLO-Modellen. Vision AI ermöglicht Qualitätskontrolle, Fehlererkennung, die Überprüfung der Einhaltung von Vorgaben zu persönlicher Schutzausrüstung und die Automatisierung von Montagelinien.
Mehr erfahren
Computer Vision in der Automobilbranche

Computer Vision in der Automobilbranche

Setze Computer Vision in der Automobilbranche mit Ultralytics-YOLO-Modellen ein. Vision AI verbessert die Verkehrssicherheit, Fahrerassistenz und Fahrzeugautomatisierung – für intelligentere Straßen.
Mehr erfahren
Computer Vision in der Landwirtschaft

Computer Vision in der Landwirtschaft

Setze mit Ultralytics YOLO-Modellen KI für Bildverarbeitung in der intelligenten Landwirtschaft ein. Ermögliche die Überwachung von Nutzpflanzen, die Verfolgung von Nutztieren und Präzisionslandwirtschaft für höhere und nachhaltigere Erträge.
Mehr erfahren

Lass uns gemeinsam die Zukunft der KI gestalten!

Starte deine Reise in die Zukunft des maschinellen Lernens