Perplexity

Perplexity ist eine Evaluierungsmetrik, die misst, wie gut ein probabilistisches Modell eine Sequenz von Token vorhersagt. Sie wird am häufigsten in der Language Modeling verwendet, wo ein niedrigerer Wert bedeutet, dass das Modell den evaluierten Text als weniger überraschend empfindet. Intuitiv legt eine Perplexity von 10 nahe, dass das Modell bei jedem Vorhersageschritt ungefähr so unsicher ist, als würde es unter 10 gleich wahrscheinlichen Alternativen wählen. Diese Interpretation ist approximativ, macht die Metrik aber verständlicher.

So funktioniert Perplexity#

Ein Sprachmodell weist jedem möglichen nächsten Token basierend auf dem vorhergehenden Kontext eine Wahrscheinlichkeit zu. Wie in Googles Einführung in Sprachmodelle erklärt, sagt ein autoregressives Modell wiederholt das nächste Token voraus und fügt es dem Kontext hinzu.

Perplexity fasst die den korrekten Token zugewiesenen Wahrscheinlichkeiten über eine Evaluierungssequenz hinweg zusammen. Sie wird aus dem durchschnittlichen negativen Log-Likelihood abgeleitet, das gemeinhin als Cross-Entropy ausgedrückt wird:

• Wenn die Cross-Entropy natürliche Logarithmen verwendet, ist Perplexity e hoch die Cross-Entropy.
• Wenn die Cross-Entropy Basis-2-Logarithmen verwendet, ist Perplexity 2 hoch die Cross-Entropy.

Das Google Machine Learning Glossary liefert eine verwandte Interpretation: Perplexity approximiert die Anzahl der Schätzversuche, die ein Modell benötigen würde, um die korrekte Vorhersage einzuschließen. Bibliotheken können sie auch direkt berechnen, wie die NLTK-Sprachmodell-Perplexity-API zeigt.

Dieses minimale Python-Beispiel berechnet Perplexity aus den Wahrscheinlichkeiten, die vier korrekten Token zugewiesen wurden:

import math

# Probability assigned to the correct token at each position
token_probabilities = [0.50, 0.25, 0.80, 0.40]

negative_log_probs = [-math.log(probability) for probability in token_probabilities]
cross_entropy = sum(negative_log_probs) / len(negative_log_probs)
perplexity = math.exp(cross_entropy)

print(f"Cross-entropy: {cross_entropy:.3f}")
print(f"Perplexity: {perplexity:.3f}")

Die Berechnung nutzt Pythons dokumentierte math.exp-Exponentialfunktion. Im Modelltrainingcode berechnen Frameworks wie PyTorchs Cross-Entropy-Loss normalerweise den durchschnittlichen Loss, bevor dieser exponentiiert wird.

Perplexity interpretieren#

Eine niedrigere Perplexity zeigt im Allgemeinen an, dass ein Modell den beobachteten Token höhere Wahrscheinlichkeiten zuweist. Die Zahl hat jedoch nur im Rahmen eines kontrollierten Vergleichs eine Bedeutung.

Angenommen, Modell A hat eine Perplexity von 20 und Modell B hat eine Perplexity von 30 auf denselben Validierungsdaten. Modell A sagt diesen Datensatz effektiver voraus. Es liefert dadurch nicht unbedingt faktischere, nützlichere, sicherere oder besser lesbare Antworten.

Perplexity unterscheidet sich zudem von mehreren verwandten Konzepten:

• Loss-Funktion: Cross-Entropy ist der zugrunde liegende Trainings- oder Evaluierungsloss, während Perplexity ihre exponentiierte, intuitivere Darstellung ist.
• Genauigkeit: Accuracy prüft, ob eine ausgewählte Vorhersage korrekt ist. Perplexity evaluiert die gesamte vorhergesagte Wahrscheinlichkeitsverteilung, einschließlich der Wahrscheinlichkeit, die das Modell Alternativen zuweist.
• Konfidenz: Konfidenz beschreibt normalerweise die Gewissheit für eine einzelne Vorhersage. Perplexity aggregiert die prädiktive Unsicherheit über viele Sequenzpositionen hinweg.
• Generierungsqualität: Ein Modell mit niedriger Perplexity produziert möglicherweise flüssigen, aber repetitiven, inkorrekten oder wenig hilfreichen Text. Perplexity misst die Faktizität oder Argumentation nicht direkt.

Anwendungen in der Praxis#

• Prädiktiver Text und Sequenzgenerierung: Entwickler können Sprachmodelle für Tastaturvorschläge, Transkription oder Autovervollständigung mithilfe von Testtext aus der vorgesehenen Domäne vergleichen. Beispielsweise kann ein Modell mit niedrigerer Perplexity bei medizinischer Terminologie bessere Vorhersagen für das nächste Token in klinischen Diktaten liefern. Die Metrik kann bei der Modellauswahl helfen, bevor Latenz und Nutzerakzeptanz separat evaluiert werden.

• Bildbeschreibung mit visueller Aufmerksamkeit: Ein Bildbeschreibungssystem verwendet häufig einen visuellen Encoder gefolgt von einem Sprachdecoder. Perplexity kann messen, wie gut der Decoder Referenzbeschreibungs-Token anhand von Bildmerkmalen vorhersagt. Dies ist für Vision-Language-Modelle relevant, obwohl eine niedrige Perplexity allein nicht bestimmen kann, ob eine Beschreibung jedes Objekt korrekt identifiziert oder halluzinierte Details vermeidet.

Eine auf Wahrscheinlichkeiten basierende Evaluierung kann auch spezialisierte Diagnosen unterstützen. NVIDIAs Log-Wahrscheinlichkeits-Evaluierungsleitfaden erklärt, wie Token-Wahrscheinlichkeiten zu Metriken wie Perplexity aggregiert werden können, ohne eine freie Generierung zu erfordern.

Einschränkungen und bewährte Methoden#

Perplexity-Werte sollten nicht verglichen werden, wenn Modelle unterschiedliche Tokenisierungsverfahren verwenden. Ein wortbasiertes Modell, ein zeichenbasiertes Modell und ein auf Subwörtern basierendes Large Language Model unterteilen denselben Satz unterschiedlich, wodurch sich die Anzahl und Schwierigkeit der Vorhersageschritte verändern.

Evaluierungsdatensätze müssen zudem zur Zieldomäne passen. Ein Modell erzielt möglicherweise eine niedrige Perplexity bei Nachrichtenartikeln, schneidet aber bei Quellcode oder technischen Support-Gesprächen schlecht ab. Befolgen Sie etablierte Leitlinien für die Qualität des maschinellen Lernens, indem Sie repräsentative, separate Evaluierungsdaten und eine konsistente Vorverarbeitung verwenden.

Kombinieren Sie in multimodalen Systemen und Computer-Vision-Systemen Perplexity mit aufgabenspezifischen Maßen. Der Ultralytics-Leitfaden zur Modellevaluierung und Feinabstimmung behandelt Metriken wie Precision, Recall und Mean Average Precision für visuelle Vorhersagen. Gemeinsam bieten Sprach- und Vision-Metriken eine vollständigere Beurteilung als Perplexity allein.