Perplexity

La perplexity è una metrica di valutazione che misura quanto bene un modello probabilistico prevede una sequenza di token. Viene utilizzata più comunemente nella modellazione del linguaggio, dove un valore inferiore significa che il modello trova il testo valutato meno sorprendente. Intuitivamente, una perplexity di 10 suggerisce che, a ogni passaggio di previsione, il modello è incerto circa quanto lo sarebbe se stesse scegliendo tra 10 alternative ugualmente probabili. Questa interpretazione è approssimativa, ma rende la metrica più facile da comprendere.

Come funziona la perplexity#

Un modello di linguaggio assegna una probabilità a ogni possibile token successivo in base al contesto precedente. Come spiegato nell'introduzione ai modelli di linguaggio di Google, un modello autoregressivo prevede ripetutamente il token successivo e lo aggiunge al contesto.

La perplexity riassume le probabilità assegnate ai token corretti lungo una sequenza di valutazione. Essa deriva dalla media del logaritmo negativo della verosimiglianza, comunemente espressa come entropia incrociata:

• Se l'entropia incrociata utilizza logaritmi naturali, la perplexity è e elevata all'entropia incrociata.
• Se l'entropia incrociata utilizza logaritmi in base 2, la perplexity è 2 elevata all'entropia incrociata.

Il Glossario di Machine Learning di Google fornisce un'interpretazione correlata: la perplexity approssima il numero di tentativi di cui un modello avrebbe bisogno per includere la previsione corretta. Le librerie possono anche calcolarla direttamente, come mostrato dall'API di perplexity per modelli di linguaggio NLTK.

Questo esempio minimo in Python calcola la perplexity a partir dalle probabilità assegnate a quattro token corretti:

import math

# Probability assigned to the correct token at each position
token_probabilities = [0.50, 0.25, 0.80, 0.40]

negative_log_probs = [-math.log(probability) for probability in token_probabilities]
cross_entropy = sum(negative_log_probs) / len(negative_log_probs)
perplexity = math.exp(cross_entropy)

print(f"Cross-entropy: {cross_entropy:.3f}")
print(f"Perplexity: {perplexity:.3f}")

Il calcolo utilizza la documentata math.exp funzione esponenziale di Python. Nel codice di addestramento del modello, i framework come la loss di entropia incrociata di PyTorch calcolano solitamente la loss media prima di elevarla a potenza.

Come interpretare la perplexity#

Una perplexity inferiore indica generalmente che un modello assegna probabilità più elevate ai token osservati. Tuttavia, il numero ha significato solo all'interno di un confronto controllato.

Supponi che il Modello A abbia una perplexity di 20 e il Modello B abbia una perplexity di 30 sugli stessi dati di convalida. Il Modello A prevede quel dataset in modo più efficace. Non produce necessariamente risposte più fattuali, utili, sicure o leggibili.

La perplexity differisce inoltre da diversi concetti correlati:

• Funzione di loss: L'entropia incrociata è la loss sottostante di addestramento o valutazione, mentre la perplexity è la sua rappresentazione esponenziale e più intuitiva.
• Accuratezza: L'accuratezza verifica se una previsione selezionata è corretta. La perplexity valuta l'intera distribuzione di probabilità prevista, inclusa quanta probabilità il modello assegna alle alternative.
• Fiducia: La fiducia descrive solitamente la certezza per una singola previsione. La perplexity aggrega l'incertezza predittiva attraverso molte posizioni di sequenza.
• Qualità della generazione: Un modello a bassa perplexity può produrre testo fluente ma ripetitivo, errato o poco utile. La perplexity non misura direttamente la veridicità o il ragionamento.

Applicazioni nel mondo reale#

• Testo predittivo e generazione di sequenze: Gli sviluppatori possono confrontare i modelli di linguaggio per suggerimenti da tastiera, trascrizione o completamento automatico utilizzando testo trattenuto dal dominio di destinazione. Ad esempio, un modello con una perplexity inferiore sulla terminologia medica può fornire migliori previsioni del token successivo nella dettatura clinica. La metrica può aiutare a selezionare un modello prima di valutare separatamente la latenza e l'accettazione da parte dell'utente.

• Generazione di didascalie per immagini con attenzione visiva: Un sistema di didascalie per immagini utilizza spesso un encoder visivo seguito da un decoder di linguaggio. La perplexity può misurare quanto bene il decoder prevede i token della didascalia di riferimento dati gli elementi visivi dell'immagine. Ciò è rilevante per i modelli di visione-linguaggio, sebbene la sola bassa perplexity non possa determinare se una didascalia identifichi correttamente ogni oggetto o eviti dettagli allucinati.

La valutazione basata sulle probabilità può anche supportare la diagnostica specializzata. La guida alla valutazione delle probabilità di log di NVIDIA spiega come le probabilità dei token possano essere aggregate in metriche come la perplexity senza richiedere una generazione a mano libera.

Limitazioni e migliori pratiche#

I valori di perplexity non dovrebbero essere confrontati quando i modelli utilizzano schemi di tokenizzazione differenti. Un modello a livello di parola, un modello a livello di carattere e un modello linguistico di grandi dimensioni basato su sottoparole dividono la stessa frase in modo diverso, modificando il numero e la difficoltà dei passaggi di previsione.

I dataset di valutazione devono anche corrispondere al dominio di destinazione. Un modello può raggiungere una bassa perplexity sugli articoli di notizie ma avere scarse prestazioni su codice sorgente o conversazioni di supporto tecnico. Segui le linee guida consolidate sulla qualità del machine learning utilizzando dati di valutazione separati e rappresentativi e una preelaborazione coerente.

Nei sistemi multimodali e di visione artificiale, abbina la perplexity a misure specifiche per il compito. La guida di Ultralytics alla valutazione del modello e al fine-tuning copre metriche come precisione, richiamo e precisione media media per le previsioni visive. Insieme, le metriche di linguaggio e visione forniscono una valutazione più completa rispetto alla sola perplexity.