Semantic Entropy

L'entropia semantica misura quanto un modello di IA generativa sia incerto sul significato della propria risposta. Invece di considerare ogni variazione di formulazione come un esito diverso, raggruppa le risposte semanticamente equivalenti e misura quanto la probabilità sia distribuita tra i significati risultanti. Se le risposte generate ripetutamente esprimono un'unica idea coerente, l'entropia semantica è bassa. Se indicano diverse idee in conflitto, è alta e segnala che il modello potrebbe non sapere quale risposta sia corretta.

Questa misura è particolarmente pertinente per un modello linguistico di grandi dimensioni (LLM) o un altro sistema che produce testo libero, in cui lo stesso significato può essere espresso con molte sequenze di parole diverse.

Come funziona l’entropia semantica#

L’entropia è una misura generale dell’incertezza in una distribuzione di probabilità: è bassa quando la probabilità si concentra su un unico esito e alta quando restano plausibili diversi esiti. La definizione di entropia del NIST fornisce il concetto teorico-informativo sottostante. (csrc.nist.gov)

Un flusso di lavoro basato sull’entropia semantica prevede in genere quattro passaggi:

1. Genera diverse risposte allo stesso input usando il campionamento.
2. Raggruppa le risposte che comunicano lo stesso significato.
3. Stima la probabilità di ciascun significato in base alla sua frequenza o probabilità di generazione.
4. Calcola l’entropia dei gruppi semantici.

Per esempio, «Parigi», «La risposta è Parigi» e «La capitale della Francia è Parigi» appartengono a un unico gruppo di significati. «Lione» ne appartiene a un altro. L’entropia lessicale potrebbe esagerare l’incertezza trattando tutte e quattro le stringhe come diverse, mentre l’entropia semantica riconosce che le prime tre concordano.

La fase di raggruppamento può basarsi sul giudizio umano, sull’implicazione testuale o su embedding numerici combinati con una misura di similarità come la similarità coseno di scikit-learn.

from collections import Counter

from scipy.stats import entropy

# Equivalent answers have already been assigned the same meaning label.
meaning_labels = [
    "Paris",
    "Paris",
    "Paris",
    "Lyon",
    "Unknown",
]

counts = Counter(meaning_labels)
probabilities = [count / len(meaning_labels) for count in counts.values()]

score = entropy(probabilities, base=2)
print(f"Semantic entropy: {score:.3f} bits")

Questo esempio semplificato usa la funzione di entropia documentata di SciPy. In un sistema di produzione, il raggruppamento semantico deve essere convalidato con attenzione, perché un raggruppamento errato può distorcere il punteggio finale.

Concetti correlati e differenze principali#

L’entropia semantica rientra nel più ampio campo della quantificazione dell’incertezza, ma riguarda l’incertezza sui significati, non solo su etichette, token o previsioni numeriche.

• L’entropia dei token misura l’incertezza sul token successivo o sull’intera sequenza di token. Può assegnare un’incertezza elevata a differenze di formulazione innocue.
• L’autoconsistenza verifica se generazioni ripetute producono risposte compatibili. L’entropia semantica estende questa idea rappresentando la distribuzione relativa dei diversi significati.
• La confidenza è di solito un punteggio associato a una singola previsione. L’entropia semantica, invece, confronta diverse generazioni possibili. Nessuna delle due dovrebbe essere interpretata automaticamente come una probabilità calibrata; la calibrazione deve essere valutata rispetto agli esiti osservati. (scikit-learn.org)
• Le allucinazioni negli LLM sono errori in cui il contenuto generato è falso, non supportato o fuorviante. L’entropia semantica è un segnale di allarme, non l’errore stesso. Un’entropia elevata può rivelare risposte discordanti, mentre un’entropia bassa non dimostra la correttezza, perché un modello può ripetere con coerenza la stessa affermazione falsa. Le allucinazioni possono quindi apparire sicure e internamente coerenti. (openai.com)
• La segmentazione semantica assegna una classe a ogni pixel dell’immagine. Sebbene condivida la parola «semantica», è un’attività di visione artificiale e non è correlata all’entropia dei significati generati.

Applicazioni nel mondo reale#

Assistenti per domande e risposte: un assistente per l’assistenza clienti può campionare diverse risposte prima di rispondere. Se le risposte non concordano sul fatto che una garanzia copra i danni accidentali, un’entropia semantica elevata può attivare il recupero di documenti, una richiesta di chiarimenti o una revisione umana. In combinazione con la generazione aumentata dal recupero (RAG), questo riduce la possibilità che un’affermazione non supportata sulle condizioni raggiunga il cliente.

Supporto decisionale basato su visione e linguaggio: un modello visione-linguaggio (VLM) potrebbe descrivere un’immagine industriale come «corrosione superficiale», «residui di olio» o «scolorimento normale» in generazioni ripetute. Un’entropia semantica elevata indica un disaccordo significativo che potrebbe portare a una decisione di manutenzione errata. Il sistema può indirizzare l’immagine a un ispettore invece di trattare come definitiva una singola descrizione formulata in modo scorrevole.

Uso pratico e limitazioni#

L’entropia semantica va considerata una componente di una pipeline di valutazione basata sul rischio. I team dovrebbero verificare se i punteggi più elevati corrispondono davvero a un maggior numero di errori nel proprio ambito, scegliere le soglie in base alle conseguenze degli sbagli e mantenere una procedura di astensione o revisione umana. Il Nucleo del quadro di gestione dei rischi dell’IA del NIST sottolinea l’importanza di misurare l’incertezza e collegare i risultati della valutazione al monitoraggio continuo dei rischi. (airc.nist.gov)

È più adatta agli output generati a risposta aperta. Le previsioni strutturate di visione artificiale richiedono metodi di valutazione diversi: la modalità di validazione di Ultralytics misura le prestazioni rispetto a dati etichettati, mentre l’entropia semantica può valutare le spiegazioni in testo libero aggiunte da un componente multimodale.

I team che gestiscono sistemi di produzione dovrebbero monitorare anche la distribuzione dei punteggi, le categorie di errore, la latenza e le variazioni dei dati di input. Le indicazioni di Google sul monitoraggio dei sistemi ML in produzione raccomandano la registrazione dei dati e l’invio di avvisi in caso di deriva delle previsioni e calo della qualità. Il monitoraggio delle distribuzioni di Ultralytics Platform può supportare il flusso di lavoro più ampio di annotazione, addestramento, distribuzione e monitoraggio dei modelli di visione. L’entropia semantica può individuare i casi incerti all’interno di questo flusso di lavoro, ma la verifica dei fatti e i test rappresentativi restano essenziali.