Licenza YOLO
Torna al glossario di Ultralytics

Semantic Entropy

L'entropia semantica misura l'incertezza di un LLM sui significati delle risposte campionate, anziché sulla loro formulazione, segnalando le probabili confabulazioni.

L'entropia semantica misura quanto un modello linguistico di grandi dimensioni (LLM) sia incerto sul significato della propria risposta. Si calcola campionando più risposte alla stessa domanda, raggruppando quelle che dicono la stessa cosa e calcolando l'entropia sui gruppi. Se dieci campioni formulano una risposta in dieci modi diversi, l'entropia semantica è zero; se forniscono tre risposte diverse, è elevata e probabilmente il modello sta tirando a indovinare. Lorenz Kuhn, Yarin Gal e Sebastian Farquhar dell'Università di Oxford l'hanno introdotta a ICLR 2023 in Semantic Uncertainty: Linguistic Invariances for Uncertainty Estimation in Natural Language Generation; un articolo di Nature del 2024, scritto da Farquhar, Jannik Kossen, Kuhn e Gal, l'ha applicata al rilevamento delle allucinazioni.

L'articolo di Nature si concentra su un tipo di allucinazione che chiama confabulazione: affermazioni al tempo stesso errate e arbitrarie, che cambiano in base al seed casuale usato per il campionamento. La normale entropia sui token generati non riesce a isolare questo fenomeno, perché "Parigi", "È Parigi" e "La capitale è Parigi" sono sequenze di token diverse ma hanno lo stesso significato; di conseguenza, un modello che conosce la risposta sembra comunque incerto.

Come si calcola l'entropia semantica#

  1. Campiona circa 10 risposte allo stesso prompt usando una temperatura di campionamento diversa da zero.
  2. Raggruppa le risposte in base all'implicazione bidirezionale: due risposte hanno lo stesso significato se ciascuna implica l'altra, secondo la valutazione di un modello di inferenza del linguaggio naturale come DeBERTa-large-MNLI o di un LLM generico, che nei principali esperimenti di Nature era GPT-3.5. Questo passaggio è una forma di comprensione del linguaggio naturale (NLU).
  3. Stima la probabilità di ogni gruppo sommando le probabilità delle sequenze delle sue risposte oppure, quando un'API chiusa non espone le probabilità dei token, calcolando la quota di campioni nel gruppo: una variante chiamata entropia semantica discreta.
  4. Calcola l'entropia sulle probabilità dei gruppi.

L'entropia semantica discreta richiede solo le risposte e i relativi gruppi. Il frammento seguente la confronta con l'entropia ingenua calcolata sulle stringhe grezze per due domande, con i gruppi assegnati come farebbe un modello di implicazione:

from collections import Counter

from scipy.stats import entropy

# Five sampled answers per question, and the meaning cluster entailment checks assign to each
samples = {
    "Capital of Australia?": (
        ["Canberra", "Canberra.", "It's Canberra.", "Canberra, ACT", "Canberra"],
        ["Canberra"] * 5,
    ),
    "Year Canberra was founded?": (
        ["1913", "In 1913.", "1908", "1927", "1913"],
        ["1913", "1913", "1908", "1927", "1913"],
    ),
}

for question, (answers, meanings) in samples.items():
    # Naive entropy counts distinct strings; semantic entropy counts distinct meanings
    naive = entropy(list(Counter(answers).values()), base=2)
    semantic = entropy(list(Counter(meanings).values()), base=2)
    print(f"{question} naive: {naive:.2f} bits, semantic: {semantic:.2f} bits")

Per entrambe le domande, quattro dei cinque campioni sono stringhe distinte, quindi l'entropia ingenua è pari a 1,92 bit. L'entropia semantica le distingue: 0,00 bit per la capitale, perché tutti i campioni indicano Canberra, e 1,37 bit per l'anno di fondazione, perché i campioni includono il 1913, l'anno corretto, il 1908, quando fu scelto il sito, e il 1927, quando vi si trasferì il Parlamento.

Risultati e limiti#

Su 30 combinazioni di dataset di risposta alle domande (TriviaQA, SQuAD, BioASQ, NQ-Open e SVAMP) e modelli (LLaMA 2 Chat, Falcon Instruct e Mistral Instruct), l'entropia semantica ha distinto le risposte errate da quelle corrette con un valore medio di area sotto la curva ROC (AUROC) pari a 0,790, rispetto a 0,691 per l'entropia ingenua e 0,698 per P(True), che chiede al modello se la propria risposta è corretta. Anche nelle biografie che GPT-4 ha scritto su 21 persone, suddivise in 150 affermazioni fattuali di cui 45 errate, l'entropia semantica discreta ha superato entrambi i valori di riferimento nell'individuazione delle affermazioni false.

Il metodo presenta limiti evidenti:

  • Costo: circa 10 generazioni e controlli di implicazione a coppie per ogni domanda. Le sonde di entropia semantica, introdotte da Kossen e colleghi nel 2024, riducono il numero di generazioni a una prevedendo l'entropia semantica a partire dagli stati nascosti del modello.
  • Errori coerenti: un modello che ha appreso un'idea errata dai dati di addestramento fornisce ogni volta la stessa risposta sbagliata, quindi l'entropia semantica resta bassa; solo un confronto con fonti esterne, come nella generazione aumentata dal recupero (RAG), può rivelare l'errore.
  • Risposte lunghe: prima di poterne confrontare i significati, i paragrafi vengono suddivisi in singole affermazioni, come nell'esperimento sulle biografie.

L'entropia semantica è uno strumento di quantificazione dell'incertezza per il testo. La perplessità misura quanto un testo fisso sia prevedibile per un modello; l'autoconsistenza esprime un voto di maggioranza sulle risposte chain-of-thought campionate; la predizione conforme trasforma punteggi di questo tipo in insiemi con copertura garantita. Benchmark come Humanity's Last Exam misurano la stessa discrepanza da un'altra prospettiva, confrontando la fiducia dichiarata dai modelli con la frequenza delle loro risposte corrette.

Lo stesso controllo si applica ai modelli visione-linguaggio (VLM) che descrivono ciò che ha rilevato un modello di rilevamento. L'interfaccia LLM di Ultralytics invia un'immagine e una domanda a qualsiasi modello compatibile con OpenAI e inoltra gli argomenti della richiesta senza modificarli, così una pipeline può porre più volte la stessa domanda su un'immagine in cui YOLO26 ha rilevato un oggetto di interesse e raggruppare le descrizioni ottenute.

Esplora le soluzioni

La visione artificiale nello sport

La visione artificiale nello sport

Scopri come Ultralytics YOLO alimenta la computer vision nello sport con il tracciamento di giocatori e palloni, l'analisi delle prestazioni, gli approfondimenti per gli allenatori e la riabilitazione degli atleti.
Scopri di più
Computer vision per immagini aeree

Computer vision per immagini aeree

Trasforma immagini aeree e riprese da drone in informazioni utili in tempo reale per agricoltura, acquacoltura, conservazione e analisi geospaziale con Ultralytics YOLO.
Scopri di più
Computer vision nel settore aerospaziale

Computer vision nel settore aerospaziale

Applica la visione artificiale nel settore aerospaziale con Ultralytics YOLO per l'ispezione degli aeromobili, il rilevamento di FOD sulle piste, le operazioni di terra aeroportuali e il rilevamento di difetti nei materiali compositi.
Scopri di più
Visione artificiale nella sicurezza

Visione artificiale nella sicurezza

Proteggi ogni sito con i modelli Ultralytics YOLO. L'IA visiva alimenta il monitoraggio perimetrale, il rilevamento delle minacce, il riconoscimento delle targhe e la sicurezza sul lavoro.
Scopri di più
Visione artificiale nella robotica

Visione artificiale nella robotica

Dai più potenza alle macchine intelligenti con i modelli Ultralytics YOLO. Nell'ambito della robotica, l'IA visiva alimenta la navigazione autonoma, la percezione, il tracciamento degli oggetti e il controllo in tempo reale.
Scopri di più
Visione artificiale nella logistica

Visione artificiale nella logistica

Semplifica la logistica con i modelli Ultralytics YOLO. L'IA per la visione consente l'ispezione dei pacchi, la selezione, il tracciamento dei veicoli e il monitoraggio della sicurezza nei magazzini in tempo reale.
Scopri di più
Visione artificiale nel commercio al dettaglio

Visione artificiale nel commercio al dettaglio

Ripensa il commercio al dettaglio con i modelli Ultralytics YOLO. L'IA per la visione consente di tracciare le scorte, monitorare gli scaffali, gestire le code e ottenere informazioni più approfondite sui clienti.
Scopri di più
Visione artificiale in ambito sanitario

Visione artificiale in ambito sanitario

Crea soluzioni sanitarie con i modelli Ultralytics YOLO. In ambito sanitario, l'IA per la visione consente di elaborare più rapidamente le immagini mediche, migliorare la diagnostica e monitorare i pazienti.
Scopri di più
Computer vision nella produzione

Computer vision nella produzione

Ottimizza la produzione con i modelli Ultralytics YOLO. La visione basata sull'IA migliora il controllo qualità, il rilevamento dei difetti, la conformità ai requisiti sui DPI e l'automazione delle linee di assemblaggio.
Scopri di più
Computer vision nel settore automobilistico

Computer vision nel settore automobilistico

Applica la computer vision al settore automobilistico con i modelli Ultralytics YOLO. La visione basata sull'IA migliora la sicurezza stradale, i sistemi di assistenza alla guida e l'automazione dei veicoli, per strade più intelligenti.
Scopri di più
Visione artificiale in agricoltura

Visione artificiale in agricoltura

Porta l'IA visiva nell'agricoltura intelligente con i modelli Ultralytics YOLO. Gestisci il monitoraggio delle colture, il tracciamento del bestiame e l'agricoltura di precisione per ottenere raccolti più abbondanti e intelligenti.
Scopri di più

Costruiamo insieme il futuro dell'IA!

Inizia il tuo percorso verso il futuro del machine learning