Hallucination (in LLMs)

Un'allucinazione in un modello linguistico di grandi dimensioni (LLM) è un contenuto generato che sembra fluido e sicuro di sé, ma è falso, non supportato dalle fonti del modello o incoerente con il suo stesso input. Le allucinazioni vanno da una citazione inventata o una data errata a un riepilogo che aggiunge affermazioni mai presenti nel documento di origine; sono difficili da individuare perché una risposta errata ha lo stesso tono di una corretta. Nel caso Mata v. Avianca (2023), un tribunale federale statunitense ha sanzionato due avvocati per aver depositato una memoria che citava sei sentenze inventate da ChatGPT. Alcuni ricercatori preferiscono il sinonimo confabulazione, perché il modello colma le lacune delle proprie conoscenze con testo plausibile.

Tipi di allucinazione#

• Allucinazioni intrinseche: output che contraddice la fonte fornita, ad esempio un riepilogo che indica un anno di approvazione diverso da quello riportato nel documento riassunto. Il sondaggio di Ji et al. usa questo termine e quello successivo per classificare gli errori nella sintesi, nel dialogo e nella traduzione.
• Allucinazioni estrinseche: output che aggiunge informazioni che la fonte non può confermare, le quali possono essere vere o false.
• Errori fattuali nelle risposte aperte: senza alcuna fonte, il modello afferma fatti errati, inventa riferimenti o mescola dettagli di più persone in un'unica biografia.
• Allucinazioni sui pacchetti: gli assistenti di programmazione importano librerie inesistenti. Uno studio su 576,000 esempi di codice generati da 16 modelli ha rilevato che almeno il 5.2% dei pacchetti suggeriti dai modelli commerciali e il 21.7% di quelli suggeriti dai modelli open source erano inventati: in totale, 205,474 nomi di pacchetti falsi univoci che gli aggressori potrebbero registrare con codice dannoso.
• Allucinazioni sugli oggetti: i modelli visione-linguaggio (VLM) descrivono oggetti che non sono presenti nell'immagine.

Perché gli LLM hanno allucinazioni#

Un LLM genera testo prevedendo il token successivo sulla base delle probabilità apprese durante il preaddestramento, senza alcun controllo integrato rispetto a un database di fatti. Kalai et al. (2025) di OpenAI riconducono le allucinazioni a due pressioni statistiche. Durante il preaddestramento, i fatti osservati una sola volta, come la data di nascita di una persona poco nota, non possono essere appresi in modo affidabile: se il 20% dei fatti relativi alle date di nascita compare esattamente una volta nei dati di addestramento, ci si deve aspettare che un modello di base allucini in risposta ad almeno il 20% delle domande sulle date di nascita. Dopo l'addestramento, la maggior parte dei benchmark classifica le risposte come corrette o errate e assegna zero punti a «Non lo so»; di conseguenza, un modello che prova a indovinare ottiene un punteggio superiore a uno che si astiene, e il post-addestramento li porta a indovinare con sicurezza.

Altri fattori contribuiscono al problema. Il campionamento con una temperatura elevata o un campionamento del nucleo ampio può selezionare continuazioni poco probabili; l'accuratezza diminuisce quando i fatti pertinenti si perdono in input lunghi (degrado del contesto) e i modelli addestrati sulle approvazioni umane tendono ad accettare una premessa falsa contenuta nella domanda, una forma di compiacenza dell'IA.

Rilevare e ridurre le allucinazioni#

• Generazione aumentata dal recupero (RAG): il sistema recupera passaggi da una raccolta affidabile e chiede al modello di rispondere sulla base di questi. Un riordinatore migliora la selezione dei passaggi inclusi nel prompt, anche se il modello può comunque interpretarli male o ignorarli.
• Grounding con citazioni: ogni affermazione deve citare un passaggio recuperato e un verificatore, spesso un secondo modello, conferma che il passaggio la supporti.
• Entropia semantica: il modello risponde più volte alla stessa domanda, le risposte vengono raggruppate per significato e un'elevata entropia tra i gruppi segnala una probabile confabulazione.
• Catena di verifica (CoVe): il modello prepara una bozza di risposta, scrive domande di verifica sulle proprie affermazioni, risponde autonomamente a tali domande e rivede la bozza.
• Premiare l'astensione: addestrare il modello con RLHF o altri feedback che penalizzano gli errori sicuri di sé più di «Non lo so», e valutare i risultati allo stesso modo, elimina l'incentivo a indovinare.

Un sistema di domande e risposte basato su evidenze combina diversi di questi controlli in un ciclo:

Allucinazioni e concetti correlati#

• Pregiudizi nell'IA: una distorsione sistematica nei risultati, ad esempio a favore di un gruppo. Una risposta può essere priva di pregiudizi e avere comunque allucinazioni, oppure essere corretta nei fatti e comunque di parte.
• Overfitting: memorizzazione degli esempi di addestramento a scapito della capacità di generalizzazione. Le allucinazioni spesso derivano dalla situazione opposta: il modello completa un fatto incontrato troppo raramente per memorizzarlo.
• Collasso del modello: perdita di conoscenze rare quando i modelli vengono addestrati su dati generati, che può far aumentare le allucinazioni dei modelli successivi sui fatti poco frequenti.

Allucinazioni sugli oggetti nei modelli visione-linguaggio#

I VLM si affidano alle conoscenze linguistiche pregresse, quindi un modello di generazione di didascalie potrebbe menzionare una forchetta su un tavolo da pranzo che ne è privo, perché le forchette compaiono spesso accanto ai piatti nelle didascalie di addestramento. Le allucinazioni di oggetti nella generazione di didascalie per immagini si misurano con la metrica CHAIR, che indica la frazione degli oggetti menzionati in una didascalia assenti dalle annotazioni di riferimento dell'immagine. Quando un VLM disegna riquadri, ogni oggetto allucinato diventa un falso positivo, e i risultati dei benchmark VLM riportano la precisione di ciascun modello sui dataset di rilevamento del mondo reale. Una contromisura consiste nel passare al modello linguistico un elenco degli oggetti effettivamente individuati da un rilevatore. Lo snippet qui sotto esegue YOLO26 su un'immagine e trasforma i suoi rilevamenti in un vincolo del prompt:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Per-class detection counts as text, used as facts the language model must stay within
detections = result.verbose()
prompt = f"Describe this image. Mention only these detected objects: {detections}"
print(prompt)

result.verbose() restituisce un conteggio per ogni classe rilevata, quindi ogni oggetto nominato nel prompt corrisponde a un riquadro di delimitazione; prima che la risposta raggiunga l'utente, è possibile segnalare qualsiasi risposta che menzioni un altro oggetto.