Hallucination (in LLMs)

Nel campo dell'Intelligenza artificiale (AI), un'allucinazione si riferisce a un fenomeno in cui un modello linguistico di grandi dimensioni (LLM) genera contenuti formulati con sicurezza e sintatticamente corretti, ma fattualmente inaccurati, privi di senso o non fedeli all'input sorgente. A differenza degli errori software standard, che possono causare un arresto anomalo o un problema visibile, un modello che allucina si comporta come un abile inventore, presentando informazioni false con la stessa autorevolezza dei fatti validi. Questo pone sfide significative per le organizzazioni che implementano l'IA generativa in settori sensibili come sanità, diritto e finanza, dove l'integrità dei dati è fondamentale.

Perché si verificano le allucinazioni?#

Per capire perché i modelli allucinano, è utile esaminare come sono costruiti. Gli LLM si basano in genere sull'architettura Transformer, che funziona come un sofisticato motore di previsione. Invece di interrogare un database strutturato di fatti verificati, il modello prevede il token successivo in una sequenza sulla base delle probabilità statistiche derivate dai suoi dati di addestramento.

Diversi fattori determinano questo comportamento:

• Previsione probabilistica: Il modello privilegia la fluidità e la coerenza rispetto alla verità fattuale. Se una sequenza specifica di parole è statisticamente probabile, anche se fattualmente errata, il modello può generarla. Questo concetto è spesso discusso nella ricerca sui pappagalli stocastici, in cui i modelli imitano gli schemi linguistici senza comprenderne il significato.
• Problemi di qualità dei dati: Se il vasto corpus di testi utilizzato per l'addestramento contiene contraddizioni, informazioni obsolete o opere di fantasia, il modello può riprodurre queste inesattezze.
• Amnesia della fonte: Gli LLM comprimono enormi quantità di informazioni nei pesi del modello. Durante questo processo, spesso perdono il collegamento con le fonti specifiche, dando luogo alla "confabulazione", in cui concetti o eventi distinti vengono fusi in modo errato.

Esempi di allucinazioni nel mondo reale#

Le allucinazioni possono manifestarsi in vari modi, da innocui abbellimenti creativi a gravi errori fattuali:

• Invenzioni legali: Sono stati documentati casi in cui professionisti del settore legale hanno utilizzato l'IA per redigere memorie, scoprendo solo in seguito che il modello aveva inventato cause giudiziarie inesistenti e citazioni a sostegno di un'argomentazione.
• Generazione di codice: Gli sviluppatori che utilizzano assistenti IA possono imbattersi nelle "allucinazioni dei pacchetti", in cui il modello suggerisce di importare una libreria software o di chiamare una funzione che in realtà non esiste, semplicemente perché il nome segue le convenzioni standard di denominazione.
• Errori biografici: Quando vengono interrogati su persone meno famose, i modelli possono attribuire con sicurezza risultati, luoghi di nascita o percorsi professionali errati, fondendo di fatto dettagli relativi a più persone.

Strategie di mitigazione#

Ridurre la frequenza delle allucinazioni è un obiettivo fondamentale della sicurezza dell'IA. Ingegneri e ricercatori impiegano diverse tecniche per ancorare i modelli alla realtà:

• Generazione aumentata dal recupero (RAG): Questo metodo collega l'LLM a una base di conoscenza esterna e affidabile, spesso indicizzata in un database vettoriale. Recuperando documenti pertinenti prima di generare una risposta, il modello viene vincolato dai dati effettivi.
• Prompting della catena di pensiero: Questa tecnica di ingegneria dei prompt incoraggia il modello a "mostrare il proprio ragionamento" scomponendo il ragionamento complesso in passaggi intermedi, riducendo spesso gli errori logici.
• Apprendimento per rinforzo dal feedback umano (RLHF): Durante la fase di fine-tuning, i valutatori umani classificano le risposte del modello. Penalizzando le allucinazioni e premiando la veridicità, il modello impara ad allinearsi meglio alle aspettative umane.

Ancorare gli LLM con la computer vision#

Nei sistemi di IA multimodale, la generazione di testo può essere ancorata utilizzando dati visivi. Se a un LLM viene chiesto di descrivere una scena, potrebbe allucinare oggetti che non sono presenti. Integrando un rilevatore di oggetti ad alta precisione come YOLO26, gli sviluppatori possono fornire all'LLM un elenco fattuale degli oggetti presenti, limitando rigorosamente il suo output alle rilevazioni verificate.

Il seguente esempio in Python mostra come utilizzare il pacchetto ultralytics per estrarre un elenco verificato di oggetti, che può poi fungere da vincolo fattuale per il prompt di un modello linguistico.

from ultralytics import YOLO

# Load the YOLO26n model (latest generation, efficient and accurate)
model = YOLO("yolo26n.pt")

# Run inference on an image to get ground-truth detections
results = model("https://ultralytics.com/images/bus.jpg")

# Extract the class names of actually detected objects
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]

# This factual list prevents the LLM from hallucinating items
print(f"Verified Objects for Prompt Context: {detected_objects}")
# Output example: ['bus', 'person', 'person', 'person', 'person']

Distinguere i concetti correlati#

È importante distinguere le allucinazioni da altri errori comuni dell'IA:

• Rispetto al bias nell'IA: Il bias si riferisce a un pregiudizio sistematico negli output, ad esempio favorire un gruppo demografico rispetto a un altro, mentre l'allucinazione è un problema di accuratezza fattuale. Una risposta può essere priva di bias e tuttavia contenere un'allucinazione, ad esempio "La Luna è fatta di formaggio".
• Rispetto all'overfitting: L'overfitting si verifica quando un modello memorizza i dati di addestramento in modo eccessivamente aderente e non riesce a generalizzare a nuovi input. Le allucinazioni si verificano spesso quando un modello cerca di generalizzare eccessivamente in ambiti per i quali dispone di pochi dati.
• Rispetto alla misclassificazione: Nel rilevamento degli oggetti, classificare un'auto come un camion è un errore di classificazione, ovvero un problema di accuratezza, non un'allucinazione. L'allucinazione è specifica della generazione di contenuti falsi.

Per chi desidera gestire dataset e addestrare modelli con un'elevata integrità dei dati, così da prevenire errori a valle, la Ultralytics Platform offre strumenti completi per l'annotazione e la gestione dei dataset. Inoltre, le indicazioni del Framework di gestione dei rischi dell'IA del NIST forniscono standard per valutare e mitigare questi rischi negli ambienti di produzione.