Hallucination (in LLMs)

Nel campo dell'Artificial Intelligence (AI), un'allucinazione si riferisce a un fenomeno in cui un Large Language Model (LLM) genera contenuti sicuri di sé e sintatticamente corretti ma fattualmente imprecisi, senza senso o non fedeli all'input di origine. A differenza dei normali errori software che potrebbero produrre un arresto anomalo o un difetto visibile, un modello che allucina si comporta come un fabbricatore convincente, presentando false informazioni con la stessa autorità dei fatti validi. Ciò pone sfide significative per le organizzazioni che distribuiscono Generative AI in settori sensibili come sanità, legge e finanza, dove l'integrità dei dati è fondamentale.

Perché si verificano le allucinazioni?#

Per capire perché i modelli allucinano, è utile esaminare come sono costruiti. Gli LLM si basano solitamente sull'architettura Transformer, che funziona come un sofisticato motore di previsione. Invece di interrogare un database strutturato di fatti verificati, il modello prevede il token successivo in una sequenza basandosi su probabilità statistiche derivate dai suoi training data.

Diversi fattori guidano questo comportamento:

• Indovina probabilistico: Il modello dà priorità alla fluidità e alla coerenza rispetto alla verità fattuale. Se una specifica sequenza di parole è statisticamente probabile, anche se fattualmente errata, il modello potrebbe generarla. Questo concetto viene spesso discusso nella ricerca riguardo ai stochastic parrots, in cui i modelli imitano i pattern linguistici senza comprenderne il significato.
• Problemi di qualità dei dati: Se l'enorme corpus di testo utilizzato per l'addestramento contiene contraddizioni, informazioni obsolete o finzione, il modello potrebbe riprodurre queste inesattezze.
• Amnesia della fonte: Gli LLM comprimono enormi quantità di informazioni nei model weights. In questo processo, spesso perdono il legame con fonti specifiche, portando a una "confabulazione" in cui concetti o eventi distinti vengono fusi in modo errato.

Esempi reali di allucinazione#

Le allucinazioni possono manifestarsi in vari modi, da innocui abbellimenti creativi a gravi errori fattuali:

• Fabbricazione legale: Ci sono stati casi documentati in cui professionisti legali hanno usato l'IA per redigere memorie, solo per scoprire che il modello aveva inventato non-existent court cases e citazioni per supportare un argomento.
• Generazione di codice: Gli sviluppatori che utilizzano assistenti IA potrebbero riscontrare "allucinazioni di pacchetti", in cui il modello suggerisce di importare una libreria software o di chiamare una funzione che in realtà non esiste, semplicemente perché il nome segue le convenzioni di denominazione standard.
• Errori biografici: Quando interpellati su individui meno famosi, i modelli possono attribuire loro con sicurezza risultati, luoghi di nascita o storie lavorative errate, mescolando di fatto dettagli di più persone.

Strategie di mitigazione#

Ridurre la frequenza delle allucinazioni è un obiettivo principale di AI Safety. Ingegneri e ricercatori impiegano diverse tecniche per ancorare i modelli alla realtà:

• Retrieval-Augmented Generation (RAG): Questo metodo collega l'LLM a una base di conoscenza esterna e affidabile, spesso indicizzata in un vector database. Recuperando documenti pertinenti prima di generare una risposta, il modello viene vincolato da dati reali.
• Chain-of-Thought Prompting: Questa tecnica di prompt engineering incoraggia il modello a "mostrare il proprio lavoro" suddividendo il ragionamento complesso in passaggi intermedi, il che spesso riduce gli errori di logica.
• Reinforcement Learning from Human Feedback (RLHF): Durante la fase di fine-tuning, i valutatori umani classificano le risposte del modello. Penalizzando le allucinazioni e premiando la veridicità, il modello impara ad allinearsi meglio alle aspettative umane.

Ancorare i LLM con la Computer Vision#

Nei sistemi di Multimodal AI, la generazione di testo può essere ancorata utilizzando dati visivi. Se a un LLM viene chiesto di descrivere una scena, potrebbe allucinare oggetti che non sono presenti. Integrando un rilevatore di oggetti ad alta precisione come YOLO26, gli sviluppatori possono fornire un elenco fattuale degli oggetti presenti all'LLM, limitandone rigorosamente l'output alle rilevazioni verificate.

Il seguente esempio in Python mostra come utilizzare il pacchetto ultralytics per estrarre un elenco verificato di oggetti, che può quindi fungere da vincolo fattuale per il prompt di un modello linguistico.

from ultralytics import YOLO

# Load the YOLO26n model (latest generation, efficient and accurate)
model = YOLO("yolo26n.pt")

# Run inference on an image to get ground-truth detections
results = model("https://ultralytics.com/images/bus.jpg")

# Extract the class names of actually detected objects
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]

# This factual list prevents the LLM from hallucinating items
print(f"Verified Objects for Prompt Context: {detected_objects}")
# Output example: ['bus', 'person', 'person', 'person', 'person']

Differenziare concetti correlati#

È importante distinguere le allucinazioni da altri comuni errori dell'IA:

• Vs. Bias in AI: Il bias si riferisce a un pregiudizio sistematico negli output (ad esempio, favorire una demografia rispetto a un'altra), mentre l'allucinazione è un fallimento dell'accuratezza fattuale. Una risposta può essere imparziale ma comunque allucinata (ad esempio, "La luna è fatta di formaggio").
• Vs. Overfitting: L'overfitting si verifica quando un modello memorizza i dati di addestramento troppo da vicino e non riesce a generalizzare a nuovi input. Le allucinazioni spesso si verificano quando un modello cerca di generalizzare troppo in aree in cui manca di dati.
• Vs. Errore di classificazione: Nel object detection, etichettare un'auto come un camion è un errore di classificazione (problema di accuratezza), non un'allucinazione. L'allucinazione è specifica della creazione generativa di contenuti falsi.

Per coloro che desiderano gestire dataset e addestrare modelli con un'elevata integrità dei dati per prevenire errori a valle, la Ultralytics Platform offre strumenti completi per l'annotazione e la gestione dei dataset. Inoltre, le linee guida del NIST AI Risk Management Framework forniscono standard per la valutazione e la mitigazione di questi rischi negli ambienti di produzione.