Hallucination (in LLMs)

Nel campo dell'Intelligenza Artificiale (IA), un'allucinazione si riferisce a un fenomeno in cui un Large Language Model (LLM) genera contenuti sicuri e sintatticamente corretti, ma fattualmente errati, privi di senso o non fedeli all'input di origine. A differenza dei normali errori software che potrebbero produrre un crash o un glitch visibile, un modello che allucina si comporta come un convincente mistificatore, presentando informazioni false con la stessa autorevolezza di fatti validi. Ciò pone sfide significative per le organizzazioni che implementano Generative AI in settori sensibili come sanità, legge e finanza, dove l'integrità dei dati è fondamentale.

Link to this sectionPerché si verificano le allucinazioni?#

Per capire perché i modelli allucinano, è utile osservare come vengono costruiti. I LLM sono solitamente basati sull'architettura Transformer, che funziona come un sofisticato motore di previsione. Invece di interrogare un database strutturato di fatti verificati, il modello prevede il token successivo in una sequenza basandosi su probabilità statistiche derivate dai suoi dati di addestramento.

Diversi fattori guidano questo comportamento:

• Indovinazione probabilistica: Il modello dà priorità alla fluidità e alla coerenza rispetto alla verità fattuale. Se una specifica sequenza di parole è statisticamente probabile, anche se fattualmente errata, il modello potrebbe generarla. Questo concetto è spesso discusso nella ricerca riguardante i pappagalli stocastici, dove i modelli imitano i pattern linguistici senza comprenderne il significato.
• Problemi di qualità dei dati: Se l'enorme corpus di testo utilizzato per l'addestramento contiene contraddizioni, informazioni obsolete o finzione, il modello potrebbe riprodurre queste inesattezze.
• Amnesia della fonte: I LLM comprimono enormi quantità di informazioni nei pesi del modello. In questo processo, spesso perdono il collegamento a fonti specifiche, portando alla "confabulazione" in cui concetti o eventi distinti vengono uniti in modo errato.

Link to this sectionEsempi reali di allucinazione#

Le allucinazioni possono manifestarsi in vari modi, da innocui abbellimenti creativi a gravi errori fattuali:

• Fabbricazione legale: Ci sono stati casi documentati in cui professionisti legali hanno utilizzato l'IA per redigere atti giudiziari, scoprendo solo dopo che il modello aveva inventato casi giudiziari inesistenti e citazioni a sostegno di una tesi.
• Generazione di codice: Gli sviluppatori che utilizzano assistenti IA potrebbero riscontrare "allucinazioni di pacchetti", in cui il modello suggerisce di importare una libreria software o di chiamare una funzione che in realtà non esiste, semplicemente perché il nome segue le convenzioni di denominazione standard.
• Errori biografici: Quando interpellati su individui meno famosi, i modelli possono attribuire loro con sicurezza risultati, luoghi di nascita o storie lavorative errate, mescolando di fatto dettagli di più persone.

Link to this sectionStrategie di mitigazione#

Ridurre la frequenza delle allucinazioni è un obiettivo importante dell'AI Safety. Ingegneri e ricercatori impiegano diverse tecniche per ancorare i modelli alla realtà:

• Retrieval-Augmented Generation (RAG): Questo metodo connette il LLM a una base di conoscenza esterna e affidabile, spesso indicizzata in un vector database. Recuperando documenti pertinenti prima di generare una risposta, il modello viene vincolato a dati reali.
• Chain-of-Thought Prompting: Questa tecnica di prompt engineering incoraggia il modello a "mostrare il lavoro" suddividendo il ragionamento complesso in passaggi intermedi, il che spesso riduce gli errori logici.
• Reinforcement Learning from Human Feedback (RLHF): Durante la fase di fine-tuning, i valutatori umani classificano le risposte del modello. Penalizzando le allucinazioni e premiando la veridicità, il modello impara ad allinearsi meglio alle aspettative umane.

Link to this sectionAncorare i LLM con la Computer Vision#

Nei sistemi di Multimodal AI, la generazione di testo può essere ancorata utilizzando dati visivi. Se a un LLM viene chiesto di descrivere una scena, potrebbe allucinare oggetti che non sono presenti. Integrando un rilevatore di oggetti ad alta precisione come YOLO26, gli sviluppatori possono fornire al LLM un elenco fattuale degli oggetti presenti, limitando rigorosamente il suo output a rilevamenti verificati.

Il seguente esempio Python mostra come utilizzare il pacchetto ultralytics per estrarre un elenco verificato di oggetti, che può quindi fungere da vincolo fattuale per un prompt di un modello linguistico.

from ultralytics import YOLO

# Load the YOLO26n model (latest generation, efficient and accurate)
model = YOLO("yolo26n.pt")

# Run inference on an image to get ground-truth detections
results = model("https://ultralytics.com/images/bus.jpg")

# Extract the class names of actually detected objects
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]

# This factual list prevents the LLM from hallucinating items
print(f"Verified Objects for Prompt Context: {detected_objects}")
# Output example: ['bus', 'person', 'person', 'person', 'person']

Link to this sectionDifferenziare concetti correlati#

È importante distinguere le allucinazioni da altri comuni errori dell'IA:

• Vs. Bias in AI: Il bias si riferisce a pregiudizi sistematici negli output (ad esempio, favorire una demografia rispetto a un'altra), mentre l'allucinazione è un fallimento dell'accuratezza fattuale. Una risposta può essere imparziale ma allucinata (ad esempio, "La luna è fatta di formaggio").
• Vs. Overfitting: L'overfitting si verifica quando un modello memorizza i dati di addestramento troppo da vicino e non riesce a generalizzare su nuovi input. Le allucinazioni accadono spesso quando un modello cerca di generalizzare troppo in aree in cui manca di dati.
• Vs. Errata classificazione: Nell'object detection, etichettare un'auto come un camion è un errore di classificazione (problema di accuratezza), non un'allucinazione. L'allucinazione è specifica per la creazione generativa di contenuti falsi.

Per chi cerca di gestire set di dati e addestrare modelli con un'elevata integrità dei dati per prevenire errori a valle, l'Ultralytics Platform offre strumenti completi per l'annotazione e la gestione dei set di dati. Inoltre, la guida del NIST AI Risk Management Framework fornisce standard per valutare e mitigare tali rischi in ambienti di produzione.