Allucinazione (negli LLM)

Nel contesto dei modelli linguistici di grandi dimensioni (LLM), un'allucinazione si riferisce a un fenomeno in cui il modello genera testo che è sicuro e dal suono plausibile, ma è fattualmente errato, insensato o non basato sui dati di origine forniti. Questi modelli, progettati per la generazione di testo avanzata, a volte possono inventare fatti, fonti o dettagli, presentandoli come se fossero veri. Ciò accade perché l'obiettivo primario di un LLM è prevedere la parola successiva in una sequenza per formare frasi coerenti, non verificare la veridicità delle informazioni che genera. Comprendere e mitigare le allucinazioni è una sfida centrale per rendere l'IA generativa più affidabile.

Perché i modelli linguistici di grandi dimensioni (LLM) producono allucinazioni?

Le allucinazioni non sono inganni intenzionali, ma sono sottoprodotti del modo in cui gli LLM sono costruiti e addestrati. Le cause principali includono:

• Imperfezioni dei dati di addestramento: Modelli come GPT-3 e GPT-4 imparano da enormi volumi di testo provenienti da Internet, che inevitabilmente contengono errori, informazioni obsolete e bias algoritmici. Il modello apprende questi schemi dai suoi dati di addestramento senza una comprensione intrinseca della verità.
• Progettazione architetturale: L'architettura Transformer sottostante è ottimizzata per la corrispondenza di modelli e la modellazione del linguaggio, non per il richiamo fattuale o il ragionamento logico. Questo può portare a quello che alcuni ricercatori chiamano un "pappagallo stocastico", un'entità che può imitare il linguaggio senza comprenderne il significato.
• Ambiguità in fase di inferenza: Durante la generazione, se il modello non è sicuro del token migliore successivo, può "riempire i vuoti" con informazioni plausibili ma fabbricate. La regolazione dei parametri di inferenza come la temperatura a volte può ridurre questo problema, ma rimane una sfida fondamentale. Per una panoramica tecnica, consultare questo sondaggio sulle allucinazioni LLM di arXiv.

Esempi reali di allucinazioni

• Ricerca legale: Un avvocato che utilizzava un assistente AI per la ricerca di casi gli ha chiesto di trovare precedenti legali. Il chatbot ha citato diversi casi giudiziari completamente inventati, inclusi nomi dei casi e analisi legali, che erano plausibili ma inesistenti. Questo incidente reale ha evidenziato i seri rischi della distribuzione di LLM in campi ad alto rischio senza un robusto controllo dei fatti.
• Raccomandazioni di prodotti: Un utente chiede a un chatbot il "miglior zaino da trekking con un pannello solare integrato". L'LLM potrebbe raccomandare con sicurezza un modello specifico, descrivendone le caratteristiche in dettaglio, anche se quel particolare prodotto o combinazione di caratteristiche non esiste. Il modello combina concetti dai suoi dati di addestramento per creare un prodotto plausibile ma fittizio.

Come ridurre le allucinazioni

Ricercatori e sviluppatori stanno lavorando attivamente a diverse strategie di mitigazione:

• Generazione aumentata dal recupero (RAG): Questa tecnica fornisce a un LLM la capacità di recuperare informazioni da una base di conoscenza esterna e autorevole (come un database vettoriale) prima di generare una risposta. Ancorando il modello a fatti verificabili, RAG riduce significativamente le invenzioni. Puoi saperne di più su come funziona RAG da IBM Research.
• Tecniche di prompting migliori: Metodi come il Chain-of-Thought prompting incoraggiano il modello a scomporre il suo ragionamento passo dopo passo, il che può portare a risultati più accurati. L'articolo di ricerca originale sul Chain-of-Thought ne dimostra l'efficacia.
• Apprendimento per rinforzo dal feedback umano (RLHF): I modelli vengono perfezionati utilizzando RLHF, in cui i revisori umani valutano diverse risposte del modello. Questo feedback addestra il modello a preferire risposte veritiere e utili, un processo dettagliato da organizzazioni come OpenAI e Anthropic.
• Livelli di Fact-Checking e Verifica: Implementazione di un processo separato per controllare le affermazioni fatte da un LLM rispetto a fonti attendibili prima di presentare l'output all'utente. Questo aggiunge un livello di sviluppo responsabile dell'AI.
• Dataset di alta qualità e fine-tuning: Migliorare continuamente la qualità dei dati utilizzati per l'addestramento ed eseguire il fine-tuning su dataset specifici e di alta qualità può aiutare ad allineare un modello di base con l'accuratezza fattuale.

Allucinazione rispetto ad altri errori dell'IA

• Bias nell'IA: Il bias nell'IA si riferisce a errori sistematici in cui gli output di un modello favoriscono ingiustamente determinati gruppi, riflettendo solitamente bias sociali o del dataset. L'allucinazione riguarda l'inesattezza fattuale, non necessariamente il pregiudizio. Entrambi sono seri problemi nell'etica dell'IA.
• Errori nella Computer Vision: Il concetto di allucinazione è principalmente associato all'Elaborazione del Linguaggio Naturale (NLP). Nella Computer Vision (CV), un errore in genere significa che un modello come Ultralytics YOLO commette un errore nel rilevamento di oggetti (ad esempio, classificando erroneamente un gatto come un cane) oppure non riesce a rilevare un oggetto, il che si ricollega alla sua accuratezza. Si tratta di un errore di percezione, non di un'invenzione di informazioni. Tuttavia, man mano che i modelli multi-modali che uniscono visione e linguaggio diventano più comuni, possono anche "allucinare" descrizioni errate delle immagini. La gestione di entrambi i tipi di modelli può essere semplificata su piattaforme come Ultralytics HUB.