Allucinazione (in LLM)

Perché si verificano le allucinazioni

Gli LLM, spesso costruiti su architetture come il Transformer (introdotto nell'articolo"Attention Is All You Need"), sono fondamentalmente modelli probabilistici. Apprendono modelli, grammatiche e associazioni fattuali da grandi quantità di dati testuali durante l'addestramento utilizzando framework come PyTorch o TensorFlow. Tuttavia, non hanno una vera comprensione, una coscienza o la capacità di verificare le informazioni in modo intrinseco. Le allucinazioni possono derivare da diversi fattori:

• Limitazioni dei dati di formazione: Il modello potrebbe essere stato addestrato su dati rumorosi, distorti o di fatto non corretti, oppure potrebbe mancare di informazioni sufficienti su un argomento specifico. Il modello cerca di "colmare le lacune" basandosi su modelli appresi, dando luogo a falsificazioni.
• Architettura del modello e formazione: Il modo in cui i modelli come il GPT-4 elaborano le informazioni e generano sequenze parola per parola può condurli verso percorsi statisticamente plausibili ma di fatto errati. La complessità dei modelli di deep learning li rende inclini a comportamenti imprevedibili.
• Strategia di decodifica: I parametri utilizzati durante la generazione del testo (inferenza), come la "temperatura", influenzano la casualità. Temperature più elevate favoriscono la creatività ma aumentano il rischio di allucinazioni.
• Mancanza di basi: Senza meccanismi per collegare il testo generato alla conoscenza del mondo reale o a specifici documenti di partenza, il modello può andare alla deriva con affermazioni non supportate. Tecniche come il grounding mirano a risolvere questo problema.
• Ambiguità del prompt: I suggerimenti vaghi o mal formulati possono indurre il modello a fare ipotesi o a generare risultati meno vincolanti, aumentando la probabilità di imprecisioni. Una progettazione efficace dei prompt è fondamentale.

Esempi e impatto del mondo reale

Le allucinazioni possono manifestarsi in vari modi, comportando rischi significativi come la diffusione di informazioni errate, la generazione di contenuti dannosi o l'erosione della fiducia degli utenti nei sistemi di intelligenza artificiale.

1. Invenzione di fatti nei chatbot: Un utente potrebbe chiedere a un chatbot informazioni su una specifica scoperta scientifica e il chatbot potrebbe inventare dettagli, attribuire la scoperta alla persona sbagliata o descrivere un evento inesistente con grande sicurezza.
2. Citazioni legali inventate: In un caso ampiamente riportato, gli avvocati hanno utilizzato uno strumento di intelligenza artificiale per la ricerca legale che ha generato citazioni di casi completamente inventati che sono stati presentati nei documenti del tribunale, causando sanzioni.

L'impatto va oltre i semplici errori e mette in discussione l'affidabilità dei sistemi di IA, soprattutto quando vengono integrati nei motori di ricerca(come le panoramiche dell'IA di Google), negli assistenti virtuali e negli strumenti di creazione di contenuti. Affrontare questo problema è una sfida fondamentale per l'etica e la sicurezza dell'IA, che richiede solide strategie di validazione e monitoraggio.

Distinguere le allucinazioni da altri errori

È importante distinguere le allucinazioni da altri tipi di errori di intelligenza artificiale:

• Bias nell'IA: si riferisce a errori sistematici o a risultati distorti che riflettono i pregiudizi presenti nei dati di addestramento (ad esempio, stereotipi di genere o razziali). Le allucinazioni sono tipicamente delle invenzioni casuali piuttosto che dei risultati coerenti e distorti. La comprensione delle distorsioni dei dati è fondamentale in questo caso.
• Overfitting: Si verifica quando un modello apprende troppo bene i dati di addestramento, compreso il rumore, e non riesce a generalizzare a nuovi dati non visti(dati di validazione). Sebbene l'overfitting porti a prestazioni scarse, è diverso dalla generazione di informazioni completamente nuove e false.
• Informazioni non aggiornate: Un LLM potrebbe fornire informazioni errate semplicemente perché i dati di formazione non sono aggiornati. Si tratta di un errore di fatto basato sul limite di conoscenza, non di un'allucinazione in cui le informazioni vengono inventate.

Strategie di mitigazione

Ricercatori e sviluppatori stanno lavorando attivamente per ridurre le allucinazioni da LLM:

• Dati di formazione migliorati: Raccogliere set di dati di qualità superiore, diversificati e verificati. L'uso di set di dati di riferimento di alta qualità aiuta.
• Retrieval-Augmented Generation (RAG): Dotare i LLM della capacità di recuperare e citare informazioni da basi di conoscenza esterne e affidabili(come i database vettoriali) prima di generare una risposta.
• Messa a punto e RLHF: affinamento dei modelli di base su compiti o set di dati specifici e utilizzo di tecniche come il Reinforcement Learning from Human Feedback (RLHF) per allineare il comportamento del modello con i risultati desiderati (ad esempio, la veridicità).
• Migliori suggerimenti: Tecniche come il prompt a catena incoraggiano i modelli a "pensare passo dopo passo", riducendo potenzialmente gli errori.
• Verifica dell'output: Implementare meccanismi di controllo incrociato delle dichiarazioni generate rispetto a fatti noti o a fonti multiple.
• Regolazione dei parametri di inferenza: Abbassare le impostazioni come la "temperatura" può rendere i risultati più mirati e meno casuali, riducendo il rischio di allucinazioni.

Mentre gli LLM si concentrano sul linguaggio, i modelli specializzati in Computer Vision (CV), come ad esempio Ultralytics YOLO per il rilevamento degli oggetti, operano in modo diverso e devono affrontare sfide diverse, come garantire l'accuratezza del rilevamento. Tuttavia, la tendenza verso modelli multimodali che combinano linguaggio e visione(come CLIP) significa che la comprensione di problemi come l'allucinazione diventa rilevante in tutti i domini. Piattaforme come Ultralytics HUB supportano l'addestramento e l'implementazione di vari modelli di intelligenza artificiale, facilitando lo sviluppo attraverso diverse modalità.