Allucinazione (negli LLM)

Nel contesto di modelli linguistici di grandi dimensioni (LLM)un'allucinazione si verifica quando un modello generativo produce un contenuto sicuro di sé e sintatticamente fluente ma ma di fatto scorretto, insensato o non fedele al materiale di partenza. A differenza degli errori standard di recupero dei database, le allucinazioni nell'IA IA generativa sono spesso plausibili, il che rende difficile per gli utenti detect senza una verifica indipendente. Questo fenomeno Questo fenomeno deriva dalla progettazione fondamentale di questi modelli, che privilegiano generazione del testo basato sulla probabilità statistica probabilità statistica piuttosto che sulla convalida della verità. La comprensione delle allucinazioni è fondamentale per l'impiego di sistemi di IA sicuri, in particolare in settori ad alto rischio come la sanità, la finanza e i servizi legali. sicure, soprattutto in settori ad alto rischio come la sanità, la finanza e i servizi legali.

Perché i laureati in Lettere hanno le allucinazioni

La causa primaria dell'allucinazione risiede nella Trasformatore Transformer e gli obiettivi formativi obiettivi di formazione utilizzati per costruire i modelli di base. Questi sistemi sono addestrati a prevedere il prossimo token in una sequenza basata su modelli appresi da vaste quantità di dati di formazione. Non possiedono un concetto intrinseco di "fatto" o di "finzione"; piuttosto, modellano la probabilità che le parole appaiano insieme.

Diversi fattori contribuiscono a questo comportamento:

• Limitazioni dei dati: Se il corpus di addestramento contiene informazioni contraddittorie, obsolete o errate, il modello può riprodurre questi errori. Questo aspetto è spesso discusso nelle ricerche riguardanti pappagalli stocasticiin cui i modelli imitano le forme linguistiche senza comprenderne il significato.
• Artefatti di compressione: I LLM comprimono la conoscenza di Internet in un insieme fisso di parametri. Durante questa compressione, le sfumature possono andare perse, portando a confondere concetti distinti.
• Ambiguità dell'inferenza: Quando un modello si trova di fronte a una richiesta che non rientra nella sua distribuzione di conoscenze, può generare la risposta più probabile dal punto di vista statistico piuttosto che ammettere l'ignoranza, un comportamento che viene spesso definito "confabulazione".

Esempi reali di allucinazioni

Le allucinazioni possono manifestarsi in varie forme, da sottili imprecisioni a vere e proprie invenzioni:

• Invenzione di casi legali: In un episodio ampiamente pubblicizzato, un professionista legale ha utilizzato un master in legge per per condurre una ricerca su un caso. Il modello ha generato una memoria legale che citava diversi casi giudiziari inesistenti con citazioni e pareri giudiziari inventati, con conseguenti sanzioni.
• Invenzione della biblioteca di codifica: Gli sviluppatori che utilizzano gli assistenti di codifica AI a volte ricevono raccomandazioni per librerie software o metodi API che in realtà non esistono. di librerie software o metodi API che in realtà non esistono. Il modello allucina un nome di funzione plausibile (ad esempio, ultralytics.detect_everything()) sulla base di convenzioni di denominazione standard che ha visto nei suoi anche se quella specifica funzione non è mai stata implementata.

Strategie di mitigazione

La riduzione delle allucinazioni è uno dei principali obiettivi di sicurezza dell'intelligenza artificiale della ricerca sulla sicurezza dell'intelligenza artificiale. Diverse tecniche sono attualmente impiegate per radicare i modelli nella realtà:

• Generazione Aumentata dal Recupero (RAG): Questo metodo collega l'LLM a una base di conoscenza esterna fidata, come una base di conoscenza esterna fidata, come un database vettoriale. Invece di affidarsi esclusivamente alla memoria interna, il modello recupera i documenti pertinenti prima di generare una risposta. Per saperne di più come RAG migliora l'accuratezza nelle applicazioni aziendali.
• Ingegneria dei tempi: Tecniche come Prompt a catena di pensieri incoraggiano il modello a spiegare il suo ragionamento passo dopo passo, il che ha dimostrato di ridurre gli errori logici e di migliorare la coerenza dei fatti. la coerenza dei fatti.
• Apprendimento per rinforzo dal feedback umano (RLHF): Gli sviluppatori utilizzano Apprendimento rinforzato dal feedback umano (RLHF) per penalizzare il modello per le allucinazioni durante la fase di messa a punto, allineando i suoi risultati alle preferenze umane per la veridicità. per la veridicità.
• Messa a terra multimodale: Nei compiti di visione-linguaggio, le allucinazioni possono essere ridotte verificando il testo di testo rispetto ai dati strutturati di visione artificiale (CV) modelli.

Messa a terra dei LLM con la visione artificiale

Un modo efficace per attenuare le allucinazioni nei flussi di lavoro multimodali è quello di utilizzare un sistema ad alta precisione. rilevamento degli oggetti per verificare i contenuti fisici di un'immagine il contenuto fisico di un'immagine prima che un LLM la descriva. Alimentando un elenco di oggetti verificati nel contesto dell'LLM, si impedisce a quest'ultimo di inventare LLM, gli si impedisce di inventare elementi che non ci sono.

L'esempio seguente mostra come utilizzare Ultralytics YOLO11 per generare un un elenco di oggetti veritieri, che può servire come vincolo fattuale per un modello generativo.

from ultralytics import YOLO

# Load the official YOLO11 model
model = YOLO("yolo11n.pt")

# Run inference on an image to get factual data
results = model("https://ultralytics.com/images/bus.jpg")

# Extract the class names of detected objects to ground the LLM
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]

# This list prevents the LLM from hallucinating objects not present
print(f"Verified Objects: {detected_objects}")
# Output: Verified Objects: ['bus', 'person', 'person', 'person', 'person']

Allucinazione e altre terminologie

È importante distinguere le allucinazioni da altri tipi di errori di IA:

• contro il pregiudizio: Il pregiudizio nell'IA si riferisce al pregiudizio sistematico pregiudizio nell'output (ad esempio, stereotipi), mentre l'allucinazione si riferisce alla scorrettezza dei fatti. Un'affermazione può essere imparziale ma allucinata, oppure fattuale ma distorta.
• rispetto agli errori di accuratezza: Nei compiti di classificazione, una previsione errata (come etichettare un cane come un gatto) è un errore di precisione, non un'allucinazione. un errore di precisione, non un'allucinazione. L'allucinazione è specifica del generativo processo generativo di creazione di nuovi contenuto.
• contro l'overfitting: Mentre overfitting comporta la memorizzazione dati di addestramento, le allucinazioni si verificano spesso quando il modello cerca di generalizzare oltre i dati di addestramento e fallisce. dati di addestramento e fallisce.

Per ulteriori approfondimenti sulla valutazione dei modelli generativi, esplorare il sito web Quadro di gestione del rischio dell'intelligenza artificiale del NIST offre una panoramica completa degli standard di affidabilità e sicurezza. Inoltre, i ricercatori continuano a sviluppare algoritmi di verifica dei fatti per detect e segnalare automaticamente i contenuti allucinatori in tempo reale.