Migliorare le applicazioni AI con RAG e visione artificiale

Usare strumenti di IA come ChatGPT o Gemini sta diventando rapidamente un modo comune per trovare informazioni. Che tu stia scrivendo un messaggio, riassumendo un documento o rispondendo a una domanda, questi strumenti spesso offrono una soluzione più rapida e semplice.

Ma se hai usato modelli linguistici di grandi dimensioni (LLMs) qualche volta, probabilmente ne avrai notato i limiti. Quando ricevono richieste molto specifiche o legate a informazioni aggiornate, possono fornire risposte errate, spesso con grande sicurezza.

Questo accade perché gli LLM autonomi si basano esclusivamente sui dati con cui sono stati addestrati. Non hanno accesso agli aggiornamenti più recenti o a conoscenze specialistiche al di fuori di quel dataset. Di conseguenza, le loro risposte possono essere obsolete o imprecise.

Per contribuire a risolvere questo problema, i ricercatori hanno sviluppato un metodo chiamato generazione aumentata dal recupero (RAG). RAG potenzia i modelli linguistici consentendo loro di attingere a informazioni aggiornate e pertinenti da fonti attendibili quando rispondono alle domande.

In questo articolo vedremo come funziona RAG e in che modo potenzia gli strumenti di IA recuperando informazioni pertinenti e aggiornate. Vedremo anche come si affianca alla visione artificiale, un campo dell'intelligenza artificiale che si occupa di interpretare i dati visivi, per aiutare i sistemi a comprendere non solo il testo, ma anche immagini, layout e documenti visivamente complessi.

Capire la generazione aumentata dal recupero (RAG)#

Quando poniamo una domanda a un chatbot con AI, in genere ci aspettiamo più di una risposta che sembri convincente. Idealmente, una buona risposta dovrebbe essere chiara, accurata e davvero utile. Per riuscirci, il modello di AI ha bisogno di più delle sole competenze linguistiche: deve anche poter accedere alle informazioni giuste, soprattutto per argomenti specifici o soggetti a cambiamenti nel tempo.

RAG è una tecnica che aiuta a colmare questa lacuna. Combina la capacità del modello linguistico di comprendere e generare testo con la possibilità di recuperare informazioni pertinenti da fonti esterne. Invece di affidarsi esclusivamente ai dati di addestramento, il modello recupera attivamente contenuti di supporto da basi di conoscenza attendibili mentre formula la risposta.

Fig. 1. Principali casi d'uso di RAG. Immagine dell'autore.

Puoi immaginarlo come quando fai una domanda a qualcuno che consulta una fonte affidabile prima di rispondere. La risposta è comunque formulata con parole proprie, ma si basa sulle informazioni più pertinenti e aggiornate.

Questo approccio aiuta gli LLM a fornire risposte più complete, accurate e adatte alle richieste degli utenti, rendendoli molto più affidabili nelle applicazioni del mondo reale in cui la precisione è davvero importante.

Uno sguardo al funzionamento di RAG#

RAG migliora il modo in cui un modello linguistico di grandi dimensioni risponde introducendo due passaggi fondamentali: recupero e generazione. Prima recupera informazioni pertinenti da una base di conoscenza esterna. Poi usa quelle informazioni per generare una risposta ben formulata e coerente con il contesto.

Vediamo un semplice esempio per capire come funziona questo processo. Immagina di usare un assistente di IA per gestire le tue finanze personali e di voler controllare se hai rispettato il tuo obiettivo di spesa mensile.

Il processo inizia quando fai all'assistente una domanda come: "Questo mese ho rispettato il mio budget?" Invece di basarsi solo su ciò che ha appreso durante l'addestramento, il sistema usa un retriever per cercare nei tuoi documenti finanziari più recenti, come estratti conto o riepiloghi delle transazioni. Si concentra sulla comprensione dell'intento alla base della domanda e raccoglie le informazioni più pertinenti.

Una volta recuperate le informazioni, entra in gioco il modello linguistico. Elabora sia la tua domanda sia i dati estratti dai tuoi documenti per generare una risposta chiara e utile. Anziché elencare dati grezzi, la risposta riassume le tue spese e ti offre un'indicazione diretta e significativa, ad esempio confermando se hai raggiunto il tuo obiettivo e segnalando le principali categorie di spesa.

Questo approccio consente all'LLM di fornire risposte non solo accurate, ma basate anche sulle tue informazioni reali e aggiornate, rendendo l'esperienza molto più utile rispetto a quella offerta da un modello che lavora solo con dati di addestramento statici.

Fig. 2. Capire il funzionamento di RAG.

Perché servono sistemi RAG multimodali#

Le informazioni non vengono sempre condivise sotto forma di semplice testo. Dalle scansioni mediche e dai diagrammi alle diapositive delle presentazioni e ai documenti acquisiti tramite scansione, gli elementi visivi spesso contengono dettagli importanti. Gli LLM tradizionali, progettati principalmente per leggere e comprendere il testo, possono avere difficoltà con questo tipo di contenuti.

La RAG può tuttavia essere usata insieme alla visione artificiale per colmare questa lacuna. La loro combinazione dà origine a un sistema noto come RAG multimodale, in grado di elaborare sia testo sia elementi visivi e aiutare i chatbot con AI a fornire risposte più accurate e complete.

Al centro di questo approccio ci sono i modelli visione-linguaggio (VLMs), progettati per elaborare e ragionare su entrambi i tipi di input. In questa configurazione, RAG recupera le informazioni più pertinenti da grandi fonti di dati, mentre il VLM, grazie alla visione artificiale, interpreta immagini, layout e diagrammi.

Questo è particolarmente utile con documenti reali, come moduli digitalizzati, referti medici o slide di presentazioni, in cui i dettagli essenziali possono trovarsi sia nel testo sia negli elementi visivi. Ad esempio, analizzando un documento che include immagini insieme a tabelle e paragrafi, un sistema multimodale può estrarre gli elementi visivi, generare un riepilogo di ciò che mostrano e combinarlo con il testo circostante per fornire una risposta più completa e utile.

Fig. 3. RAG multimodale usa immagini e testo per fornire risposte migliori.

Applicazioni di RAG per i dati visivi#

Ora che abbiamo visto cos'è RAG e come funziona insieme alla visione artificiale, esaminiamo alcuni esempi reali e progetti di ricerca che mostrano come viene utilizzato questo approccio.

Capire i documenti visivi con VisRAG#

Immagina di voler estrarre informazioni da una relazione finanziaria o da un documento legale digitalizzato. Questi file spesso includono non solo testo, ma anche tabelle, grafici e layout che aiutano a spiegare le informazioni. Un modello linguistico semplice potrebbe trascurare o interpretare male questi elementi visivi, producendo risposte incomplete o imprecise.

I ricercatori hanno creato VisRAG per affrontare questa sfida. È una pipeline RAG basata su VLM che tratta ogni pagina come un'immagine invece di elaborare solo il testo. Questo permette al sistema di comprendere sia il contenuto sia la sua struttura visiva. Di conseguenza, può individuare le parti più pertinenti e fornire risposte più chiare, accurate e basate sul contesto completo del documento.

Fig. 4. VisRAG può leggere i documenti come immagini per acquisirne il contenuto testuale e il layout.

Visual question answering con RAG#

La risposta a domande visive (VQA) è un'attività in cui un sistema di AI risponde a domande sulle immagini. Molti sistemi VQA esistenti si concentrano sulle domande relative a un singolo documento, senza dover cercare altre informazioni: questa modalità è nota come impostazione chiusa.

VDocRAG è un framework RAG che adotta un approccio più realistico. Integra il VQA con la capacità di recuperare prima i documenti pertinenti. È utile nelle situazioni reali in cui la domanda di un utente potrebbe riguardare uno fra molti documenti e il sistema deve individuare quello giusto prima di rispondere. A questo scopo, VDocRAG usa i VLM per analizzare i documenti come immagini, preservandone sia il testo sia la struttura visiva.

Questo rende VDocRAG particolarmente efficace in applicazioni come la ricerca aziendale, l'automazione dei documenti e l'assistenza clienti. Può aiutare i team a estrarre rapidamente risposte da documenti complessi e con formattazione visiva, come manuali o file di policy, nei quali comprendere l'impaginazione è importante quanto leggere il testo.

Fig. 5. Differenze tra VDocRAG e le soluzioni basate su LLM.

Migliorare la generazione di didascalie per immagini con RAG#

La generazione di didascalie per immagini consiste nel creare una descrizione scritta di ciò che accade in un'immagine. Viene usata in varie applicazioni: per rendere più accessibili i contenuti online, alimentare la ricerca per immagini e supportare sistemi di moderazione e raccomandazione dei contenuti.

Tuttavia, generare didascalie accurate non è sempre facile per i modelli di IA. È particolarmente difficile quando l'immagine mostra qualcosa di diverso da ciò su cui il modello è stato addestrato. Molti sistemi per la generazione di didascalie dipendono molto dai dati di addestramento e, quando si trovano di fronte a scene sconosciute, possono produrre didascalie vaghe o imprecise.

Per affrontare il problema, i ricercatori hanno sviluppato Re-ViLM, un metodo che integra la generazione aumentata dal recupero (RAG) nella generazione di didascalie per immagini. Invece di generare una didascalia da zero, Re-ViLM recupera da un database coppie simili di immagini e testi e le usa per guidare la generazione della didascalia.

Questo approccio basato sul recupero aiuta il modello a fondare le proprie descrizioni su esempi pertinenti, migliorando sia la precisione sia la fluidità. I primi risultati mostrano che Re-ViLM genera didascalie più naturali e coerenti con il contesto usando esempi reali, contribuendo a ridurre le descrizioni vaghe o imprecise.

Fig. 6. Re-ViLM migliora le didascalie delle immagini recuperando esempi visivo-testuali.

Vantaggi e svantaggi di RAG per comprendere i dati visivi#

Ecco una rapida panoramica dei vantaggi dell'applicazione delle tecniche di generazione aumentata dal recupero per recuperare e utilizzare informazioni visive:

• Maggiori capacità di riepilogo: i riepiloghi possono includere informazioni ricavate dagli elementi visivi, come l'andamento dei grafici o gli elementi delle infografiche, non solo dal testo.
• Ricerca e recupero più efficaci: le fasi di recupero possono individuare pagine visive pertinenti anche quando il testo non contiene le parole chiave, grazie alla comprensione basata sulle immagini.
• Supporto per documenti digitalizzati, scritti a mano o basati su immagini: le pipeline RAG basate su VLM possono elaborare contenuti che i modelli basati solo sul testo non sarebbero in grado di leggere.

Nonostante questi vantaggi, ci sono ancora alcuni limiti da tenere presenti quando usi RAG per lavorare con dati visivi. Ecco i principali:

• Elevati requisiti di calcolo: analizzare sia immagini sia testo richiede più memoria e potenza di elaborazione, e questo può rallentare le prestazioni o aumentare i costi.
• Problemi di privacy dei dati e sicurezza: i documenti visivi, soprattutto in settori come la sanità o la finanza, possono contenere informazioni sensibili che complicano i workflow di recupero ed elaborazione.
• Tempi di inferenza più lunghi: poiché l'elaborazione visiva aumenta la complessità, generare risposte può richiedere più tempo rispetto ai sistemi che elaborano solo testo.

Punti chiave#

La generazione aumentata dal recupero sta migliorando il modo in cui i modelli linguistici di grandi dimensioni rispondono alle domande, consentendo loro di recuperare informazioni pertinenti e aggiornate da fonti esterne. In combinazione con la visione artificiale, questi sistemi possono elaborare non solo testo, ma anche contenuti visivi come grafici, tabelle, immagini e documenti digitalizzati, fornendo risposte più accurate e complete.

Questo approccio rende gli LLM più adatti alle attività reali che coinvolgono documenti complessi. Combinando il recupero delle informazioni e la comprensione visiva, questi modelli possono interpretare in modo più efficace formati diversi e offrire informazioni più utili nei contesti pratici e quotidiani.

Unisciti alla nostra community in continua crescita! Esplora il nostro repository GitHub per approfondire l'IA. Vuoi iniziare i tuoi progetti di visione artificiale? Scopri le nostre opzioni di licenza. Nelle nostre pagine dedicate alle soluzioni puoi scoprire di più sull'IA nella sanità e sulla visione artificiale nel commercio al dettaglio!