Tutto quello che devi sapere sull'intelligenza artificiale spiegabile (XAI)

Ti è mai capitato di vedere una risposta fornita da uno strumento di intelligenza artificiale (AI) come ChatGPT e chiederti come fosse arrivato a quella conclusione? In tal caso, hai incontrato il problema della "scatola nera" dell'AI. È un termine che si riferisce alla scarsa chiarezza sul modo in cui i modelli di AI elaborano e analizzano i dati. Anche gli ingegneri e gli scienziati che lavorano regolarmente con algoritmi avanzati di AI possono trovare difficile comprenderne appieno il funzionamento interno. In effetti, solo il 22% dei professionisti IT comprende davvero le capacità degli strumenti di AI.

L'incertezza su come i modelli di AI prendono decisioni può comportare dei rischi, soprattutto in ambiti critici come la visione artificiale in ambito sanitario e l'AI nella finanza. Tuttavia, si stanno compiendo progressi significativi per affrontare queste sfide e migliorare la trasparenza.

In particolare, l'intelligenza artificiale spiegabile (XAI) si concentra sulla risoluzione di questo problema. In parole semplici, è un insieme di processi e metodi che aiuta gli utenti a comprendere e ad avere fiducia nei risultati o negli output prodotti da algoritmi complessi di apprendimento automatico.

La XAI può aiutare gli sviluppatori a garantire che i sistemi di AI funzionino come previsto. Può anche aiutare le aziende di AI a rispettare gli standard normativi. In questo articolo analizzeremo l'intelligenza artificiale spiegabile e la sua vasta gamma di casi d'uso.

L'importanza dell'IA spiegabile#

La spiegabilità è fondamentale quando si lavora con l'AI. Questo vale soprattutto per il sottocampo dell'AI chiamato visione artificiale, ampiamente utilizzato in settori come la sanità. Quando si usano modelli di visione in settori così sensibili, è importante che il loro funzionamento sia trasparente e interpretabile da tutti.

L'interpretabilità dei modelli di visione artificiale aiuta gli utenti a comprendere meglio come è stata formulata una previsione e quale logica c'è alla base. La trasparenza lo favorisce rendendo chiaro a tutti il funzionamento del modello, illustrandone chiaramente i limiti e garantendo un uso etico dei dati. Per esempio, la visione artificiale può aiutare i radiologi a individuare efficacemente complicazioni di salute nelle immagini radiografiche.

Fig. 1. Radiografie del torace analizzate con l'IA visiva, con classificazioni di tubercolosi sana, malata, attiva e latente.

Tuttavia, un sistema di visione non può limitarsi a essere accurato. Deve anche essere in grado di spiegare le proprie decisioni. Se, per esempio, il sistema mostrasse quali parti dell'immagine hanno portato alle sue conclusioni, i risultati sarebbero più chiari. Un simile livello di trasparenza aiuterebbe i professionisti sanitari a verificare i propri risultati e ad assicurarsi che l'assistenza ai pazienti rispetti gli standard medici.

Un altro motivo per cui la spiegabilità è essenziale è che rende le aziende di IA responsabili e rafforza la fiducia degli utenti. Un'IA affidabile permette agli utenti di sentirsi sicuri che le innovazioni dell'IA funzionino in modo affidabile, prendano decisioni eque e gestiscano i dati in modo responsabile.

Principali tecniche di IA spiegabile nella visione artificiale#

Ora che abbiamo parlato dell'importanza della spiegabilità nella visione artificiale, vediamo le principali tecniche XAI utilizzate nell'IA visiva.

Mappe di salienza#

Le reti neurali sono modelli ispirati al cervello umano, progettati per riconoscere schemi e prendere decisioni elaborando i dati attraverso strati interconnessi di nodi (neuroni). Possono essere utilizzate per risolvere problemi complessi di visione artificiale con grande precisione. Anche con questa precisione, per loro natura restano scatole nere.

Le mappe di salienza sono una tecnica di XAI che aiuta a capire cosa vedono le reti neurali quando analizzano le immagini. Possono anche essere usate per individuare e correggere i problemi dei modelli quando non funzionano come previsto.

Le mappe di salienza si concentrano sulle parti di un'immagine (pixel) che determinano le previsioni di un modello. Questo processo è molto simile alla retropropagazione, in cui il modello risale dalle previsioni all'input. Tuttavia, invece di aggiornare i pesi del modello in base agli errori, osserviamo semplicemente quanto "conta" ogni pixel per la previsione. Le mappe di salienza sono molto utili per le attività di visione artificiale come la classificazione delle immagini.

Per esempio, se un modello di classificazione delle immagini prevede che un'immagine raffiguri un cane, possiamo esaminare la sua mappa di salienza per capire perché il modello pensa che sia un cane. Questo ci aiuta a individuare quali pixel influenzano maggiormente l'output. La mappa di salienza evidenzierebbe tutti i pixel che hanno contribuito alla previsione finale secondo cui l'immagine raffigura un cane.

Fig. 2. Confronto affiancato tra le immagini di input e le relative mappe di salienza.

Mappatura dell'attivazione delle classi (CAM)#

La mappatura dell'attivazione delle classi è un'altra tecnica XAI utilizzata per capire su quali parti di un'immagine si concentra una rete neurale quando formula previsioni di classificazione. Funziona in modo simile alle mappe di salienza, ma si concentra sull'identificazione delle caratteristiche importanti nell'immagine, anziché di pixel specifici. Le caratteristiche sono schemi o dettagli, come forme o trame, che il modello rileva nell'immagine.

Metodi come Gradient-weighted Class Activation Mapping (Grad-CAM) e Grad-CAM++ si basano sulla stessa idea, apportando alcuni miglioramenti.

Ecco come funziona la CAM:

• Prima che la rete neurale prenda la decisione finale, utilizza una fase chiamata global average pooling (GAP) per semplificare le informazioni. Il GAP combina tutti i pixel di uno schema rilevato in un unico valore medio, creando un riepilogo per ogni mappa delle caratteristiche (una rappresentazione visiva degli schemi rilevati).
• A ogni mappa delle caratteristiche viene quindi assegnato un peso che indica quanto è importante per prevedere una determinata classe (come «uccello» o «gatto»).
• Tuttavia, un limite di CAM è che potrebbe essere necessario riaddestrare il modello per calcolare questi pesi, un processo che può richiedere molto tempo.

Grad-CAM migliora questo approccio usando i gradienti, ovvero segnali che indicano quanto ogni mappa di caratteristiche influisce sulla previsione finale. Questo metodo evita la necessità di GAP e facilita l'identificazione degli elementi su cui si concentra il modello, senza doverlo riaddestrare. Grad-CAM++ fa un ulteriore passo avanti concentrandosi solo sugli influssi positivi, rendendo i risultati ancora più chiari. I modelli Ultralytics YOLO possono salvare una mappa di attivazione delle classi simile per ogni immagine quando esegui la modalità di previsione con visualize=True.

Fig. 3. Confronto tra CAM, Grad-CAM e Grad-CAM++.

Spiegazioni controfattuali#

Le spiegazioni controfattuali sono un elemento importante dell'IA spiegabile. Una spiegazione controfattuale descrive una situazione o un risultato prendendo in considerazione scenari o eventi alternativi che non si sono verificati, ma avrebbero potuto verificarsi. Può mostrare come le variazioni di specifiche variabili di input portino a risultati diversi, ad esempio: «Se X non fosse accaduto, Y non si sarebbe verificato».

Nell'ambito dell'AI e della visione artificiale, una spiegazione controfattuale identifica la modifica minima necessaria a un input (come un'immagine o un dato) affinché un modello di AI produca un risultato specifico diverso. Per esempio, cambiare il colore di un oggetto in un'immagine potrebbe modificare la previsione di un modello di classificazione delle immagini da "gatto" a "cane".

Un altro buon esempio consiste nel modificare l'angolazione o l'illuminazione in un sistema di riconoscimento facciale. Questo potrebbe indurre il modello a identificare una persona diversa, mostrando come piccoli cambiamenti nell'input possano influenzare le previsioni del modello.

Il modo più semplice per creare queste spiegazioni è procedere per tentativi ed errori: puoi modificare a caso alcune parti dell'input (come le caratteristiche dell'immagine o dei dati) finché il modello di AI non produce il risultato desiderato. Altri metodi comprendono approcci indipendenti dal modello, che usano tecniche di ottimizzazione e ricerca per trovare le modifiche, e approcci specifici per il modello, che si basano su impostazioni o calcoli interni per identificare le modifiche necessarie.

Applicazioni dell'IA spiegabile nella visione artificiale#

Ora che abbiamo visto cos'è la XAI e quali sono le sue tecniche principali, possiamo esaminare come viene usata nella pratica. La XAI ha applicazioni diverse in numerosi settori. Ecco alcuni casi d'uso che ne evidenziano il potenziale:

• Sistemi di sicurezza: l'XAI può migliorare i sistemi di sicurezza rilevando immagini manipolate nei documenti di identità, come passaporti e patenti di guida. In questo modo garantisce l'autenticità delle immagini, rafforza i processi di verifica dell'identità e previene le frodi nelle applicazioni sensibili.

Fig. 4. Come funziona l'XAI per rilevare immagini manipolate.

• Guida autonoma: comprendere le capacità e i limiti del sistema di IA visiva di bordo di un'auto a guida autonoma può essere fondamentale per testare il veicolo prima che venga impiegato sulle strade. L'XAI può aiutare le case automobilistiche a individuare e risolvere i problemi con maggiore chiarezza.
• Sistemi giudiziari: i sistemi di analisi dei documenti basati sulla visione vengono usati sempre più spesso nei processi decisionali giudiziari. La XAI favorisce decisioni eque e consente di esaminare attentamente i giudizi automatizzati. Inoltre, aiuta i professionisti del settore legale a capire come un modello di AI arriva alle proprie decisioni.
• Monitoraggio della fauna selvatica: le fototrappole vengono spesso utilizzate per monitorare la fauna selvatica e raccogliere dati sulle specie animali. L'XAI può spiegare come l'IA classifica queste specie nelle immagini. In questo modo, le iniziative di conservazione possono diventare più affidabili e precise.

Punti chiave sull'IA spiegabile#

L'intelligenza artificiale spiegabile facilita la comprensione del funzionamento dei sistemi di AI e dei motivi per cui prendono determinate decisioni. La trasparenza sui modelli di AI favorisce la fiducia e la responsabilità. In ambiti critici come la sanità, la sicurezza, la guida autonoma e i sistemi giudiziari, la XAI può aiutare sviluppatori e utenti a comprendere le previsioni dell'AI, individuare gli errori e garantire un uso equo ed etico. Rendendo l'AI più trasparente, la XAI colma il divario tra tecnologia e fiducia umana, rendendola più sicura e affidabile nelle applicazioni reali.

Per saperne di più, visita il nostro repository GitHub e partecipa alla nostra community. Scopri le applicazioni dell'AI nelle auto a guida autonoma e in agricoltura nelle nostre pagine dedicate alle soluzioni.