Tutto quello che devi sapere sull'Explainable AI (XAI)

Hai mai visto una risposta da uno strumento di intelligenza artificiale (IA) come ChatGPT e ti sei chiesto come sia giunto a quella conclusione? Allora hai incontrato il problema della "black box" dell'IA. È un termine che si riferisce alla mancanza di chiarezza su come i modelli di IA elaborano e analizzano i dati. Anche gli ingegneri e gli scienziati che lavorano regolarmente con algoritmi di IA all'avanguardia possono trovare difficile comprendere appieno i loro meccanismi interni. Infatti, solo il 22% dei professionisti IT comprende veramente le capacità degli strumenti di IA.

L'incertezza che circonda il modo in cui i modelli di IA prendono decisioni può essere rischiosa, specialmente in settori critici come la visione artificiale nell'assistenza sanitaria e l'IA nella finanza. Tuttavia, sono stati fatti progressi significativi per affrontare queste sfide e migliorare la trasparenza.

In particolare, l'intelligenza artificiale spiegabile (XAI) si concentra esclusivamente sulla risoluzione di questo problema. In poche parole, si tratta di un insieme di processi e metodi che aiutano gli utenti a comprendere e fidarsi dei risultati o degli output forniti da complessi algoritmi di machine learning.

La XAI può aiutare gli sviluppatori a garantire che i sistemi di IA stiano funzionando come previsto. Può anche aiutare le aziende che si occupano di IA a soddisfare gli standard normativi. In questo articolo, esploreremo l'intelligenza artificiale spiegabile e la sua ampia gamma di casi d'uso. Iniziamo!

Link to this sectionL'importanza dell'intelligenza artificiale spiegabile#

La spiegabilità è fondamentale quando si lavora con l'IA. Questo è particolarmente vero quando si tratta del sottocampo dell'IA chiamato visione artificiale, che è ampiamente utilizzato in applicazioni in settori come quello sanitario. Quando si utilizzano modelli di visione in settori così sensibili, è importante che il funzionamento del modello sia trasparente e interpretabile da tutti.

L'interpretabilità nei modelli di visione artificiale aiuta gli utenti ad avere una migliore comprensione di come è stata effettuata una previsione e della logica alla base. La trasparenza contribuisce a questo rendendo il funzionamento del modello chiaro per tutti, delineando chiaramente i limiti del modello e assicurando che i dati vengano utilizzati in modo etico. Ad esempio, la visione artificiale può aiutare i radiologi a identificare in modo efficiente le complicazioni di salute nelle immagini a raggi X.

Fig 1. Radiografie toraciche analizzate con la visione artificiale che mostrano classificazioni di tubercolosi sana, malata, attiva e latente.

Tuttavia, un sistema di visione che sia solo accurato non basta. Il sistema deve anche essere in grado di spiegare le proprie decisioni. Supponiamo che il sistema possa mostrare quali parti dell'immagine hanno portato alle sue conclusioni: allora, qualsiasi output sarebbe più chiaro. Tale livello di trasparenza aiuterebbe i professionisti medici a ricontrollare i risultati e ad assicurarsi che l'assistenza ai pazienti rispetti gli standard medici.

Un altro motivo per cui la spiegabilità è essenziale è che rende le aziende di IA responsabili e crea fiducia negli utenti. Un'IA affidabile porta gli utenti a sentirsi sicuri che le innovazioni dell'IA funzionino in modo affidabile, prendano decisioni eque e gestiscano i dati in modo responsabile.

Link to this sectionTecniche chiave di intelligenza artificiale spiegabile nella visione artificiale#

Ora che abbiamo discusso del perché la spiegabilità è importante nella visione artificiale, diamo un'occhiata alle principali tecniche di XAI utilizzate nella visione artificiale.

Link to this sectionMappe di salienza#

Le reti neurali sono modelli ispirati al cervello umano, progettati per riconoscere schemi e prendere decisioni elaborando dati attraverso strati interconnessi di nodi (neuroni). Possono essere utilizzate per risolvere complessi problemi di visione artificiale con elevata precisione. Anche con questa precisione, rimangono per progettazione delle black box.

Le mappe di salienza sono una tecnica di XAI che può essere utilizzata per aiutare a comprendere ciò che le reti neurali vedono quando analizzano le immagini. Possono anche essere utilizzate per risolvere problemi dei modelli nel caso in cui non stiano funzionando come previsto.

Le mappe di salienza funzionano concentrandosi su quali parti di un'immagine (pixel) definiscono le previsioni di un modello. Questo processo è molto simile alla backpropagation, in cui il modello traccia il percorso dalle previsioni all'input. Ma invece di aggiornare i pesi del modello in base agli errori, stiamo solo guardando quanto ogni pixel "conta" per la previsione. Le mappe di salienza sono molto utili per attività di visione artificiale come la classificazione delle immagini.

Ad esempio, se un modello di classificazione delle immagini prevede che un'immagine è quella di un cane, possiamo guardare la sua mappa di salienza per capire perché il modello pensa che sia un cane. Questo ci aiuta a identificare quali pixel influenzano maggiormente l'output. La mappa di salienza evidenzierebbe tutti i pixel che hanno contribuito alla previsione finale dell'immagine come un cane.

Fig 2. Una vista affiancata delle immagini di input e delle loro mappe di salienza.

Link to this sectionClass Activation Mapping (CAM)#

Class Activation Mapping è un'altra tecnica di XAI utilizzata per capire su quali parti di un'immagine si concentra una rete neurale quando effettua previsioni di classificazione delle immagini. Funziona in modo simile alle mappe di salienza ma si concentra sull'identificazione di caratteristiche importanti nell'immagine invece che su specifici pixel. Le feature sono schemi o dettagli, come forme o texture, che il modello rileva nell'immagine.

Metodi come Gradient Weighted Class Activation Mapping (Grad-CAM) e Grad-CAM++ si basano sulla stessa idea, con alcuni miglioramenti.

Ecco come funziona CAM:

• Prima che la rete neurale prenda la sua decisione finale, utilizza un passaggio chiamato global average pooling (GAP) per semplificare le informazioni. GAP combina tutti i pixel in uno schema rilevato in un singolo valore medio, creando un riepilogo per ogni mappa di caratteristiche (una rappresentazione visiva degli schemi rilevati).
• A ogni mappa di caratteristiche viene quindi assegnato un peso che mostra quanto sia importante per prevedere una certa classe (come "uccello" o "gatto").
• Tuttavia, una limitazione di CAM è che potrebbe essere necessario riaddestrare il modello per calcolare questi pesi, il che può richiedere molto tempo.

Grad-CAM migliora questo aspetto utilizzando i gradienti, che sono come segnali che mostrano quanto ogni mappa di caratteristiche influenza la previsione finale. Questo metodo evita la necessità di GAP e rende più facile vedere su cosa si concentra il modello senza riaddestramento. Grad-CAM++ fa un ulteriore passo avanti concentrandosi solo sulle influenze positive, il che rende i risultati ancora più chiari.

Fig 3. Confronto tra CAM, Grad-CAM e Grad-CAM++.

Link to this sectionSpiegazioni controfattuali#

Le spiegazioni controfattuali sono un elemento importante dell'intelligenza artificiale spiegabile. Una spiegazione controfattuale consiste nel descrivere una situazione o un risultato considerando scenari alternativi o eventi che non sono accaduti ma che avrebbero potuto accadere. Può dimostrare come i cambiamenti in specifiche variabili di input portino a risultati diversi, come: "Se X non fosse accaduto, Y non si sarebbe verificato".

Quando si parla di AI e computer vision, una spiegazione controfattuale identifica il più piccolo cambiamento necessario in un input (come un'immagine o dei dati) per far sì che un modello AI produca un risultato diverso e specifico. Ad esempio, alterare il colore di un oggetto in un'immagine potrebbe cambiare la predizione di un modello di classificazione immagini da "gatto" a "cane".

Un altro buon esempio sarebbe cambiare l'angolazione o l'illuminazione in un sistema di riconoscimento facciale. Ciò potrebbe far sì che il modello identifichi un individuo diverso, mostrando come piccoli cambiamenti nell'input possano influenzare le previsioni del modello.

Il modo più semplice per creare queste spiegazioni è per tentativi ed errori: puoi modificare casualmente parti dell'input (come le caratteristiche dell'immagine o dei dati) finché il modello di IA non ti fornisce il risultato desiderato. Altri metodi includono approcci agnostici al modello, che utilizzano tecniche di ottimizzazione e ricerca per trovare i cambiamenti, e approcci specifici per il modello, che si basano su impostazioni o calcoli interni per identificare i cambiamenti necessari.

Link to this sectionApplicazioni dell'intelligenza artificiale spiegabile nella visione artificiale#

Ora che abbiamo esplorato cos'è la XAI e le sue tecniche chiave, possiamo vedere come viene utilizzata nella vita reale. La XAI ha diverse applicazioni in molti campi. Immergiamoci in alcuni casi d'uso che ne evidenziano il potenziale:

• Sistemi di sicurezza: la XAI può essere utilizzata per migliorare i sistemi di sicurezza rilevando immagini manipolate nei documenti di identificazione come passaporti e patenti di guida. Ciò garantisce l'autenticità delle immagini, rafforza i processi di verifica dell'identità e previene attività fraudolente in applicazioni sensibili.

Fig 4. Come funziona la XAI per rilevare immagini manipolate.

• Guida autonoma: comprendere le capacità e i limiti del sistema di visione artificiale integrato di un'auto a guida autonoma può essere una parte fondamentale dei test del veicolo prima che venga impiegato sulle strade del mondo reale. La XAI può aiutare le aziende automobilistiche a identificare e risolvere i problemi in modo più chiaro.

• Sistemi legali: i sistemi di analisi documentale basati sulla visione artificiale sono sempre più utilizzati nel processo decisionale giudiziario. La XAI supporta risultati equi e consente di esaminare i giudizi automatizzati. Aiuta inoltre i professionisti del settore legale a capire come un modello di IA giunge alle proprie decisioni.

• Monitoraggio della fauna selvatica: le fototrappole vengono spesso utilizzate per monitorare la fauna selvatica e raccogliere dati sulle specie animali. La XAI può essere utilizzata per spiegare come l'IA classifica queste specie nelle immagini. In questo modo, gli sforzi di conservazione possono essere più affidabili e accurati.

Link to this sectionPunti chiave sull'intelligenza artificiale spiegabile#

L'intelligenza artificiale spiegabile rende più facile capire come funzionano i sistemi di IA e perché prendono determinate decisioni. La trasparenza sui modelli di IA crea fiducia e responsabilità. La conoscenza è potere e aiuta a utilizzare le innovazioni dell'IA in modo più responsabile. In settori critici come l'assistenza sanitaria, la sicurezza, la guida autonoma e i sistemi legali, la XAI può essere utilizzata per aiutare gli sviluppatori e gli utenti a comprendere le previsioni dell'IA, identificare gli errori e garantire un uso equo ed etico. Rendendo l'IA più trasparente, la XAI colma il divario tra tecnologia e fiducia umana, rendendola più sicura e affidabile per le applicazioni del mondo reale.

Per saperne di più, visita il nostro repository GitHub e interagisci con la nostra community. Esplora le applicazioni dell'IA nelle auto a guida autonoma e nell'agricoltura sulle nostre pagine delle soluzioni. 🚀