Sintonizzati su YOLO Vision 2025!
25 settembre 2025
10:00 — 18:00 BST
Evento ibrido
Yolo Vision 2024

Tutto quello che devi sapere sull'explainable AI (XAI)

Abirami Vina

4 minuti di lettura

13 dicembre 2024

Scopri come l'Intelligenza Artificiale Spiegabile (XAI) crea fiducia rendendo le previsioni dell'IA trasparenti e affidabili in sanità, sicurezza, guida autonoma e altro ancora.

Hai mai visto una risposta da uno strumento di intelligenza artificiale (IA) come ChatGPT e ti sei chiesto come sia giunto a quella conclusione? Allora, hai incontrato la preoccupazione della “scatola nera” dell'IA. È un termine che si riferisce alla mancanza di chiarezza su come i modelli di IA elaborano e analizzano i dati. Anche gli ingegneri e gli scienziati dell'IA che lavorano regolarmente con algoritmi di IA all'avanguardia possono trovare difficile comprenderne appieno il funzionamento interno. Infatti, solo il 22% dei professionisti IT comprende veramente le capacità degli strumenti di IA. 

L'incertezza che circonda il modo in cui i modelli di IA prendono decisioni può essere rischiosa, soprattutto in aree critiche come la computer vision in ambito sanitario e l'IA in finanza. Tuttavia, si stanno compiendo progressi significativi per affrontare queste sfide e migliorare la trasparenza.

In particolare, l'explainable AI (XAI) si concentra esclusivamente sulla risoluzione di questo problema. In parole semplici, è un insieme di processi e metodi che aiuta gli utenti umani a comprendere e fidarsi dei risultati o degli output forniti da complessi algoritmi di machine learning

L'XAI può aiutare gli sviluppatori a garantire che i sistemi di IA funzionino come previsto. Può anche aiutare le aziende di IA a soddisfare gli standard normativi. In questo articolo, esploreremo l'IA spiegabile e la sua vasta gamma di casi d'uso. Iniziamo!

L'importanza dell'AI spiegabile

L'interpretabilità è fondamentale quando si lavora con l'IA. Questo è particolarmente vero quando si tratta del sottocampo dell'IA, la computer vision, che è ampiamente utilizzata in applicazioni in settori come quello sanitario. Quando si utilizzano modelli di visione in settori così delicati, è importante che il funzionamento del modello sia trasparente e interpretabile per tutti. 

L'interpretabilità nei modelli di computer vision aiuta gli utenti a comprendere meglio come è stata fatta una previsione e la logica alla base. La trasparenza si aggiunge a questo rendendo chiaro a tutti il funzionamento del modello, delineando chiaramente i limiti del modello e garantendo che i dati vengano utilizzati in modo etico. Ad esempio, la computer vision può aiutare i radiologi a identificare in modo efficiente le complicanze di salute nelle immagini a raggi X.

__wf_reserved_inherit
Fig 1. Radiografie del torace analizzate utilizzando Vision AI che mostrano classificazioni di tubercolosi sane, malate, attive e latenti.

Tuttavia, un sistema di visione che sia solo accurato non è sufficiente. Il sistema deve anche essere in grado di spiegare le sue decisioni. Supponiamo che il sistema possa mostrare quali parti dell'immagine hanno portato alle sue conclusioni: in tal caso, qualsiasi output sarebbe più chiaro. Un tale livello di trasparenza aiuterebbe i professionisti medici a ricontrollare i loro risultati e ad assicurarsi che l'assistenza al paziente soddisfi gli standard medici. 

Un altro motivo per cui la spiegabilità è essenziale è che rende le aziende di IA responsabili e crea fiducia negli utenti. Un'IA affidabile porta gli utenti a sentirsi sicuri che le innovazioni dell'IA funzionino in modo affidabile, prendano decisioni e gestiscano i dati in modo responsabile

Tecniche chiave di IA spiegabile nella visione artificiale

Ora che abbiamo discusso del perché l'interpretabilità è importante nella computer vision, diamo un'occhiata alle principali tecniche XAI utilizzate nella Vision AI.

Mappe di salienza

Le reti neurali sono modelli ispirati al cervello umano, progettati per riconoscere schemi e prendere decisioni elaborando i dati attraverso livelli interconnessi di nodi (neuroni). Possono essere utilizzate per risolvere complessi problemi di computer vision con elevata precisione. Anche con questa precisione, sono comunque delle black box per progettazione. 

Le mappe di salienza sono una tecnica XAI che può essere utilizzata per aiutare a capire cosa vedono le reti neurali quando analizzano le immagini. Può anche essere utilizzata per risolvere i problemi dei modelli nel caso in cui non funzionino come previsto. 

Le mappe di salienza funzionano concentrandosi su quali parti di un'immagine (pixel) definiscono le previsioni di un modello. Questo processo è molto simile alla backpropagation, dove il modello traccia a ritroso dalle previsioni all'input. Ma invece di aggiornare i pesi del modello in base agli errori, stiamo solo guardando quanto ogni pixel "conta" per la previsione. Le mappe di salienza sono molto utili per le attività di visione artificiale come la classificazione delle immagini.

Ad esempio, se un modello di classificazione delle immagini prevede che un'immagine sia quella di un cane, possiamo esaminare la sua mappa di salienza per capire perché il modello pensa che sia un cane. Questo ci aiuta a identificare quali pixel influenzano maggiormente l'output. La mappa di salienza evidenzierebbe tutti i pixel che hanno contribuito alla previsione finale che l'immagine sia quella di un cane.

__wf_reserved_inherit
Fig 2. Una visualizzazione affiancata delle immagini di input e delle relative mappe di salienza.

Class Activation Mapping (CAM)

La Class Activation Mapping è un'altra tecnica XAI utilizzata per capire su quali parti di un'immagine si concentra una rete neurale quando effettua previsioni di classificazione delle immagini. Funziona in modo simile alle mappe di salienza, ma si concentra sull'identificazione di caratteristiche importanti nell'immagine invece che su specifici pixel. Le caratteristiche sono modelli o dettagli, come forme o texture, che il modello rileva nell'immagine.

Metodi come Gradient Weighted Class Activation Mapping (Grad-CAM) e Grad-CAM++ si basano sulla stessa idea, con alcuni miglioramenti.

Ecco come funziona CAM:

  • Prima che la rete neurale prenda la sua decisione finale, utilizza un passaggio chiamato global average pooling (GAP) per semplificare le informazioni. GAP combina tutti i pixel in un modello rilevato in un singolo valore medio, creando un riepilogo per ogni feature map (una rappresentazione visiva dei modelli rilevati).
  • A ogni feature map viene quindi assegnato un peso che mostra quanto è importante per prevedere una determinata classe (come "uccello" o "gatto").
  • Tuttavia, una limitazione di CAM è che potrebbe essere necessario riaddestrare il modello per calcolare questi pesi, il che può richiedere molto tempo.

Grad-CAM migliora questo aspetto utilizzando i gradienti, che sono come segnali che mostrano quanto ogni feature map influenzi la predizione finale. Questo metodo evita la necessità di GAP e rende più facile vedere su cosa si concentra il modello senza doverlo riaddestrare. Grad-CAM++ fa un ulteriore passo avanti concentrandosi solo sulle influenze positive, il che rende i risultati ancora più chiari.

__wf_reserved_inherit
Fig. 3. Confronto tra CAM, Grad-CAM e Grad-CAM++.

Spiegazioni controfattuali

Le spiegazioni controfattuali sono un elemento importante dell'AI spiegabile. Una spiegazione controfattuale implica la descrizione di una situazione o di un risultato considerando scenari o eventi alternativi che non sono accaduti ma che avrebbero potuto accadere. Può dimostrare come i cambiamenti in specifiche variabili di input portino a risultati diversi, come ad esempio: “Se X non fosse successo, Y non sarebbe accaduto.”

Nell'ambito dell'IA e della computer vision, una spiegazione controfattuale identifica la minima modifica necessaria in un input (come un'immagine o dei dati) per indurre un modello di IA a produrre un risultato diverso e specifico. Ad esempio, alterare il colore di un oggetto in un'immagine potrebbe cambiare la previsione di un modello di classificazione delle immagini da "gatto" a "cane".

Un altro buon esempio potrebbe essere la modifica dell'angolazione o dell'illuminazione in un sistema di riconoscimento facciale. Questo potrebbe indurre il modello a identificare un individuo diverso, dimostrando come piccoli cambiamenti nell'input possano influenzare le previsioni del modello.

Il modo più semplice per creare queste spiegazioni è per tentativi ed errori: puoi cambiare casualmente parti dell'input (come caratteristiche dell'immagine o dei dati) finché il modello AI non ti dà il risultato desiderato. Altri metodi includono approcci model-agnostic, che utilizzano tecniche di ottimizzazione e ricerca per trovare i cambiamenti, e approcci model-specific, che si basano su impostazioni interne o calcoli per identificare i cambiamenti necessari.

Applicazioni dell'AI spiegabile nella computer vision

Ora che abbiamo esplorato cos'è XAI e le sue tecniche chiave, possiamo esaminare come viene utilizzata nella vita reale. XAI ha diverse applicazioni in molti campi. Approfondiamo alcuni casi d'uso che ne evidenziano il potenziale:

  • Sistemi di sicurezza: L'XAI può essere utilizzata per migliorare i sistemi di sicurezza rilevando immagini alterate in documenti di identificazione come passaporti e patenti di guida. Ciò garantisce l'autenticità delle immagini, rafforza i processi di verifica dell'identità e previene attività fraudolente in applicazioni sensibili.
__wf_reserved_inherit
Fig. 4. Come funziona XAI per rilevare immagini alterate.

  • Guida autonoma: Comprendere le capacità e i limiti del sistema di Vision AI a bordo di un'auto a guida autonoma può essere una parte importante del collaudo dell'auto prima che venga implementata su strade reali. XAI può aiutare le aziende automobilistiche a identificare e risolvere i problemi in modo più chiaro.
  • Sistemi legali: I sistemi di analisi dei documenti basati sulla visione artificiale sono sempre più utilizzati nei processi decisionali giudiziari. La XAI supporta risultati equi e consente di esaminare attentamente le sentenze automatizzate. Aiuta inoltre i professionisti legali a comprendere come un modello di IA giunge alle sue decisioni.
  • Monitoraggio della fauna selvatica: Le fototrappole vengono spesso utilizzate per monitorare la fauna selvatica e raccogliere dati sulle specie animali. L'XAI può essere utilizzata per spiegare come l'IA classifica queste specie nelle immagini. In questo modo, gli sforzi di conservazione possono essere più affidabili e accurati.

Punti chiave sull'AI spiegabile

L'Explainable AI rende più facile capire come funzionano i sistemi di IA e perché prendono determinate decisioni. La trasparenza sui modelli di IA crea fiducia e responsabilità. La conoscenza è potere e aiuta a utilizzare le innovazioni dell'IA in modo più responsabile. In aree critiche come l'assistenza sanitaria, la sicurezza, la guida autonoma e i sistemi legali, la XAI può essere utilizzata per aiutare gli sviluppatori e gli utenti a comprendere le previsioni dell'IA, identificare gli errori e garantire un uso equo ed etico. Rendendo l'IA più trasparente, la XAI colma il divario tra tecnologia e fiducia umana, rendendola più sicura e affidabile per le applicazioni nel mondo reale.

Per saperne di più, visita il nostro repository GitHub e interagisci con la nostra community. Esplora le applicazioni dell'AI nelle auto a guida autonoma e nell'agricoltura nelle nostre pagine delle soluzioni. 🚀

Costruiamo insieme il futuro
dell'AI!

Inizia il tuo viaggio con il futuro del machine learning

Inizia gratis
Link copiato negli appunti