Misurare le performance dell’IA per valutare l’impatto delle tue innovazioni

In precedenza abbiamo approfondito come l’IA possa essere usata in diversi settori, come la sanità, la produzione e il turismo. Abbiamo anche esaminato come l’IA possa migliorare le attività lavorative quotidiane e parlato delle principali idee imprenditoriali basate sull’IA. Tutte queste discussioni portano inevitabilmente alla stessa domanda fondamentale: come possiamo misurare il successo di queste implementazioni dell’IA? È una domanda importante, perché non basta distribuire soluzioni di IA. Perché ne valga la pena, bisogna assicurarsi che queste soluzioni producano davvero risultati.

Possiamo misurare le metriche delle prestazioni dell'AI per determinare se un modello di AI è davvero efficace nel rendere i processi più efficienti, stimolare l'innovazione o risolvere problemi. Concentrandoci sui giusti indicatori chiave di prestazione (KPI), possiamo capire quanto funzioni bene una soluzione di AI e in quali aspetti potrebbe essere migliorata.

In questo articolo vedremo come misurare il successo delle implementazioni di AI con i KPI più pertinenti. Esamineremo le differenze tra KPI aziendali e KPI delle prestazioni dell'AI, analizzeremo metriche chiave come precisione e richiamo e ti aiuteremo a scegliere i KPI migliori per le tue specifiche soluzioni di AI.

La differenza tra KPI aziendali dell'AI e KPI delle prestazioni dell'AI#

Fig. 1. Confronto tra i KPI aziendali dell'IA e i KPI delle prestazioni dell'IA.

Quando si parla di KPI, è naturale pensare che riguardino tutti metriche aziendali, come il ritorno sull’investimento (ROI), il risparmio sui costi o i ricavi generati, soprattutto nel caso dell’IA aziendale. Questi KPI aziendali dell’IA misurano l’impatto dell’IA sul successo complessivo di un’azienda e sono in linea con i più ampi obiettivi aziendali.

I KPI delle prestazioni dell’IA, invece, si concentrano sul funzionamento del sistema di IA stesso, usando metriche come accuratezza, precisione e richiamo. Di seguito approfondiremo queste metriche; in sostanza, mentre i KPI aziendali mostrano i vantaggi finanziari e strategici dell’IA, i KPI delle prestazioni assicurano che un modello di IA svolga efficacemente il proprio compito.

Alcune metriche possono servire a entrambi gli scopi. Per esempio, i guadagni di efficienza, come la riduzione del tempo o delle risorse necessari per completare un’attività, possono essere sia un KPI delle prestazioni, perché mostrano quanto funziona bene la soluzione di IA, sia un KPI aziendale, perché misurano il risparmio sui costi e i miglioramenti della produttività. Anche la soddisfazione dei clienti è una metrica trasversale. Può riflettere il successo di uno strumento di assistenza clienti basato sull’IA sia in termini di prestazioni tecniche sia di impatto sugli obiettivi aziendali complessivi.

Capire le principali metriche delle prestazioni dell'IA#

Esistono alcune metriche comuni per misurare le prestazioni di un modello di IA. Per prima cosa, vedremo la loro definizione e come si calcolano. Poi, scopriremo come monitorare queste metriche.

Precisione#

La precisione è una metrica che misura l’accuratezza con cui un modello di IA identifica i veri positivi, cioè i casi in cui il modello riconosce correttamente un oggetto o una condizione. Per esempio, in un sistema di riconoscimento facciale, si ha un vero positivo quando il sistema riconosce e identifica correttamente il volto di una persona che è stato addestrato a rilevare.

Per calcolare la precisione, conta innanzitutto il numero di veri positivi. Poi, dividi questo valore per il numero totale di elementi che il modello ha etichettato come positivi. Il totale include sia le identificazioni corrette sia gli errori, chiamati falsi positivi. In sostanza, la precisione indica quanto spesso il modello ha ragione quando dichiara di aver riconosciuto qualcosa.

Fig. 2. Comprendere la precisione.

È particolarmente importante negli scenari in cui le conseguenze dei falsi positivi possono essere costose o destabilizzanti. Per esempio, nella produzione automatizzata, un elevato tasso di precisione indica che il sistema riesce a segnalare con maggiore accuratezza i prodotti difettosi e a evitare di scartare o rilavorare inutilmente quelli buoni. Un altro ottimo esempio è la videosorveglianza di sicurezza. Un'elevata precisione aiuta a ridurre al minimo i falsi allarmi e a concentrarsi solo sulle minacce reali che richiedono un intervento di sicurezza.

Richiamo#

Il richiamo misura la capacità di un modello di IA di identificare tutte le istanze rilevanti, o i veri positivi, all'interno di un dataset. In parole semplici, indica quanto bene un sistema di IA riesce a rilevare tutti i casi effettivi di una condizione o di un oggetto che è stato progettato per individuare. Il richiamo si calcola dividendo il numero di rilevamenti corretti per il numero totale di casi positivi che avrebbero dovuto essere rilevati (inclusi sia i casi identificati correttamente dal modello sia quelli che ha mancato).

Considera un sistema di imaging medico basato sull'IA usato per rilevare il cancro. In questo contesto, il richiamo rappresenta la percentuale di casi effettivi di cancro identificati correttamente dal sistema. Un richiamo elevato è fondamentale in scenari simili, perché non rilevare una diagnosi di cancro può avere gravi conseguenze per l'assistenza ai pazienti.

Precisione e richiamo a confronto#

Precisione e richiamo sono come due facce della stessa medaglia quando si valuta le prestazioni di un modello di IA e spesso occorre trovare un equilibrio tra i due. La difficoltà sta nel fatto che migliorare una metrica può spesso andare a discapito dell’altra.

Supponiamo che tu voglia aumentare la precisione. Il modello potrebbe diventare più selettivo e riuscire a identificare solo i positivi di cui è molto sicuro. Se invece punti a migliorare il richiamo, il modello potrebbe identificare più positivi, ma includere anche più falsi positivi e finire per ridurre la precisione.

La chiave è trovare il giusto equilibrio tra precisione e richiamo in base alle esigenze specifiche della tua applicazione. Uno strumento utile a questo scopo è la curva precisione-richiamo, che mostra la relazione tra le due metriche a diverse soglie. Analizzando questa curva, puoi determinare il punto ottimale in cui il modello offre le prestazioni migliori per il tuo caso d’uso specifico. Comprendere questo compromesso è utile per ottimizzare i modelli di IA e ottenere prestazioni ottimali nei casi d’uso previsti.

Fig. 3. Esempio di curva precisione-richiamo.

Precisione media (mAP)#

La precisione media media (mAP) è una metrica usata per valutare le prestazioni dei modelli di IA in attività come il rilevamento degli oggetti, in cui il modello deve identificare e classificare più oggetti in un’immagine. La mAP fornisce un singolo punteggio che indica quanto bene il modello funziona in tutte le diverse categorie che è stato addestrato a riconoscere. Vediamo come si calcola.

L’area sotto una curva precisione-richiamo fornisce la precisione media (AP) per quella classe. L’AP misura l’accuratezza delle previsioni del modello per una classe specifica, considerando sia la precisione sia il richiamo a diversi livelli di confidenza (i livelli di confidenza indicano quanto il modello è sicuro delle proprie previsioni). Una volta calcolata l’AP per ogni classe, la mAP si ottiene calcolando la media di questi valori di AP su tutte le classi.

Fig. 4. La precisione media di varie classi.

La mAP è utile in applicazioni come la guida autonoma, in cui occorre rilevare simultaneamente più oggetti, come pedoni, veicoli e segnali stradali. Un punteggio mAP elevato indica che il modello offre prestazioni costantemente buone in tutte le categorie, risultando affidabile e accurato in un'ampia gamma di scenari.

Calcola facilmente le metriche delle prestazioni#

Le formule e i metodi per calcolare le principali metriche delle prestazioni dell'IA possono sembrare scoraggianti. Tuttavia, strumenti come il pacchetto Ultralytics rendono il calcolo semplice e rapido. Che tu stia lavorando su attività di rilevamento di oggetti, segmentazione o classificazione, Ultralytics mette a disposizione le utilità necessarie per calcolare rapidamente metriche importanti come precisione, richiamo e precisione media (mAP).

Per iniziare a calcolare le metriche delle prestazioni con Ultralytics, puoi installare il pacchetto Ultralytics come mostrato di seguito.

pip install ultralytics

In questo esempio, caricheremo un modello YOLOv8 preaddestrato e lo useremo per convalidare le metriche delle prestazioni, ma puoi caricare uno qualsiasi dei modelli forniti da Ultralytics supportati. Ecco come fare:

from ultralytics import YOLO

# Carica un modello YOLOv8 preaddestrato
model = YOLO("yolov8n.pt")

Una volta caricato il modello, puoi eseguire la convalida sul tuo dataset. Il seguente frammento di codice ti aiuterà a calcolare varie metriche delle prestazioni, tra cui precisione, richiamo e mAP:

# Convalida il modello su un dataset (COCO8 è un piccolo dataset di esempio)
metrics = model.val(data="coco8.yaml")

print(metrics.box.mp)  # precisione media
print(metrics.box.mr)  # richiamo medio
print(metrics.box.map50)  # mAP con IoU pari a 0.5
print(metrics.box.map)  # mAP50-95

Usare strumenti come Ultralytics semplifica notevolmente il calcolo delle metriche delle prestazioni, così puoi dedicare più tempo a migliorare il modello e meno a preoccuparti dei dettagli del processo di valutazione.

Come si misurano le prestazioni dell'IA dopo la distribuzione?#

Durante lo sviluppo del tuo modello di IA, è facile testarne le prestazioni in un ambiente controllato. Tuttavia, una volta distribuito il modello, la situazione può complicarsi. Per fortuna, esistono strumenti e buone pratiche che possono aiutarti a monitorare la tua soluzione di IA dopo la distribuzione.

Strumenti come Prometheus, Grafana ed Evidently AI sono progettati per monitorare continuamente le prestazioni del modello. Possono fornire informazioni in tempo reale, rilevare anomalie e segnalare potenziali problemi. Questi strumenti vanno oltre il monitoraggio tradizionale, offrendo soluzioni automatizzate e scalabili che si adattano alla natura dinamica dei modelli di IA in produzione.

Ecco alcune buone pratiche da seguire per misurare il successo del tuo modello di IA dopo la distribuzione:

• Definisci metriche delle prestazioni chiare: scegli metriche chiave come accuratezza, precisione e tempo di risposta per verificare regolarmente le prestazioni del modello.
• Controlla regolarmente il drift dei dati: tieni d'occhio i cambiamenti nei dati elaborati dal modello, poiché, se non gestiti correttamente, possono influire sulle sue previsioni.
• Esegui test A/B: usa i test A/B per confrontare le prestazioni del modello attuale con quelle di nuove versioni o modifiche. In questo modo potrai valutare quantitativamente i miglioramenti o i peggioramenti del comportamento del modello.
• Documentare e verificare le prestazioni: conserva registri dettagliati delle metriche di prestazione e delle modifiche apportate al tuo sistema di IA. È fondamentale per le verifiche, la conformità e il miglioramento nel tempo dell’architettura del modello.

Scegliere i KPI ottimali per l'IA è solo l'inizio#

Il successo nel distribuire e gestire una soluzione di IA dipende dalla scelta dei KPI giusti e dal loro aggiornamento costante. Nel complesso, è fondamentale scegliere metriche che evidenzino le prestazioni della soluzione di IA sul piano tecnico e il suo impatto aziendale. Quando le condizioni cambiano, che si tratti di progressi tecnologici o di cambiamenti nella tua strategia aziendale, è importante rivedere e perfezionare questi KPI.

Mantenendo dinamiche le revisioni delle prestazioni, puoi fare in modo che il tuo sistema di IA resti pertinente ed efficace. Monitorando queste metriche, otterrai informazioni preziose che ti aiuteranno a migliorare le tue attività. Un approccio proattivo aiuta a garantire che i tuoi progetti di IA siano davvero utili e contribuiscano alla crescita della tua azienda.

Unisciti alla nostra community e innova con noi! Esplora il nostro repository GitHub per scoprire i nostri progressi nell’IA. Scopri come stiamo trasformando settori come la produzione e la sanità con l’IA visiva.