Affidabilità inter-valutatore: definizione, esempi e calcoli

Quando costruisci un modello di AI, la qualità dei tuoi dati è importante tanto quanto gli algoritmi che lo supportano. Ogni volta che più persone etichettano o esaminano gli stessi dati, è inevitabile che si verifichino disaccordi. Questo vale in molti ambiti, tra cui ricerca, sanità e istruzione.

In particolare, nella computer vision, un ramo dell'AI che prevede l'addestramento di modelli come Ultralytics YOLO11 per interpretare dati visivi come immagini o video, gli esempi etichettati svolgono un ruolo cruciale. Se queste etichette sono incoerenti, i modelli di computer vision possono avere difficoltà ad apprendere i pattern corretti.

L'affidabilità inter-valutatore (IRR) misura quanto diversi individui, o annotatori, concordano nello svolgimento di un'attività. Aiuta a monitorare la coerenza e a identificare lacune nella formazione, nelle linee guida o nell'interpretazione. Questo è particolarmente importante nell'addestramento di modelli personalizzati, in cui i modelli di AI vengono costruiti utilizzando dati specifici per uno scopo particolare.

In questo articolo analizzeremo cos'è l'affidabilità inter-valutatore, come misurarla e come migliorarla nei progetti del mondo reale. Iniziamo!

Che cos'è l'affidabilità inter-valutatore?#

L'affidabilità inter-valutatore misura quanto spesso due o più persone, note anche come valutatori, concordano quando etichettano, valutano o esaminano lo stesso contenuto. Viene utilizzata per verificare quanto coerentemente i diversi valutatori applichino determinati criteri. Un'elevata concordanza tra i valutatori significa che un'attività è ben definita e chiaramente compresa.

Questo concetto viene utilizzato in diversi ambiti. A seconda del settore, è noto con nomi diversi, come concordanza inter-valutatore, affidabilità inter-osservatore o affidabilità inter-codificatore. Tuttavia, il principio di base rimane lo stesso.

Nella vision AI, l'affidabilità inter-valutatore è una parte fondamentale del processo di etichettatura dei dati. L'addestramento di modelli di computer vision richiede spesso l'etichettatura di enormi dataset di immagini o fotogrammi video, quindi più sviluppatori AI lavorano insieme sugli stessi dati.

Per ottenere risultati accurati, devono seguire le stesse linee guida per l'etichettatura. Ad esempio, quando si etichettano animali, tutti devono concordare chiaramente su cosa si considera un cane, su come tracciare il bounding box intorno ad esso e sull'opportunità di etichettare o ignorare gli oggetti sfocati.

Fig. 1. Comprendere l'affidabilità inter-valutatore (immagine dell'autore)

Affidabilità inter-valutatore, intra-valutatore e test-retest#

Quando le persone partecipano all'etichettatura o alla valutazione dei dati, ci sono tre tipi principali di affidabilità da considerare. Ognuno ha uno scopo diverso nel misurare quanto siano coerenti i risultati. Ecco uno sguardo più da vicino a ciascuno:

• Affidabilità inter-valutatore: l'affidabilità inter-valutatore esamina il livello di concordanza tra persone diverse che svolgono la stessa attività. È particolarmente utile quando più annotatori partecipano a progetti come l'etichettatura di immagini, l'analisi del sentiment o le revisioni mediche.

• Affidabilità intra-valutatore: sposta l'attenzione su una singola persona. L'affidabilità intra-valutatore verifica se il valutatore rimane coerente quando ripete la stessa attività in momenti diversi. Se le etichette cambiano troppo, ciò potrebbe dipendere da linee guida poco chiare o da una scarsa chiarezza dell'attività.

• Affidabilità test-retest: l'affidabilità test-retest non si concentra sull'annotatore, ma sullo strumento o sul metodo utilizzato. Misura se lo stesso risultato compare quando il test viene ripetuto in condizioni simili. Se l'output rimane coerente, il metodo è considerato affidabile.

Nel loro insieme, queste misure aiutano a confermare che sia le persone sia i processi producano risultati costanti e affidabili.

Fig. 2. Panoramica dell'affidabilità inter-valutatore, intra-valutatore e test-retest (immagine dell'autore)

Perché è importante l'affidabilità inter-valutatore?#

Nei progetti di vision AI su larga scala, la qualità dei dati etichettati influisce direttamente sulle prestazioni del modello. Anche piccole differenze nel modo in cui gli annotatori applicano le linee guida possono introdurre incoerenze che confondono il modello durante l'addestramento. Nel tempo, questo può portare a previsioni inaccurate, spreco di risorse e necessità di costose rietichettature.

Misurare l'affidabilità inter-valutatore aiuta a individuare tempestivamente questi problemi. Un'elevata concordanza significa che gli annotatori sono allineati e producono dataset più puliti e affidabili. Una bassa concordanza segnala che potrebbe essere necessario perfezionare istruzioni, esempi o formazione prima di proseguire con il progetto. Assicurandosi che gli annotatori lavorino in sincronia, i team possono costruire modelli di AI che apprendono in modo più efficace e forniscono risultati migliori nelle applicazioni del mondo reale.

Considerazioni pratiche sull'affidabilità inter-valutatore#

Ecco alcune considerazioni pratiche fondamentali da tenere a mente quando lavori con più valutatori e punti a mantenere un'elevata affidabilità inter-valutatore:

• Attività ambigue o soggettive: quando l'etichettatura richiede interpretazione, ad esempio per decidere se un oggetto sfocato è un pedone o per valutare la qualità di un'immagine, più valutatori aiutano a garantire che le decisioni siano coerenti e non eccessivamente influenzate dai pregiudizi individuali.
• Attività semplici e oggettive: attività immediate come contare il numero di auto in un'immagine o confermare la presenza di un oggetto spesso richiedono un solo valutatore adeguatamente formato, poiché la concordanza è in genere elevata quando il processo è chiaramente definito.
• Linee guida chiare per l'etichettatura: istruzioni dettagliate e facili da seguire riducono l'incertezza nell'applicazione delle etichette, migliorando la concordanza tra i valutatori. Le linee guida dovrebbero trattare esplicitamente i casi limite per evitare interpretazioni incoerenti.
• Formazione e calibrazione periodiche: anche i valutatori esperti possono modificare gradualmente i propri giudizi nel tempo. Sessioni di formazione e verifiche di calibrazione regolari aiutano a mantenere la coerenza e a ridurre al minimo il bias dello sperimentatore.

Misure dell'affidabilità inter-valutatore#

Esistono diversi modi per misurare l'affidabilità inter-valutatore e la scelta migliore dipende dal tipo di dati e di attività. Alcuni metodi funzionano bene per singoli valutatori che gestiscono semplici domande sì/no, mentre altri sono progettati per situazioni che coinvolgono più valutatori.

Gli approcci comuni includono la percentuale di concordanza, il Kappa di Cohen, il Kappa di Fleiss e il coefficiente di correlazione intraclasse. Ogni metodo misura il livello di concordanza tra i valutatori e tiene conto della possibilità che una parte della concordanza si verifichi per caso.

Kappa di Cohen e Kappa di Fleiss#

Il Kappa di Cohen è un metodo ampiamente utilizzato per misurare l'affidabilità inter-valutatore tra due valutatori. Calcola la frequenza con cui concordano in un'attività, tenendo conto della possibilità che una parte della concordanza si verifichi per caso. I punteggi vanno da -1 a 1: 1 indica una concordanza perfetta, mentre 0 significa che la concordanza non è migliore di una scelta casuale.

Analogamente, il Kappa di Fleiss viene utilizzato quando sono coinvolti più di due valutatori. Fornisce un punteggio complessivo che mostra quanto sia coerente il gruppo. Entrambi i metodi vengono utilizzati per attività con categorie definite, come etichettare immagini o classificare emozioni. Sono facili da calcolare e supportati dalla maggior parte degli strumenti di annotazione.

Percentuale di concordanza e coefficiente di correlazione intraclasse (ICC)#

Un altro modo per misurare l'affidabilità inter-valutatore è la percentuale di concordanza, che calcola la percentuale di volte in cui i valutatori prendono la stessa decisione. Sebbene sia semplice da utilizzare, non tiene conto della concordanza che potrebbe verificarsi per caso.

Il coefficiente di correlazione intraclasse è invece un metodo più avanzato, utilizzato per dati continui o basati su scale. Misura la coerenza delle valutazioni tra più valutatori e viene spesso applicato nella ricerca che comprende punteggi, misurazioni o altri tipi di dati oltre le categorie fisse.

Esempi e applicazioni dell'affidabilità inter-valutatore#

Ora che abbiamo compreso meglio come misurare l'affidabilità inter-valutatore, vediamo come questi metodi possono essere utilizzati nelle applicazioni del mondo reale.

Affidabilità inter-valutatore nell'annotazione di immagini mediche#

Nel caso delle immagini mediche, anche piccole differenze di interpretazione possono portare a cambiamenti significativi nei risultati. Ad esempio, spesso ai radiologi viene chiesto di identificare pattern sottili, ambigui o difficili da definire. Quando questi pattern diventano dati di addestramento per i sistemi di AI, la posta in gioco è più alta. Se gli esperti etichettano la stessa scansione in modo diverso, il modello può apprendere pattern errati o non riuscire ad apprendere del tutto.

L'affidabilità inter-valutatore aiuta i team che gestiscono questi dati a valutare quanto siano realmente coerenti i giudizi degli esperti. Ad esempio, in uno studio recente incentrato sulle scansioni OCT della retina, due valutatori hanno etichettato 500 immagini.

La concordanza era elevata per caratteristiche chiare come le drusen (depositi gialli sotto la retina), con un punteggio kappa di 0,87. Per elementi più difficili da definire, come i foci iperriflettenti (piccoli punti luminosi visibili nelle scansioni retiniche), il punteggio è invece sceso a 0,33. Questo dimostra che le caratteristiche più chiare e meglio definite tendono a produrre giudizi degli esperti più coerenti, mentre quelle ambigue lasciano più spazio all'interpretazione.

Fig. 3. Esempi di etichette per diverse caratteristiche associate alle malattie della retina (Fonte)

Dataset di veicoli autonomi e affidabilità inter-valutatore#

L'addestramento di modelli di AI per un sistema di guida autonoma dipende da etichette accurate e coerenti in un'ampia varietà di condizioni stradali. In genere, agli annotatori che lavorano a questi progetti viene chiesto di identificare pedoni, veicoli, segnali stradali e demarcazioni delle corsie, spesso in condizioni di scarsa illuminazione o in scenari affollati.

Queste decisioni determinano il modo in cui il modello impara a reagire in ambienti difficili del mondo reale. L'affidabilità inter-valutatore consente ai team di verificare se tali etichette vengono applicate nello stesso modo da tutti gli annotatori.

Fig. 4. Uno sguardo ai disaccordi nell'annotazione (Fonte)

Oltre l'affidabilità inter-valutatore: altre misure di garanzia della qualità#

Sebbene misurare l'affidabilità inter-valutatore sia un passaggio fondamentale nella costruzione di una soluzione di AI, si tratta di una parte di un processo di garanzia della qualità più ampio. Ecco altre pratiche che possono contribuire a migliorare la qualità dei dati tra team e progetti:

• Linee guida chiare per l'annotazione: le istruzioni dovrebbero spiegare esattamente come applicare le etichette, in modo che tutti lavorino secondo lo stesso standard.
• Formazione e calibrazione: sessioni regolari aiutano gli annotatori a rimanere allineati e offrono loro l'opportunità di porre domande e adeguarsi ai casi limite.
• Controlli di qualità continui: controlli a campione ed esempi di riferimento possono individuare tempestivamente gli errori e mantenere alta la qualità man mano che il progetto cresce.
• Risoluzione dei disaccordi: quando gli annotatori non concordano, dovrebbe esistere un processo chiaro per esaminare questi casi e prendere decisioni definitive.
• Gruppo diversificato di annotatori: coinvolgere persone con background diversi può ridurre i bias e migliorare la capacità del dataset di rappresentare la variabilità del mondo reale.

Punti chiave#

L'affidabilità inter-valutatore misura quanto coerentemente le persone applichino le etichette o prendano decisioni. Metodi come il Kappa di Cohen, il Kappa di Fleiss e l'ICC aiutano a quantificare tale concordanza. Con linee guida chiare, formazione e controllo dei bias, annotazioni affidabili portano a dati più solidi e a risultati migliori per i modelli.

Unisciti alla nostra community ed esplora il nostro repository GitHub per scoprire di più sull'AI. Se vuoi avviare il tuo progetto di vision AI, dai un'occhiata alle nostre opzioni di licenza. Puoi anche scoprire come l'AI nella sanità e la vision AI nel retail stanno producendo un impatto visitando le nostre pagine dedicate alle soluzioni.