Affidabilità inter-valutatore: definizione, esempi e calcoli

Quando sviluppi un modello di AI, la qualità dei dati è importante quanto gli algoritmi che lo alimentano. Quando più persone etichettano o esaminano gli stessi dati, è inevitabile che emergano disaccordi. Questo vale in molti ambiti, tra cui la ricerca, la sanità e l'istruzione.

In particolare, nella computer vision, un ramo dell'AI che prevede l'addestramento di modelli come Ultralytics YOLO11 per interpretare dati visivi quali immagini o video, gli esempi etichettati svolgono un ruolo cruciale. Se le etichette non sono coerenti, i modelli di computer vision possono avere difficoltà ad apprendere gli schemi corretti.

L'affidabilità tra valutatori (IRR) misura il grado di accordo tra diverse persone, o annotatori, nello svolgimento di un compito. Aiuta a monitorare la coerenza e a individuare lacune nella formazione, nelle linee guida o nell'interpretazione. È particolarmente importante nell'addestramento di modelli personalizzati, in cui i modelli di AI vengono realizzati usando dati specifici per uno scopo particolare.

In questo articolo vedremo che cos'è l'affidabilità tra valutatori, come misurarla e come migliorarla nei progetti del mondo reale. Cominciamo!

Che cos'è l'affidabilità tra valutatori?#

L'affidabilità tra valutatori misura la frequenza con cui due o più persone (dette anche valutatori) concordano quando etichettano, valutano o esaminano gli stessi contenuti. Serve a verificare quanto i diversi valutatori applichino in modo coerente i criteri assegnati. Un elevato accordo tra i valutatori indica che il compito è ben definito e chiaramente compreso.

Questo concetto viene usato in diversi ambiti. A seconda del settore, è noto con nomi diversi, come accordo tra valutatori, affidabilità interosservatore o affidabilità intercoder. Il principio di fondo resta comunque lo stesso.

Nella Vision AI, l’affidabilità tra valutatori è un aspetto fondamentale del processo di etichettatura dei dati. L’addestramento dei modelli di visione artificiale richiede spesso l’etichettatura di enormi dataset di immagini o fotogrammi video, perciò più annotatori lavorano spesso sugli stessi dati.

Per ottenere risultati precisi, devono seguire le stesse linee guida per l'etichettatura. Per esempio, quando etichettano animali, tutti devono accordarsi chiaramente su cosa si intenda per cane, su come disegnare il riquadro di delimitazione intorno a un cane e sulla necessità di etichettare o ignorare gli oggetti sfocati.

Fig. 1. Comprendere l'affidabilità tra valutatori (immagine dell'autore)

Affidabilità tra valutatori, intra-valutatore e test-retest#

Quando l'etichettatura o la valutazione dei dati coinvolge delle persone, occorre considerare tre tipi principali di affidabilità. Ognuno serve a misurare aspetti diversi della coerenza dei risultati. Ecco una panoramica di ciascuno:

• Affidabilità tra valutatori: misura il grado di accordo tra persone diverse che svolgono lo stesso compito. È particolarmente utile quando più annotatori partecipano a progetti come l'etichettatura di immagini, l'analisi del sentiment o le revisioni mediche.
• Affidabilità intra-valutatore: si concentra su una sola persona. Verifica se il valutatore resta coerente quando ripete lo stesso compito in momenti diversi. Se le etichette cambiano troppo, la causa potrebbe essere la mancanza di chiarezza nelle linee guida o nel compito.
• Affidabilità test-retest: non si concentra sull'annotatore, ma sullo strumento o sul metodo utilizzato. Misura se, ripetendo il test in condizioni simili, si ottiene lo stesso risultato. Se l'output rimane coerente, il metodo è considerato affidabile.

Nel loro insieme, queste misure aiutano a verificare che sia le persone sia i processi producano risultati stabili e affidabili.

Fig. 2. Panoramica dell’affidabilità inter-valutatore, intra-valutatore e test-retest (immagine dell’autore)

Perché è importante l’affidabilità inter-valutatore?#

Nei progetti di IA visiva su larga scala, la qualità dei dati etichettati influisce direttamente sulle prestazioni del modello. Anche piccole differenze nel modo in cui gli annotatori applicano le linee guida possono introdurre incongruenze che confondono il modello durante l’addestramento. Con il tempo, questo può portare a previsioni imprecise, spreco di risorse e necessità di una costosa nuova annotazione.

Misurare l’affidabilità inter-valutatore aiuta a individuare tempestivamente questi problemi. Un elevato accordo significa che gli annotatori sono allineati e producono dataset più puliti e affidabili. Un basso accordo indica che potrebbe essere necessario perfezionare le istruzioni, gli esempi o la formazione prima di proseguire con il progetto. Assicurandosi che gli annotatori lavorino in sintonia, i team possono creare modelli di IA che apprendono in modo più efficace e forniscono risultati migliori nelle applicazioni reali.

Considerazioni pratiche sull’affidabilità inter-valutatore#

Ecco alcune considerazioni pratiche fondamentali da tenere a mente quando lavori con più valutatori e punti a mantenere un’elevata affidabilità inter-valutatore:

• Attività ambigue o soggettive: quando l’etichettatura richiede interpretazione, ad esempio per decidere se un oggetto sfocato è un pedone o per giudicare la qualità di un’immagine, più valutatori aiutano a garantire decisioni coerenti, non eccessivamente influenzate dai pregiudizi individuali.
• Attività semplici e oggettive: attività lineari come contare le auto in un’immagine o confermare la presenza di un oggetto spesso richiedono un solo valutatore ben formato, poiché l’accordo è in genere elevato quando il processo è definito con chiarezza.
• Linee guida chiare per l’etichettatura: istruzioni dettagliate e facili da seguire riducono l’incertezza nell’applicazione delle etichette e migliorano l’accordo tra i valutatori. Le linee guida dovrebbero descrivere esplicitamente i casi limite per evitare interpretazioni incoerenti.
• Formazione e calibrazione periodiche: anche i valutatori esperti possono modificare gradualmente i propri criteri di giudizio. Sessioni di formazione e verifiche di calibrazione regolari aiutano a mantenere la coerenza e a ridurre al minimo i bias dello sperimentatore.

Misure dell’affidabilità inter-valutatore#

Esistono diversi modi per misurare l’affidabilità tra valutatori e la scelta migliore dipende dal tipo di dati e dall’attività. Alcuni metodi funzionano bene con due valutatori che rispondono a semplici domande sì/no, mentre altri sono progettati per situazioni che coinvolgono più valutatori.

Tra gli approcci più comuni ci sono la percentuale di accordo, il Kappa di Cohen, il Kappa di Fleiss e il coefficiente di correlazione intraclasse. Ogni metodo misura il livello di accordo tra i valutatori e la maggior parte tiene conto anche della possibilità che una parte dell’accordo si verifichi per caso.

Il Kappa di Cohen e il Kappa di Fleiss#

Il Kappa di Cohen è un metodo ampiamente utilizzato per misurare l’affidabilità inter-valutatore tra due valutatori. Calcola con quale frequenza concordano su un’attività, tenendo conto della possibilità che una parte dell’accordo sia dovuta al caso. I punteggi vanno da -1 a 1: 1 indica un accordo perfetto, mentre 0 significa che l’accordo non è migliore di quello ottenibile con risposte casuali.

Allo stesso modo, il Kappa di Fleiss si usa quando sono coinvolti più di due valutatori. Fornisce un punteggio complessivo che indica il livello di coerenza del gruppo. Entrambi i metodi si usano per attività con categorie definite, come l'etichettatura di immagini o l'assegnazione di tag alle emozioni. Sono facili da calcolare.

Percentuale di accordo e coefficiente di correlazione intraclasse (ICC)#

Un altro modo per misurare l’affidabilità inter-valutatore è la percentuale di accordo, che calcola la percentuale di volte in cui i valutatori prendono la stessa decisione. È un metodo semplice da usare, ma non tiene conto dell’accordo che potrebbe verificarsi per caso.

Il coefficiente di correlazione intraclasse è invece un metodo più avanzato, usato per dati continui o basati su scale. Misura la coerenza delle valutazioni di più valutatori e viene spesso applicato nelle ricerche che includono punteggi, misurazioni o altri tipi di dati non limitati a categorie predefinite.

Esempi e applicazioni dell’affidabilità inter-valutatore#

Ora che abbiamo capito meglio come misurare l’affidabilità inter-valutatore, vediamo come applicare questi metodi in contesti reali.

Affidabilità inter-valutatore nell’annotazione di immagini mediche#

Nell’ambito dell’imaging medico, anche piccole differenze di interpretazione possono causare cambiamenti significativi nei risultati. Per esempio, spesso si chiede ai radiologi di identificare schemi sottili, ambigui o difficili da definire. Quando questi schemi diventano dati di addestramento per i sistemi di IA, la posta in gioco è più alta. Se gli esperti etichettano la stessa scansione in modo diverso, il modello potrebbe apprendere schemi errati o non riuscire ad apprenderli affatto.

L’affidabilità inter-valutatore aiuta i team che lavorano con questo tipo di dati a valutare quanto siano coerenti i giudizi degli esperti. Per esempio, in un recente studio incentrato sulle scansioni OCT retiniche, due valutatori hanno etichettato 500 immagini.

L’accordo è stato elevato per caratteristiche evidenti come le drusen (depositi gialli sotto la retina), con un punteggio kappa di 0,87. Per elementi più difficili da definire, come i foci iperriflettenti (piccoli punti luminosi visibili nelle scansioni retiniche), il punteggio è invece sceso a 0,33. Questo dimostra che caratteristiche più chiare e ben definite tendono a produrre giudizi degli esperti più coerenti, mentre quelle ambigue lasciano più spazio all’interpretazione.

Fig. 3. Esempi di etichette per diverse caratteristiche associate alle malattie della retina (Fonte)

Dataset per veicoli autonomi e affidabilità inter-valutatore#

L’addestramento dei modelli di IA per un sistema di guida autonoma dipende da etichette accurate e coerenti in un’ampia varietà di condizioni stradali. In genere, agli annotatori che lavorano a questi progetti viene chiesto di identificare pedoni, veicoli, segnali stradali e linee di corsia, spesso in condizioni di scarsa illuminazione o in scene affollate.

Queste decisioni determinano come il modello impara a reagire in ambienti reali difficili. L’affidabilità inter-valutatore permette ai team di verificare che gli annotatori applichino le etichette in modo uniforme.

Fig. 4. Uno sguardo ai disaccordi nell’annotazione (Fonte)

Oltre l’affidabilità inter-valutatore: altre misure di garanzia della qualità#

Misurare l’affidabilità inter-valutatore è un passaggio fondamentale per realizzare una soluzione di IA, ma fa parte di un processo di garanzia della qualità più ampio. Ecco altre pratiche che possono contribuire a migliorare la qualità dei dati nei team e nei progetti:

• Linee guida di annotazione chiare: le istruzioni devono spiegare esattamente come applicare le etichette, affinché tutti seguano gli stessi criteri.
• Formazione e calibrazione: le sessioni regolari aiutano gli annotatori a restare allineati e offrono loro l’occasione di fare domande e adattarsi ai casi limite.
• Controlli di qualità continui: verifiche a campione ed esempi di riferimento possono individuare gli errori tempestivamente e mantenere alta la qualità man mano che il progetto cresce.
• Risoluzione dei disaccordi: quando gli annotatori non concordano, dovrebbe esserci una procedura chiara per esaminare i casi e prendere decisioni definitive.
• Gruppo eterogeneo di annotatori: coinvolgere persone con esperienze diverse può ridurre i bias e migliorare la rappresentatività del dataset rispetto alla varietà del mondo reale.

Punti chiave#

L’affidabilità inter-valutatore misura quanto le persone applicano le etichette o prendono decisioni in modo coerente. Metodi come il Kappa di Cohen, il Kappa di Fleiss e l’ICC aiutano a quantificare questo accordo. Linee guida chiare, formazione e controllo dei bias consentono di ottenere annotazioni affidabili, dati di qualità superiore e risultati migliori dai modelli.

Unisciti alla nostra community ed esplora il nostro repository GitHub per scoprire di più sull’IA. Se vuoi avviare un tuo progetto di IA visiva, dai un’occhiata alle nostre opzioni di licenza. Puoi anche scoprire come l’IA nel settore sanitario e l’IA visiva nel commercio al dettaglio stanno facendo la differenza visitando le nostre pagine dedicate alle soluzioni.