Affidabilità inter-rater: Definizione, esempi, calcoli

Quando costruisci un modello AI, la qualità dei tuoi dati è importante quanto gli algoritmi che li supportano. Ogni volta che più persone etichettano o revisionano gli stessi dati, i disaccordi sono inevitabili. Questo vale in molti campi, tra cui ricerca, sanità e istruzione.

In particolare, nella computer vision, un ramo dell'intelligenza artificiale che prevede l'addestramento di modelli come Ultralytics YOLO11 per interpretare dati visivi come immagini o video, gli esempi etichettati giocano un ruolo fondamentale. Se queste etichette sono incoerenti, i modelli di computer vision possono avere difficoltà ad apprendere i pattern corretti.

L'affidabilità inter-giudice (IRR) misura quanto diverse persone, o etichettatori, concordano in modo coerente su un compito. Aiuta a monitorare la coerenza e a identificare lacune nella formazione, nelle linee guida o nell'interpretazione. Questo è particolarmente importante nell'addestramento di modelli personalizzati, dove i modelli AI vengono costruiti utilizzando dati specifici per uno scopo particolare.

In questo articolo, esploreremo cosa sia l'affidabilità inter-giudice, come misurarla e come migliorarla nei progetti del mondo reale. Iniziamo!

Cos'è l'affidabilità inter-giudice?#

L'affidabilità inter-giudice misura quanto spesso due o più persone (chiamate anche giudici) concordano quando etichettano, valutano o revisionano lo stesso contenuto. Viene utilizzata per verificare quanto coerentemente diversi giudici utilizzano criteri prestabiliti. Un alto livello di accordo tra i giudici significa che un compito è ben definito e chiaramente compreso.

Questo concetto è utilizzato in diversi campi. A seconda del settore, è conosciuto con nomi diversi, come accordo inter-giudice, affidabilità inter-osservatore o affidabilità inter-codificatore. Tuttavia, il principio di base rimane lo stesso.

Nella visione artificiale, l'accordo inter-osservatore è una parte fondamentale del processo di etichettatura dei dati. L'addestramento di modelli di computer vision richiede spesso l'etichettatura di enormi dataset di immagini o fotogrammi video, per cui più sviluppatori di IA lavorano insieme sugli stessi dati.

Per ottenere risultati accurati, devono seguire le stesse linee guida di etichettatura. Ad esempio, quando si etichettano animali, tutti devono avere un accordo chiaro su cosa conti come cane, come disegnare la BBox attorno ad esso e se etichettare o ignorare gli oggetti sfocati.

Fig 1. Comprendere l'affidabilità inter-giudice (Immagine dell'autore)

Affidabilità inter-giudice vs. intra-giudice e affidabilità test-retest#

Quando le persone sono coinvolte nell'etichettatura o nel punteggio dei dati, ci sono tre tipi principali di affidabilità da considerare. Ognuno serve a uno scopo diverso nel misurare quanto siano coerenti i risultati. Ecco uno sguardo più approfondito a ciascuno:

• Affidabilità inter-giudice: L'affidabilità inter-giudice esamina quanto accordo vi sia tra diverse persone che svolgono lo stesso compito. Questo è particolarmente utile quando più annotatori sono coinvolti in progetti come l'etichettatura di immagini, l'analisi del sentiment o le revisioni mediche.

• Affidabilità intra-giudice: Sposta l'attenzione su una singola persona. L'affidabilità intra-giudice verifica se il giudice rimane coerente quando ripete lo stesso compito in momenti diversi. Se le etichette cambiano troppo, potrebbe essere il risultato di linee guida poco chiare o di una mancanza di chiarezza nel compito.

• Affidabilità test-retest: L'affidabilità test-retest non si concentra sull'annotatore ma sullo strumento o sul metodo utilizzato. Misura se lo stesso risultato appare quando il test viene ripetuto in condizioni simili. Se l'output rimane coerente, il metodo è considerato affidabile.

Insieme, queste misure aiutano a confermare che sia le persone che i processi stiano producendo risultati stabili e affidabili.

Fig 2. Una panoramica dell'affidabilità inter-giudice, intra-giudice e test-retest (Immagine dell'autore)

Perché l'affidabilità inter-giudice è importante?#

Nei progetti di vision AI su larga scala, la qualità dei dati etichettati influisce direttamente sulle prestazioni del modello. Anche piccole differenze nel modo in cui gli annotatori applicano le linee guida possono introdurre incoerenze che confondono il modello durante l'addestramento. Nel tempo, ciò può portare a previsioni imprecise, risorse sprecate e la necessità di costose ri-etichettature.

Misurare l'accordo inter-osservatore aiuta a individuare tempestivamente questi problemi. Un livello di accordo elevato indica che i valutatori sono allineati, producendo dataset più puliti e affidabili. Un accordo basso segnala che le istruzioni, gli esempi o la formazione potrebbero dover essere perfezionati prima che il progetto proceda. Garantendo che i valutatori lavorino in sincronia, i team possono costruire modelli di IA che apprendono in modo più efficace e offrono risultati migliori nelle applicazioni del mondo reale.

Considerazioni pratiche per l'affidabilità inter-giudice#

Ecco alcune considerazioni pratiche fondamentali da tenere a mente mentre lavori con più giudici e punti a mantenere un'elevata affidabilità inter-giudice:

• Compiti ambigui o soggettivi: Quando l'etichettatura comporta un'interpretazione, come decidere se un oggetto sfocato sia un pedone o giudicare la qualità di un'immagine, più giudici aiutano a garantire che le decisioni siano coerenti e non eccessivamente influenzate da pregiudizi individuali.
• Compiti semplici e oggettivi: Attività lineari come contare il numero di automobili in un'immagine o confermare se un oggetto è presente richiedono spesso un solo valutatore ben preparato, poiché l'accordo è tipicamente elevato una volta che il processo è chiaramente definito.
• Linee guida di etichettatura chiare: Istruzioni dettagliate e facili da seguire riducono l'incertezza su come vengono applicate le etichette, il che migliora l'accordo tra i giudici. Le linee guida dovrebbero coprire esplicitamente i casi limite per prevenire interpretazioni incoerenti.
• Formazione e calibrazione periodiche: Anche i giudici esperti possono variare nei loro giudizi nel tempo. Sessioni di formazione regolari e controlli di calibrazione aiutano a mantenere la coerenza e a ridurre al minimo i pregiudizi dello sperimentatore.

Misure dell'affidabilità inter-giudice#

Esistono diversi modi per misurare l'affidabilità inter-giudice e la scelta migliore dipende dal tipo di dati e dal compito. Alcuni metodi funzionano bene per singoli giudici che gestiscono semplici domande sì-o-no, mentre altri sono progettati per situazioni che coinvolgono più giudici.

Gli approcci comuni includono la percentuale di accordo, la Kappa di Cohen, la Kappa di Fleiss e il coefficiente di correlazione intraclasse. Ogni metodo misura il livello di accordo tra i giudici e tiene conto della possibilità che un certo accordo possa verificarsi per caso.

Kappa di Cohen e Kappa di Fleiss#

La Kappa di Cohen è un metodo ampiamente utilizzato per misurare l'affidabilità inter-giudice tra due giudici. Calcola quanto spesso concordano su un compito, correggendo per la possibilità che un certo accordo possa verificarsi per caso. I punteggi vanno da -1 a 1, con 1 che indica un accordo perfetto e 0 che significa che l'accordo non è migliore di un'ipotesi casuale.

Allo stesso modo, la K di Fleiss viene utilizzata quando sono coinvolti più di due valutatori. Fornisce un punteggio complessivo che mostra quanto sia coerente il gruppo. Entrambi i metodi sono usati per compiti con categorie predefinite, come l'etichettatura delle immagini o la catalogazione delle emozioni. Sono facili da calcolare e supportati dalla maggior parte degli strumenti di annotazione.

Percentuale di accordo e coefficiente di correlazione intraclasse (ICC)#

Un altro modo per misurare l'affidabilità inter-giudice è la percentuale di accordo, che calcola la percentuale di volte in cui i giudici prendono la stessa decisione. Sebbene sia semplice da usare, non tiene conto dell'accordo che potrebbe verificarsi per caso.

Nel frattempo, il coefficiente di correlazione intraclasse è un metodo più avanzato utilizzato per dati continui o basati su scale. Misura quanto siano coerenti le valutazioni tra più giudici e viene spesso applicato nella ricerca che coinvolge punteggi, misurazioni o altri tipi di dati oltre le categorie fisse.

Esempi e applicazioni dell'affidabilità inter-giudice#

Ora che abbiamo una comprensione migliore di come misurare l'affidabilità inter-giudice, vediamo come questi metodi possano essere utilizzati nelle applicazioni del mondo reale.

Affidabilità inter-giudice nell'annotazione di immagini mediche#

Quando si parla di imaging medico, anche differenze minime nell'interpretazione possono portare a cambiamenti significativi nei risultati. Ad esempio, ai radiologi viene spesso chiesto di identificare pattern sottili, ambigui o difficili da definire. Quando questi pattern diventano dati di addestramento per i sistemi di IA, la posta in gioco è più alta. Se gli esperti etichettano la stessa scansione in modo diverso, il modello potrebbe apprendere i pattern sbagliati o non apprendere affatto.

L'accordo inter-osservatore aiuta i team che gestiscono tali dati a valutare quanto siano realmente coerenti i giudizi degli esperti. Ad esempio, in un recente studio incentrato su scansioni OCT della retina, due valutatori hanno etichettato 500 immagini.

L'accordo è stato alto per caratteristiche chiare come le drusen (depositi gialli sotto la retina), con un punteggio kappa di 0,87. Ma per elementi più difficili da definire come i foci iperriflettenti (piccole macchie luminose viste nelle scansioni retiniche), il punteggio è sceso a 0,33. Questo dimostra che caratteristiche più chiare e ben definite tendono a produrre giudizi degli esperti più coerenti, mentre quelle ambigue lasciano più spazio all'interpretazione.

Fig 3. Esempi di etichette per diverse caratteristiche relative alle malattie retiniche (Fonte)

Dataset per veicoli autonomi e affidabilità inter-giudice#

L'addestramento di modelli di IA per un sistema di guida autonoma dipende da etichette accurate e coerenti in un'ampia gamma di condizioni stradali. Ai valutatori che lavorano su tali progetti viene solitamente chiesto di identificare pedoni, veicoli, segnali stradali e segnaletica orizzontale, spesso in condizioni di scarsa illuminazione o in scene affollate.

Queste decisioni determinano come il modello impara a rispondere in ambienti reali difficili. L'affidabilità inter-giudice rende possibile per i team verificare se tali etichette vengano applicate allo stesso modo tra gli annotatori.

Fig 4. Uno sguardo ai disaccordi sulle annotazioni (Fonte)

Oltre l'affidabilità inter-giudice: Altre misure di controllo qualità#

Sebbene la misurazione dell'accordo inter-osservatore sia un passaggio cruciale nella creazione di una soluzione di IA, fa parte di un processo di quality assurance più ampio. Ecco alcune altre pratiche che possono aiutare a migliorare la qualità dei dati tra team e progetti:

• Linee guida di annotazione chiare: Le istruzioni dovrebbero spiegare esattamente come applicare le etichette in modo che tutti lavorino seguendo lo stesso standard.
• Formazione e calibrazione: Sessioni regolari aiutano gli annotatori a rimanere allineati e offrono loro spazio per porre domande e adattarsi ai casi limite.
• Controlli di qualità continui: I controlli a campione e gli esempi di riferimento (gold standard) possono individuare precocemente gli errori e mantenere alta la qualità man mano che il progetto si scala.
• Risoluzione dei disaccordi: Quando gli annotatori non sono d'accordo, dovrebbe esserci un processo chiaro per revisionare tali casi e prendere le decisioni finali.
• Pool diversificato di annotatori: Coinvolgere persone con background diversi può ridurre i pregiudizi e migliorare quanto bene il dataset rappresenti la variazione nel mondo reale.

Punti chiave#

L'affidabilità inter-giudice misura quanto coerentemente le persone applicano etichette o prendono decisioni. Metodi come la Kappa di Cohen, la Kappa di Fleiss e l'ICC aiutano a quantificare tale accordo. Con linee guida chiare, formazione e controllo dei pregiudizi, annotazioni affidabili portano a dati più solidi e a migliori risultati del modello.

Unisciti alla nostra community ed esplora il nostro repository GitHub per scoprire di più sull'IA. Se vuoi avviare il tuo progetto di visione artificiale, dai un'occhiata alle nostre opzioni di licenza. Puoi anche scoprire come l'IA nella sanità e la visione artificiale nel settore retail stanno avendo un impatto visitando le pagine delle nostre soluzioni.