Comprendere l'affidabilità inter-rater, la Kappa di Cohen, l'ICC, il tasso di formazione e la percentuale di accordo. Imparare come queste misure statistiche assicurano la coerenza e l'accordo tra gli osservatori nella ricerca e nell'analisi dei dati.
Quando si costruisce un modello di intelligenza artificiale, la qualità dei dati è importante tanto quanto gli algoritmi che ne sono alla base. Quando più persone etichettano o revisionano gli stessi dati, è inevitabile che si verifichino disaccordi. Questo è vero in molti campi, tra cui la ricerca, la sanità e l'istruzione.
In particolare, nella computer vision, una branca dell'IA che prevede l'addestramento di modelli come Ultralytics YOLO11 per interpretare dati visivi come immagini o video, gli esempi etichettati svolgono un ruolo fondamentale. Se le etichette non sono coerenti, i modelli di computer vision possono faticare ad apprendere i modelli corretti.
L'affidabilità inter-rater (IRR) misura la coerenza con cui individui diversi, o etichettatori, concordano su un compito. Aiuta a monitorare la coerenza e a identificare le lacune nella formazione, nelle linee guida o nell'interpretazione. Questo aspetto è particolarmente importante nella formazione di modelli personalizzati, in cui i modelli di intelligenza artificiale vengono costruiti utilizzando dati specifici per uno scopo particolare.
In questo articolo analizzeremo cos'è l'affidabilità inter-rater, come misurarla e come migliorarla in progetti reali. Iniziamo!
L'affidabilità inter-rater misura la frequenza con cui due o più persone (note anche come valutatori) concordano nell'etichettare, valutare o recensire lo stesso contenuto. Viene utilizzata per verificare la coerenza con cui i diversi valutatori utilizzano determinati criteri. Un'elevata concordanza tra i valutatori significa che un compito è ben definito e chiaramente compreso.
Questo concetto è utilizzato in diversi campi. A seconda del campo, è conosciuto con nomi diversi, come inter-rater agreement, interobserver reliability o inter-coder reliability. Tuttavia, il principio di fondo rimane lo stesso.
Nella Vision AI, l'affidabilità inter-rater è una parte fondamentale del processo di etichettatura dei dati. L'addestramento di modelli di visione computerizzata spesso richiede l'etichettatura di enormi insiemi di immagini o fotogrammi video, per cui più sviluppatori di IA lavorano insieme sugli stessi dati.
Per ottenere risultati accurati, devono seguire le stesse linee guida per l'etichettatura. Per esempio, quando si etichettano gli animali, è necessario un chiaro accordo su cosa si intende per cane, su come disegnare il riquadro di delimitazione intorno ad esso e se etichettare o ignorare gli oggetti sfocati.
Quando le persone sono coinvolte nell'etichettatura o nell'attribuzione di un punteggio ai dati, è necessario considerare tre tipi principali di affidabilità. Ognuno di essi ha una funzione diversa nel misurare la coerenza dei risultati. Ecco un'analisi più approfondita di ciascuno di essi:
Insieme, queste misure aiutano a confermare che sia le persone che i processi stanno producendo risultati costanti e affidabili.
Nei progetti di Vision AI su larga scala, la qualità dei dati etichettati influisce direttamente sulle prestazioni del modello. Anche piccole differenze nel modo in cui gli annotatori applicano le linee guida possono introdurre incongruenze che confondono il modello durante l'addestramento. Nel tempo, questo può portare a previsioni imprecise, spreco di risorse e necessità di una costosa rietichettatura.
La misurazione dell'affidabilità inter-rater aiuta a individuare tempestivamente questi problemi. Un'elevata concordanza significa che gli annotatori sono allineati, producendo set di dati più puliti e affidabili. Una bassa concordanza indica che le istruzioni, gli esempi o la formazione devono essere perfezionati prima che il progetto vada avanti. Assicurandosi che gli etichettatori lavorino in sincronia, i team possono costruire modelli di intelligenza artificiale che apprendono in modo più efficace e producono risultati migliori nelle applicazioni reali.
Ecco alcune considerazioni pratiche fondamentali da tenere a mente quando si lavora con più valutatori e si punta a mantenere un'elevata affidabilità inter-rater:
Esistono diversi modi per misurare l'affidabilità inter-rating e la scelta migliore dipende dal tipo di dati e di compito. Alcuni metodi funzionano bene per singoli valutatori che gestiscono semplici domande con risposta affermativa o negativa, mentre altri sono progettati per situazioni che coinvolgono più valutatori.
Gli approcci più comuni includono l'accordo percentuale, il Kappa di Cohen, il Kappa di Fleiss e il coefficiente di correlazione intraclasse. Ogni metodo misura il livello di accordo tra i valutatori e tiene conto della possibilità che un certo accordo si verifichi per caso.
La Kappa di Cohen è un metodo ampiamente utilizzato per misurare l'affidabilità inter-rater tra due valutatori. Calcola la frequenza dell'accordo su un compito, tenendo conto della possibilità che un certo accordo si verifichi per caso. I punteggi vanno da -1 a 1, con 1 che indica un accordo perfetto e 0 che significa che l'accordo non è migliore di un'ipotesi casuale.
Analogamente, la Kappa di Fleiss viene utilizzata quando sono coinvolti più di due valutatori. Fornisce un punteggio complessivo che mostra la coerenza del gruppo. Entrambi i metodi sono utilizzati per compiti con categorie prestabilite, come l'etichettatura delle immagini o l'etichettatura delle emozioni. Sono facili da calcolare e sono supportati dalla maggior parte degli strumenti di annotazione.
Un altro modo per misurare l'affidabilità inter-rater è la percentuale di accordo, che calcola la percentuale di volte in cui i valutatori prendono la stessa decisione. Pur essendo semplice da usare, non tiene conto dell'accordo che potrebbe verificarsi per caso.
Il coefficiente di correlazione intraclasse è invece un metodo più avanzato utilizzato per i dati continui o basati su scale. Misura la coerenza delle valutazioni tra più valutatori e viene spesso applicato nelle ricerche che coinvolgono punteggi, misurazioni o altri tipi di dati al di là delle categorie fisse.
Ora che abbiamo una migliore comprensione di come misurare l'affidabilità inter-rater, vediamo come questi metodi possono essere utilizzati nelle applicazioni reali.
Quando si tratta di imaging medico, anche piccole differenze di interpretazione possono portare a cambiamenti significativi nei risultati. Ad esempio, ai radiologi viene spesso chiesto di identificare modelli sottili, ambigui o difficili da definire. Quando questi pattern diventano dati di addestramento per i sistemi di intelligenza artificiale, la posta in gioco è più alta. Se gli esperti etichettano la stessa scansione in modo diverso, il modello potrebbe imparare i pattern sbagliati o non riuscire ad apprendere del tutto.
L'affidabilità inter-rater aiuta i team che si occupano di questi dati a valutare la reale coerenza dei giudizi degli esperti. Ad esempio, in un recente studio incentrato sulle scansioni OCT della retina, due valutatori hanno etichettato 500 immagini.
L'accordo era elevato per le caratteristiche chiare come le drusen (depositi gialli sotto la retina), con un punteggio kappa di 0,87. Ma per gli elementi più difficili da definire, come i foci iper-riflettenti (piccole macchie luminose osservate nelle scansioni retiniche), il punteggio è sceso a 0,33. Ciò dimostra che le caratteristiche più chiare e definite tendono a produrre giudizi più coerenti da parte degli esperti, mentre quelle ambigue lasciano più spazio all'interpretazione.
L'addestramento di modelli di intelligenza artificiale per un sistema di guida autonoma dipende da etichette accurate e coerenti in un'ampia gamma di condizioni stradali. Agli annotatori che lavorano a progetti di questo tipo viene chiesto di identificare pedoni, veicoli, segnali stradali e segnaletica di corsia, spesso in condizioni di scarsa illuminazione o in scene affollate.
Queste decisioni determinano il modo in cui il modello impara a rispondere in ambienti difficili del mondo reale. L'affidabilità inter-rater consente ai team di verificare se le etichette vengono applicate allo stesso modo da tutti gli annotatori.
La misurazione dell'affidabilità inter-rater è un passo fondamentale nella costruzione di una soluzione di IA, ma fa parte di un processo più ampio di garanzia della qualità. Ecco alcune altre pratiche che possono aiutare a migliorare la qualità dei dati nei team e nei progetti:
L'affidabilità inter-rater misura la coerenza con cui le persone applicano le etichette o prendono le decisioni. Metodi come il Kappa di Cohen, il Kappa di Fleiss e l'ICC aiutano a quantificare questo accordo. Con linee guida chiare, formazione e controllo degli errori, le annotazioni affidabili portano a dati più solidi e a migliori risultati del modello.
Unitevi alla nostra comunità ed esplorate il nostro repository GitHub per scoprire di più sull'IA. Se volete avviare un vostro progetto di Vision AI, date un'occhiata alle nostre opzioni di licenza. Potete anche vedere come l 'IA nel settore sanitario e l'IA di visione nella vendita al dettaglio stanno avendo un impatto visitando le nostre pagine dedicate alle soluzioni.
