Distorsione del set di dati

La distorsione del set di dati si verifica quando i dati utilizzati per l'addestramento del modello non rappresentano accuratamente l'ambiente reale in cui il modello verrà impiegato. Questo squilibrio o rappresentazione distorta è un problema critico nell'apprendimento automatico (ML) perché i modelli imparano i modelli e i difetti presenti nei dati di addestramento. Se i dati sono distorti, il sistema di intelligenza artificiale risultante erediterà e spesso amplificherà tale distorsione, portando a risultati imprecisi, inaffidabili e ingiusti. Affrontare le distorsioni dei dati è una pietra miliare dello sviluppo di un'IA responsabile e del rispetto dell'etica dell'IA.

Fonti comuni di distorsione dei dati

I bias possono essere introdotti in varie fasi della pipeline dei dati, dalla raccolta all'elaborazione. Alcuni tipi comuni includono:

• Bias di selezione: si verifica quando i dati non vengono campionati in modo casuale dalla popolazione target. Ad esempio, la raccolta di dati per un modello di retail analytics solo da quartieri ad alto reddito creerebbe un bias di selezione, portando a un modello che non comprende il comportamento di altri gruppi di clienti.
• Bias di rappresentazione: si verifica quando alcuni sottogruppi sono sottorappresentati o sovrarappresentati nel set di dati. Un set di dati di riferimento per il monitoraggio del traffico con immagini prevalentemente diurne farà sì che un modello abbia prestazioni scarse nel rilevamento dei veicoli di notte.
• Bias di misurazione: deriva da errori sistematici durante la raccolta dei dati o dagli stessi strumenti di misurazione. Ad esempio, l'uso di telecamere ad alta risoluzione per una demografia e di telecamere a bassa risoluzione per un'altra introduce un bias di misurazione in un set di dati di computer vision.
• Bias di annotazione: deriva dai giudizi soggettivi degli annotatori umani durante il processo di etichettatura dei dati. Le nozioni preconcette possono influenzare il modo in cui vengono applicate le etichette, soprattutto nei compiti che richiedono un'interpretazione soggettiva, che può influire sull'apprendimento del modello.

Esempi del mondo reale

1. Sistemi di riconoscimento facciale: I primi sistemi commerciali di riconoscimento facciale erano notoriamente meno accurati per le donne e le persone di colore. Ricerche, come il progetto Gender Shades, hanno rivelato che ciò era in gran parte dovuto al fatto che i dataset di addestramento erano composti per la maggior parte da immagini di uomini bianchi. I modelli addestrati su questi dati distorti non riuscivano a generalizzarsi tra i diversi gruppi demografici.
2. Diagnosi medica: Un modello di intelligenza artificiale progettato per l'analisi di immagini mediche, come il rilevamento di tumori nelle radiografie, potrebbe essere addestrato sui dati di un singolo ospedale. Questo modello potrebbe apprendere caratteristiche specifiche delle apparecchiature di imaging di quell'ospedale. Quando viene utilizzato in un altro ospedale con macchine diverse, le sue prestazioni potrebbero diminuire significativamente a causa della deriva dei dati. Ciò evidenzia la necessità di fonti di dati diverse per l'IA nel settore sanitario.

Bias del dataset vs. bias algoritmico

È importante distinguere tra bias del set di dati e bias dell'algoritmo.

• Il Dataset Bias ha origine dai dati stessi. I dati sono viziati prima ancora che il modello li veda, il che li rende un problema fondamentale.
• L'Algorithmic Bias può derivare dall'architettura o dal processo di ottimizzazione di un modello, che può favorire sistematicamente alcuni risultati rispetto ad altri, anche in presenza di dati perfettamente bilanciati.

Tuttavia, le due cose sono profondamente collegate. La distorsione dei dati è una delle cause più comuni di distorsione algoritmica. Un modello addestrato su dati distorti farà quasi certamente previsioni distorte, creando un algoritmo distorto. Pertanto, per garantire l'equità nell'IA è necessario iniziare ad affrontare i pregiudizi nei dati.

Strategie di mitigazione

La mitigazione delle distorsioni dei set di dati è un processo continuo che richiede un'attenta pianificazione ed esecuzione durante tutto il ciclo di vita delle operazioni di apprendimento automatico (MLOps).

• Raccolta ponderata dei dati: Cercare di ottenere fonti di dati diverse e rappresentative che riflettano il mondo reale. È essenziale seguire una guida strutturata per la raccolta e l'annotazione dei dati. La documentazione dei set di dati utilizzando framework come i fogli di dati per i set di dati promuove la trasparenza.
• Aumento e sintesi dei dati: Utilizzare tecniche come il sovracampionamento di gruppi sottorappresentati, l'applicazione di un aumento mirato dei dati o la generazione di dati sintetici per bilanciare il set di dati. I modelli Ultralytics supportano in modo nativo una serie di potenti metodi di incremento.
• Strumenti di verifica dei pregiudizi: Utilizzare strumenti come What-If Tool di Google e librerie open-source come Fairlearn per ispezionare i set di dati e i modelli alla ricerca di potenziali distorsioni.
• Valutazione rigorosa del modello: Oltre alle metriche di accuratezza generale, valutare le prestazioni del modello per diversi sottogruppi demografici o ambientali. È buona norma documentare i risultati utilizzando metodi come le schede modello per mantenere la trasparenza.
• Sfruttare le piattaforme moderne: Piattaforme come Ultralytics HUB offrono strumenti integrati per la gestione dei set di dati, la visualizzazione e la formazione di modelli come Ultralytics YOLO11. Questo aiuta gli sviluppatori a costruire sistemi più equi, semplificando il processo di creazione e valutazione dei modelli su dati diversi.

Affrontando in modo proattivo le distorsioni dei set di dati, gli sviluppatori possono costruire sistemi di IA più robusti, affidabili ed etici, un argomento frequentemente discusso in occasione di importanti conferenze come la ACM Conference on Fairness, Accountability, and Transparency (FAccT).