Bias in AI

Il bias nell’IA, detto anche bias dell’IA, è un errore sistematico in un sistema di intelligenza artificiale (IA) che produce risultati meno accurati o meno equi per alcuni gruppi di persone, spesso in base a caratteristiche come il tono della pelle, il genere, l’età, il dialetto o il reddito. Si distingue dall’errore casuale perché è costante: lo stesso gruppo riceve ripetutamente risultati peggiori. Nell’uso comune, bias dell’IA è sinonimo di bias algoritmico; bias algoritmico è il termine più datato e comprende anche le decisioni automatizzate basate su formule fisse e regole di punteggio, senza alcun apprendimento. Poiché il bias può entrare in ogni fase dello sviluppo di un sistema di machine learning (ML), i quadri di riferimento per l’etica dell’IA lo considerano una proprietà dell’intero ciclo di vita.

Da dove proviene il bias#

Il rapporto del NIST Verso uno standard per identificare e gestire il bias nell’intelligenza artificiale (SP 1270) suddivide il bias dell’IA in tre categorie: bias sistemico, dovuto alle istituzioni e alla storia; bias statistico e computazionale, dovuto ai dati e agli algoritmi; bias umano, dovuto alle persone che sviluppano e usano il sistema. In una tipica pipeline di ML, queste categorie emergono in fasi specifiche:

• Rappresentazione e bias dei dataset: i gruppi poco rappresentati nei dati di addestramento ottengono predizioni peggiori. Un modello di computer vision addestrato soprattutto su foto del Nord America e dell’Europa riconosce con minore affidabilità oggetti e scene di altre regioni.
• Misurazione: una feature o un’etichetta misura un gruppo con minore accuratezza. I pulsossimetri sovrastimano l’ossigeno nel sangue dei pazienti con pelle più scura; uno studio del 2020 pubblicato sul New England Journal of Medicine ha rilevato che i casi di ipossiemia occulta non venivano individuati quasi tre volte più spesso nei pazienti neri rispetto ai pazienti bianchi.
• Annotazione: chi annota trasferisce i propri giudizi nelle etichette da cui il modello apprende. Uno studio del 2019 sul rilevamento dei discorsi d’odio ha rilevato che dataset ampiamente usati etichettavano i tweet in African American English come offensivi molto più spesso; i modelli addestrati su questi dataset segnalavano tali tweet con una frequenza fino al doppio rispetto agli altri.
• Modellazione e valutazione: minimizzare l’errore medio favorisce la maggioranza e un unico punteggio complessivo può nascondere un gruppo su cui il modello fallisce. I modelli possono anche apprendere feature scorciatoia che risultano correlate all’appartenenza a un gruppo.
• Distribuzione: se viene usato su una popolazione o in un contesto mai testati, oppure se i suoi output influenzano i dati da cui apprenderà in seguito, un modello può sviluppare nuovi bias nel tempo.

Esempi nel mondo reale#

• Gender Shades: questa valutazione del 2018 ha rilevato che i classificatori commerciali del genere identificavano erroneamente le donne con la pelle più scura fino al 34.7% delle volte e gli uomini con la pelle più chiara al massimo lo 0.8% delle volte.
• Riconoscimento facciale: una valutazione del NIST del 2019 sugli algoritmi di riconoscimento facciale ha rilevato, per molti di essi, tassi di falsi positivi da 10 a 100 volte superiori per alcuni gruppi demografici.
• Rilevamento dei pedoni: uno studio del 2019 che ha annotato i pedoni in un dataset di guida in base al tono della pelle ha rilevato una minore accuratezza dei modelli di rilevamento degli oggetti sui pedoni con la pelle più scura; la differenza non era spiegata dall’ora del giorno né dall’occlusione.
• IA in dermatologia: i classificatori di lesioni cutanee addestrati soprattutto su immagini di pelle chiara hanno ottenuto risultati peggiori sulla pelle scura quando sono stati testati su un insieme eterogeneo di immagini cliniche; la messa a punto su immagini diversificate ha ridotto la disparità.

Misurazione del bias#

Il bias emerge tramite una valutazione disaggregata: si calcola la stessa metrica separatamente per ogni gruppo, come raccomandato dalle schede dei modelli. Nell’esempio seguente, un sensore fornisce valori superiori di 1.0 unità per il gruppo B, che rappresenta il 5% dei pazienti, riproducendo il problema dei pulsossimetri:

import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split

rng = np.random.default_rng(0)
group_b = rng.random(20000) < 0.05  # 5% of patients belong to group B
oxygen = rng.normal(size=20000)  # true blood oxygen, standardized
y = oxygen < 0  # condition to detect: low oxygen

# The sensor reads 1.0 too high for group B (measurement bias)
reading = (oxygen + 1.0 * group_b).reshape(-1, 1)
x_tr, x_te, y_tr, y_te, _, g_te = train_test_split(reading, y, group_b, random_state=0)

model = LogisticRegression()
model.fit(x_tr, y_tr)
pred = model.predict(x_te)

# Disaggregated evaluation: score each group separately
print(f"overall accuracy: {np.mean(pred == y_te):.3f}")
print(f"group A accuracy: {np.mean(pred[~g_te] == y_te[~g_te]):.3f}")
print(f"group B accuracy: {np.mean(pred[g_te] == y_te[g_te]):.3f}")

Il modello ottiene un punteggio complessivo di 0.967 e un punteggio di 0.981 sul gruppo A, ma solo 0.706 sul gruppo B, i cui casi di ipossiemia vengono nascosti dalle letture sovrastimate. Le metriche di equità a livello di gruppo, come l’uguaglianza dei tassi di falsi negativi tra i gruppi, formalizzano queste verifiche nell’ambito dell’equità nell’IA.

Mitigazione del bias#

La mitigazione inizia dai dati: raccogliere più esempi dei gruppi sottorappresentati, correggere misurazioni ed etichette errate e aggiungere l'aumento dei dati o dati sintetici dove gli esempi reali sono scarsi. Durante l'addestramento si possono assegnare pesi diversi o ricampionare i gruppi rari, oppure aggiungere vincoli di equità; la post-elaborazione può regolare le soglie decisionali. Ultralytics Platform visualizza il numero di annotazioni per ogni classe in un dataset, mentre l'argomento cls_pw per l'addestramento di YOLO26 assegna pesi alla loss di classificazione in base all'inverso della frequenza della classe, elevato a quella potenza, così le classi rare hanno più peso. Il NIST AI Risk Management Framework chiede alle organizzazioni di misurare i bias durante tutto il ciclo di vita di un sistema, mentre l'articolo 10 dell'EU AI Act impone ai fornitori di sistemi di IA ad alto rischio di esaminare i dati di addestramento, convalida e test per individuare possibili bias.

Bias nell'IA e altri significati di bias#

• Compromesso bias-varianza: il bias statistico è l'errore di un modello troppo semplice per cogliere lo schema presente nei dati, che causa underfitting in tutti i gruppi allo stesso modo.
• Parametri di bias: in una rete neurale, il bias di ciascun neurone è un offset apprendibile aggiunto ai suoi ingressi pesati, ovvero il termine di intercetta di un'equazione lineare.