Algorithmic Bias

Il bias algoritmico è un errore sistematico e ripetibile in un sistema informatico che produce esiti ingiusti, per esempio favorendo un gruppo di persone rispetto a un altro nelle assunzioni, nei prestiti, nelle attività di polizia o nell'assistenza sanitaria. Il termine comprende qualsiasi procedura decisionale automatizzata, da una formula di valutazione del merito creditizio scritta a mano a una rete neurale profonda; poiché una regola errata viene applicata a ogni caso, lo stesso errore si ripete in migliaia o milioni di decisioni. Nelle discussioni sull'apprendimento automatico (ML), bias algoritmico e bias nell'IA sono sinonimi. Bias algoritmico è il termine più antico e ampio e di solito si riferisce alle decisioni che un sistema distribuito prende sulle persone.

Tre origini del bias algoritmico#

Nel loro articolo del 1996 «Bias nei sistemi informatici», Batya Friedman e Helen Nissenbaum hanno suddiviso il bias in tre tipi in base alla sua origine, secondo un quadro ancora oggi utilizzato:

• Bias preesistente: il sistema assorbe pregiudizi già presenti nella società o nei dati storici.
• Bias tecnico: una scelta progettuale, come la variabile usata come indicatore della quantità di interesse, genera l'ingiustizia.
• Bias emergente: il bias emerge dopo la distribuzione, quando cambiano la popolazione, il contesto o l'influenza del sistema sui dati futuri.

Amazon ha abbandonato un modello sperimentale per il reclutamento dopo che il modello aveva imparato a penalizzare i curriculum contenenti la parola «donne»: un caso di bias preesistente, perché era stato addestrato su dieci anni di curriculum inviati perlopiù da uomini. Un algoritmo molto diffuso nel settore sanitario statunitense mostra un bias tecnico. Prediceva i costi medici futuri dei pazienti come indicatore delle loro esigenze sanitarie e, poiché per i pazienti neri con lo stesso livello di malattia si era speso meno, li segnalava meno spesso per cure aggiuntive; uno studio del 2019 pubblicato su Science ha rilevato che correggere il bias avrebbe aumentato dal 17,7% al 46,5% la quota di pazienti neri segnalati per ricevere maggiore assistenza. La polizia predittiva è l'esempio classico di bias emergente, dovuto a un ciclo di retroazione:

Nel 2018 i ricercatori hanno dimostrato che questo ciclo può autoalimentarsi: le pattuglie rilevano più incidenti nei luoghi in cui vengono inviate, i nuovi dati confermano la classificazione e il modello rimanda le pattuglie negli stessi quartieri, anche quando i tassi di criminalità altrove sono uguali.

Perché le decisioni eque comportano compromessi#

Nel 2016 ProPublica ha analizzato COMPAS, un punteggio di rischio usato nei tribunali statunitensi, e ha rilevato che gli imputati neri che non commettevano nuovi reati avevano quasi il doppio delle probabilità rispetto agli imputati bianchi di essere classificati a rischio più elevato (45% contro 23%). Il fornitore ha risposto che il punteggio era calibrato allo stesso modo per entrambi i gruppi, cioè che a un dato punteggio corrispondeva lo stesso tasso di recidiva indipendentemente dalla razza. Entrambe le affermazioni erano vere. I ricercatori, tra cui Kleinberg, Mullainathan e Raghavan, hanno quindi dimostrato che, quando due gruppi hanno tassi di base diversi, un punteggio imperfetto non può essere calibrato per entrambi e al tempo stesso assegnare loro tassi uguali di falsi positivi e falsi negativi. La simulazione seguente mostra il conflitto con punteggi perfettamente calibrati e un'unica soglia condivisa:

import numpy as np

rng = np.random.default_rng(0)

# True risk per person; group B has a higher base rate than group A
risks = {"A": rng.beta(2, 5, 100_000), "B": rng.beta(3, 4, 100_000)}

for name, risk in risks.items():
    # Outcomes follow the risk exactly, so the score is perfectly calibrated in both groups
    outcome = rng.random(risk.size) < risk
    flagged = risk > 0.5  # one shared decision threshold

    # False positive rate: share of people without the outcome who were flagged anyway
    fpr = flagged[~outcome].mean()
    print(f"group {name}: base rate {outcome.mean():.2f}, false positive rate {fpr:.2f}")

Il gruppo A ha un tasso di base di 0,29 e un tasso di falsi positivi di 0,06, mentre il gruppo B ha un tasso di base di 0,43 e un tasso di falsi positivi di 0,23: lo stesso punteggio calibrato e la stessa soglia segnalano le persone del gruppo B che non presentano mai l'esito quasi quattro volte più spesso. Ogni sistema che trasforma i punteggi in decisioni deve affrontare questa scelta. Ultralytics YOLO26 applica la stessa soglia di confidenza (conf, 0,25 per impostazione predefinita durante la predizione) a ogni rilevamento, quindi qualsiasi gruppo i cui rilevamenti ottengono punteggi più bassi, come i pedoni rari nei dati di addestramento, perde più rilevamenti con la stessa impostazione.

Bias algoritmico e termini correlati#

• Bias del dataset: difetti nei dati stessi, come un campionamento non rappresentativo. Il bias del dataset è una delle cause del bias algoritmico, insieme alle scelte progettuali e agli effetti della distribuzione.
• Equità nell'IA: settore che definisce criteri di equità, come la parità demografica o tassi di errore uguali, e i metodi per soddisfarli.
• Deriva dei dati: cambiamento dei dati di input dopo la distribuzione, che può causare bias emergente in un modello risultato equo nei test iniziali.

Verifica e riduzione del bias algoritmico#

Gli audit confrontano risultati e tassi di errore tra gruppi usando toolkit open source come Fairlearn e AI Fairness 360 di IBM. Gli interventi correttivi si applicano in tre fasi: preelaborazione che ripesa o ricampiona i dati di addestramento; elaborazione durante l'addestramento, che aggiunge vincoli di equità all'obiettivo di addestramento; ed elaborazione successiva, che modifica le soglie decisionali per ciascun gruppo. Il monitoraggio continuo del modello rileva i bias emergenti che gli audit precedenti al lancio non individuano. Le normative richiedono sempre più spesso questi audit: la legge locale 144 di New York City, in vigore dal 5 luglio 2023, vieta ai datori di lavoro di usare strumenti automatizzati per le assunzioni, a meno che un auditor indipendente non ne abbia verificato l'assenza di bias nell'ultimo anno e il datore di lavoro non abbia pubblicato una sintesi con rapporti d'impatto che confrontino i tassi di selezione per sesso e per razza o etnia.