Fairness in AI

L'equità nell'AI richiede che le decisioni e gli errori di un modello non svantaggino sistematicamente le persone in base ad attributi sensibili come etnia, sesso, età o disabilità, e comprende le metriche e i metodi usati per misurare e garantire questo requisito. Il bias nell'AI identifica il problema: uno squilibrio sistematico che può derivare da dati di training non rappresentativi (bias del dataset) o da scelte di modellazione e distribuzione (bias algoritmico). L'equità è il criterio con cui si valuta un sistema, uno dei principi fondamentali dell'etica dell'AI, insieme a trasparenza e responsabilità; le sue diverse definizioni formali non possono essere tutte soddisfatte contemporaneamente.

Misurare l'equità#

Le metriche di equità di gruppo confrontano il comportamento di un modello tra gruppi definiti da un attributo sensibile:

• Parità demografica: Ogni gruppo riceve decisioni positive, come l'approvazione di prestiti o gli inviti a colloqui, con la stessa frequenza.
• Parità di opportunità e parità di errori: Ogni gruppo ha lo stesso tasso di veri positivi e lo stesso tasso di falsi positivi. Moritz Hardt, Eric Price e Nathan Srebro l'hanno definita nel 2016 insieme alla più debole parità di opportunità, che uniforma solo il tasso di veri positivi.
• Calibrazione all'interno dei gruppi: Un punteggio previsto di 0.7 corrisponde allo stesso esito del 70% in ogni gruppo.
• Equità individuale: Individui simili ricevono previsioni simili; Cynthia Dwork e i suoi colleghi ne hanno formalizzato la definizione nel 2012.

Il frammento seguente valuta un modello perfettamente accurato su due gruppi con tassi di base diversi:

import numpy as np

# Outcomes and a sensitive attribute for 10 applicants; group A has a higher base rate
y_true = np.array([1, 1, 1, 1, 0, 1, 1, 0, 0, 0])
group = np.array(["A"] * 5 + ["B"] * 5)

# A perfectly accurate model predicts every outcome correctly
y_pred = y_true.copy()

for g in ("A", "B"):
    in_group = group == g
    selection_rate = y_pred[in_group].mean()
    tpr = y_pred[in_group & (y_true == 1)].mean()  # true positive rate
    fpr = y_pred[in_group & (y_true == 0)].mean()  # false positive rate
    print(f"group {g}: selection rate {selection_rate:.0%}, TPR {tpr:.0%}, FPR {fpr:.0%}")

Il modello rispetta la parità di opportunità e di errori, con un tasso di veri positivi del 100% e un tasso di falsi positivi dello 0% in entrambi i gruppi, ma viola comunque la parità demografica, approvando l'80% del gruppo A e il 40% del gruppo B. Imporre tassi di selezione uguali richiederebbe decisioni errate in almeno uno dei due gruppi.

Perché le definizioni di equità sono in conflitto#

Nel 2016 Jon Kleinberg, Sendhil Mullainathan e Manish Raghavan e, nel 2017, Alexandra Chouldechova hanno dimostrato che, quando i tassi di base differiscono tra i gruppi, un classificatore non può essere calibrato all'interno di ogni gruppo e avere allo stesso tempo tassi uguali di falsi positivi e falsi negativi, tranne in casi degeneri come una previsione perfetta. Lo strumento COMPAS per prevedere la recidiva mostra il conflitto nella pratica. Nel 2016 ProPublica ha riferito che gli imputati neri che non avevano commesso altri reati avevano quasi il doppio delle probabilità, rispetto agli imputati bianchi, di essere classificati ad alto rischio; lo sviluppatore dello strumento ha invece dimostrato che i punteggi erano calibrati allo stesso modo per entrambi i gruppi. Entrambe le analisi erano corrette, quindi la scelta della metrica di equità per una determinata applicazione è una decisione tanto politica quanto tecnica.

Equità nella computer vision#

Lo studio Gender Shades di Joy Buolamwini e Timnit Gebru (2018) ha valutato tre classificatori commerciali di genere e ha rilevato tassi di errore fino al 34.7% per le donne con la pelle più scura, contro un massimo dello 0.8% per gli uomini con la pelle più chiara. Divari simili si riscontrano ogni volta che alcuni gruppi sono sottorappresentati nelle immagini di training, dal riconoscimento facciale ai modelli di analisi di immagini mediche per le patologie cutanee addestrati su dataset dermatologici composti prevalentemente da persone con la pelle più chiara. Una valutazione di computer vision riporta quindi precisione e recall separatamente per ogni sottogruppo rilevante e le registra in una scheda del modello, perché un singolo dato complessivo di accuratezza può nascondere un sottogruppo su cui il modello fallisce.

Strategie di mitigazione#

Gli interventi si raggruppano in base alla fase della pipeline di apprendimento automatico che modificano. I metodi di pre-elaborazione raccolgono dati rappresentativi, colmano le lacune con aumento dei dati mirato o dati sintetici e ripesano gli esempi, aumentando il contributo dei gruppi sottorappresentati. Ultralytics YOLO offre lo stesso ripesamento per le classi: impostare l'argomento di addestramento cls_pw a un valore superiore al valore predefinito 0 pesa la loss di ogni classe in base alla frequenza inversa elevata a quella potenza, così una classe rara ha un peso maggiore nell'addestramento.

I metodi in-processing aggiungono vincoli o penalità di equità alla funzione di perdita oppure usano l'ottimizzazione robusta rispetto alla distribuzione per ridurre al minimo la perdita del gruppo con le prestazioni peggiori. I metodi post-processing modificano le soglie decisionali per ciascun gruppo dopo il training: è l'approccio proposto da Hardt e dai suoi colleghi per ottenere la parità di opportunità e di errori.

Toolkit open source come Fairlearn e AI Fairness 360 di IBM implementano queste metriche e misure correttive. La normativa richiede sempre più spesso queste misurazioni: l'AI Act dell'UE impone ai fornitori di sistemi ad alto rischio di esaminare i dati di training per individuare possibili bias, mentre la legge locale 144 di New York City richiede audit annuali indipendenti dei bias negli strumenti automatizzati per le assunzioni dal luglio 2023.