Fairness in AI

A justiça em IA é a exigência de que as decisões e os erros de um modelo não prejudiquem sistematicamente as pessoas por causa de atributos sensíveis, como raça, sexo, idade ou deficiência, juntamente com as métricas e os métodos usados para medir e garantir essa exigência. O viés em IA dá nome ao problema: uma distorção sistemática que pode surgir de dados de treinamento não representativos (viés do conjunto de dados) ou de escolhas de modelagem e implantação (viés algorítmico). A justiça é o critério usado para avaliar um sistema, um dos princípios fundamentais da ética em IA, junto da transparência e da responsabilização. Há várias definições formais de justiça, que não podem ser satisfeitas todas ao mesmo tempo.

Medição da justiça#

As métricas de justiça entre grupos comparam o comportamento de um modelo entre grupos definidos por um atributo sensível:

• Paridade demográfica: Cada grupo recebe decisões positivas, como aprovações de empréstimos ou convites para entrevistas, na mesma proporção.
• Odds equalizadas: Cada grupo tem a mesma taxa de verdadeiros positivos e a mesma taxa de falsos positivos. Moritz Hardt, Eric Price e Nathan Srebro definiram esse critério em 2016, junto da oportunidade igual, uma condição mais fraca que iguala apenas a taxa de verdadeiros positivos.
• Calibração dentro dos grupos: Uma pontuação prevista de 0.7 corresponde à mesma taxa de resultados de 70% em todos os grupos.
• Justiça individual: Indivíduos semelhantes recebem previsões semelhantes; Cynthia Dwork e colegas formalizaram essa definição em 2012.

O trecho abaixo avalia um modelo perfeitamente preciso em dois grupos com taxas de base diferentes:

import numpy as np

# Outcomes and a sensitive attribute for 10 applicants; group A has a higher base rate
y_true = np.array([1, 1, 1, 1, 0, 1, 1, 0, 0, 0])
group = np.array(["A"] * 5 + ["B"] * 5)

# A perfectly accurate model predicts every outcome correctly
y_pred = y_true.copy()

for g in ("A", "B"):
    in_group = group == g
    selection_rate = y_pred[in_group].mean()
    tpr = y_pred[in_group & (y_true == 1)].mean()  # true positive rate
    fpr = y_pred[in_group & (y_true == 0)].mean()  # false positive rate
    print(f"group {g}: selection rate {selection_rate:.0%}, TPR {tpr:.0%}, FPR {fpr:.0%}")

O modelo satisfaz as odds equalizadas, com uma taxa de verdadeiros positivos de 100% e uma taxa de falsos positivos de 0% em ambos os grupos, mas ainda viola a paridade demográfica: aprova 80% do grupo A e 40% do grupo B. Forçar taxas iguais de seleção exigiria decisões incorretas em pelo menos um dos grupos.

Por que as definições de justiça entram em conflito#

Em 2016, Jon Kleinberg, Sendhil Mullainathan e Manish Raghavan, e, em 2017, Alexandra Chouldechova provaram que, quando as taxas de base diferem entre grupos, um classificador não pode ser calibrado dentro de cada grupo e também ter taxas iguais de falsos positivos e falsos negativos, exceto em casos degenerados, como previsões perfeitas. A ferramenta de previsão de reincidência COMPAS demonstra esse conflito na prática. Em 2016, a ProPublica informou que réus negros que não reincidiram tinham quase o dobro da probabilidade de serem classificados como de alto risco em comparação com réus brancos, enquanto a empresa responsável pela ferramenta mostrou que as pontuações estavam igualmente calibradas para ambos os grupos. As duas análises estavam corretas, então escolher uma métrica de justiça para uma aplicação é tanto uma decisão política quanto técnica.

Justiça em visão computacional#

O estudo Gender Shades, de Joy Buolamwini e Timnit Gebru (2018), avaliou três classificadores comerciais de gênero e encontrou taxas de erro de até 34.7% para mulheres de pele mais escura, contra no máximo 0.8% para homens de pele mais clara. Há disparidades semelhantes sempre que grupos estão sub-representados nas imagens de treinamento, desde modelos de reconhecimento facial até os de análise de imagens médicas para doenças de pele, treinados com conjuntos de dados dermatológicos dominados por tons de pele mais claros. Por isso, uma avaliação de visão computacional informa a precisão e a revocação separadamente para cada subgrupo relevante e registra os resultados em um cartão do modelo, pois uma única métrica geral de precisão pode ocultar um subgrupo no qual o modelo falha.

Estratégias de mitigação#

As intervenções são agrupadas conforme a etapa do pipeline de aprendizado de máquina que alteram. Os métodos de pré-processamento coletam dados representativos, preenchem lacunas com aumento de dados ou dados sintéticos direcionados e reponderam exemplos para dar mais importância a grupos sub-representados. O Ultralytics YOLO oferece a mesma reponderação para classes: definir o argumento de treinamento cls_pw acima do valor padrão 0 pondera a perda de cada classe pelo inverso de sua frequência elevado a essa potência, dando mais peso a classes raras durante o treinamento.

Os métodos durante o processamento adicionam restrições ou penalidades de justiça à função de perda ou usam a otimização robusta em termos de distribuição para minimizar a perda do grupo com pior desempenho. Os métodos de pós-processamento ajustam os limiares de decisão por grupo depois do treinamento, abordagem proposta por Hardt e colegas para alcançar odds equalizadas.

Kits de ferramentas de código aberto, como o Fairlearn e o AI Fairness 360 da IBM, implementam essas métricas e medidas de mitigação. A regulamentação exige cada vez mais essas medições: a Lei de IA da UE exige que os provedores de sistemas de alto risco examinem os dados de treinamento em busca de possíveis vieses, e a Lei Local 144 da cidade de Nova York exige auditorias independentes anuais de viés em ferramentas automatizadas de contratação desde julho de 2023.