Algorithmic Bias

O viés algorítmico é um erro sistemático e repetível em um sistema computacional que produz resultados injustos, como favorecer um grupo de pessoas em detrimento de outro em contratações, concessão de crédito, policiamento ou saúde. O termo abrange qualquer procedimento automatizado de decisão, de uma fórmula de pontuação de crédito escrita manualmente a uma rede neural profunda; como uma regra defeituosa é aplicada a todos os casos, o mesmo erro se repete em milhares ou milhões de decisões. Nas discussões sobre aprendizagem automática (ML), viés algorítmico e viés em IA são sinônimos. Viés algorítmico é o termo mais antigo e abrangente e costuma se referir às decisões que um sistema implantado toma sobre as pessoas.

Três origens do viés algorítmico#

O artigo de 1996 de Batya Friedman e Helen Nissenbaum, "Viés em sistemas computacionais", dividiu os vieses em três tipos conforme sua origem, uma estrutura ainda usada hoje:

• Viés preexistente: o sistema absorve preconceitos que já existiam na sociedade ou nos registros históricos.
• Viés técnico: uma escolha de projeto, como a variável usada como substituta da quantidade de interesse, cria a injustiça.
• Viés emergente: o viés surge após a implantação, quando a população, o contexto ou a própria influência do sistema sobre os dados futuros muda.

A Amazon abandonou um modelo experimental de recrutamento depois que ele aprendeu a penalizar currículos que continham a palavra "mulheres", um caso de viés preexistente: o modelo havia sido treinado com dez anos de currículos, enviados principalmente por homens. Um algoritmo de saúde amplamente usado nos EUA mostra um viés técnico. Ele previa os custos médicos futuros dos pacientes como substituto de suas necessidades de saúde e, como menos dinheiro havia sido gasto com pacientes negros com o mesmo nível de doença, encaminhava-os para atendimento adicional com menos frequência; um estudo de 2019 na Science constatou que corrigir o viés elevaria de 17,7% para 46,5% a proporção de pacientes negros sinalizados para receber ajuda extra. O policiamento preditivo é o exemplo clássico de viés emergente, por meio de um ciclo de retroalimentação:

Pesquisadores demonstraram em 2018 que esse ciclo pode sair do controle: as patrulhas encontram mais ocorrências nos locais para onde são enviadas, os novos registros confirmam a classificação e o modelo envia patrulhas de volta aos mesmos bairros, mesmo quando as taxas de criminalidade são iguais em outros lugares.

Por que decisões justas envolvem compensações#

Em 2016, a ProPublica analisou o COMPAS, uma pontuação de risco usada nos tribunais dos EUA, e descobriu que réus negros que não reincidiam tinham quase duas vezes mais chances do que réus brancos de serem classificados como de maior risco (45% contra 23%). A empresa respondeu que a pontuação era igualmente calibrada para os dois grupos, ou seja, que uma determinada pontuação correspondia à mesma taxa de reincidência independentemente da raça. Ambas as afirmações eram verdadeiras. Pesquisadores, entre eles Kleinberg, Mullainathan e Raghavan, provaram então que, quando dois grupos têm taxas-base diferentes, uma pontuação imperfeita não pode ser calibrada para ambos e também apresentar taxas iguais de falsos positivos e falsos negativos. A simulação a seguir mostra o conflito com pontuações perfeitamente calibradas e um limiar compartilhado:

import numpy as np

rng = np.random.default_rng(0)

# True risk per person; group B has a higher base rate than group A
risks = {"A": rng.beta(2, 5, 100_000), "B": rng.beta(3, 4, 100_000)}

for name, risk in risks.items():
    # Outcomes follow the risk exactly, so the score is perfectly calibrated in both groups
    outcome = rng.random(risk.size) < risk
    flagged = risk > 0.5  # one shared decision threshold

    # False positive rate: share of people without the outcome who were flagged anyway
    fpr = flagged[~outcome].mean()
    print(f"group {name}: base rate {outcome.mean():.2f}, false positive rate {fpr:.2f}")

O grupo A tem uma taxa-base de 0,29 e uma taxa de falsos positivos de 0,06; o grupo B tem uma taxa-base de 0,43 e uma taxa de falsos positivos de 0,23: a mesma pontuação calibrada e o mesmo limiar sinalizam pessoas do grupo B que nunca apresentam o resultado quase quatro vezes mais. Todo sistema que transforma pontuações em decisões enfrenta essa escolha. O Ultralytics YOLO26 aplica um limiar de confiança (conf, 0,25 por padrão para predição) a todas as detecções; assim, qualquer grupo cujas detecções recebam pontuações menores, como pedestres raros nos dados de treinamento, perde mais detecções com a mesma configuração.

Viés algorítmico e termos relacionados#

• Viés do conjunto de dados: falhas nos próprios dados, como uma amostragem não representativa. O viés do conjunto de dados é uma das causas do viés algorítmico, junto com as escolhas de projeto e os efeitos da implantação.
• Equidade em IA: área que define critérios de equidade, como paridade demográfica ou taxas de erro iguais, e os métodos para atendê-los.
• Deriva de dados: mudança nos dados de entrada após a implantação, que pode criar viés emergente em um modelo considerado justo nos testes iniciais.

Auditoria e redução do viés algorítmico#

As auditorias comparam resultados e taxas de erro entre grupos, usando kits de ferramentas de código aberto como o Fairlearn e o AI Fairness 360 da IBM. As correções podem ser aplicadas em três etapas: pré-processamento, que repondera ou reamostra os dados de treinamento; processamento durante o treinamento, que adiciona restrições de equidade à função objetivo de treinamento; e pós-processamento, que ajusta os limiares de decisão por grupo. O monitoramento contínuo do modelo detecta vieses emergentes que as auditorias anteriores ao lançamento não identificam. A regulamentação exige cada vez mais essas auditorias: a Lei Local 144 da cidade de Nova York, em vigor desde 5 de julho de 2023, proíbe empregadores de usar ferramentas automatizadas de contratação, a menos que um auditor independente tenha verificado se há viés no último ano e o empregador publique um resumo com taxas de impacto que comparem as taxas de seleção por sexo e por raça ou etnia.