Bias in AI

O viés em IA, também chamado de viés de IA, é um erro sistemático em um sistema de inteligência artificial (IA) que gera resultados menos precisos ou menos justos para alguns grupos de pessoas, muitas vezes em função de fatores como tom de pele, gênero, idade, dialeto ou renda. Ele difere do erro aleatório porque é consistente: o mesmo grupo recebe resultados piores repetidamente. Na maioria dos contextos, viés de IA é sinônimo de viés algorítmico; viés algorítmico é o termo mais antigo e também abrange decisões automatizadas por fórmulas fixas e regras de pontuação que não envolvem aprendizado. Como o viés pode surgir em todas as etapas da construção de um sistema de aprendizado de máquina (ML), as estruturas de ética em IA o tratam como uma característica de todo o ciclo de vida.

De onde vem o viés#

O relatório do NIST Rumo a um padrão para identificar e gerenciar vieses na inteligência artificial (SP 1270) divide o viés em IA em três categorias: viés sistêmico, proveniente de instituições e da história; viés estatístico e computacional, proveniente de dados e algoritmos; e viés humano, proveniente das pessoas que constroem e usam o sistema. Em um fluxo típico de aprendizado de máquina, essas categorias aparecem em etapas específicas:

• Representação e viés do conjunto de dados: Grupos pouco representados nos dados de treinamento recebem previsões piores. Um modelo de visão computacional treinado principalmente com fotos da América do Norte e da Europa reconhece objetos e cenas de outras regiões com menos confiabilidade.
• Medição: Uma característica ou um rótulo mede um grupo com menos precisão. Os oxímetros de pulso superestimam o oxigênio no sangue de pacientes com pele mais escura, e um estudo de 2020 no New England Journal of Medicine constatou que níveis baixos de oxigênio não detectados ocorreram quase três vezes mais frequentemente em pacientes negros do que em pacientes brancos.
• Rotulagem: Os anotadores incorporam seus próprios julgamentos aos rótulos usados para treinar o modelo. Um estudo de 2019 sobre detecção de discurso de ódio constatou que conjuntos de dados amplamente utilizados rotulavam tweets em inglês afro-americano como ofensivos com muito mais frequência, e os modelos treinados com eles sinalizavam esses tweets até duas vezes mais do que os demais.
• Modelagem e avaliação: Minimizar o erro médio favorece a maioria, e uma única pontuação geral pode ocultar um grupo para o qual o modelo falha. Os modelos também podem aprender características indiretas que, por acaso, se correlacionam com a pertença a um grupo.
• Implantação: Um modelo usado em uma população ou contexto para o qual nunca foi testado, ou cujas saídas influenciam os dados com que ele aprenderá depois, pode desenvolver novos vieses ao longo do tempo.

Exemplos do mundo real#

• Gender Shades: Esta auditoria de 2018 constatou que classificadores comerciais de gênero classificavam incorretamente mulheres de pele mais escura em até 34.7% dos casos e homens de pele mais clara em no máximo 0.8%.
• Reconhecimento facial: A avaliação do NIST de 2019 sobre algoritmos de reconhecimento facial constatou taxas de falsos positivos de 10 a 100 vezes maiores para alguns grupos demográficos em muitos deles.
• Detecção de pedestres: Um estudo de 2019 que anotou pedestres em um conjunto de dados de condução segundo o tom de pele constatou que os modelos de detecção de objetos eram menos precisos com pedestres de pele mais escura; a hora do dia e a oclusão não explicavam essa diferença.
• IA em dermatologia: Classificadores de lesões cutâneas treinados principalmente com imagens de pele clara tiveram pior desempenho em pele escura quando testados em um conjunto diversificado de imagens clínicas, e o ajuste fino com imagens diversas reduziu essa diferença.

Como medir o viés#

O viés fica visível por meio da avaliação desagregada: calcular a mesma métrica separadamente para cada grupo, como recomendam os cartões de modelo. No exemplo a seguir, um sensor registra valores 1.0 unidade acima do real para o grupo B, que representa 5% dos pacientes, reproduzindo o problema dos oxímetros de pulso:

import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split

rng = np.random.default_rng(0)
group_b = rng.random(20000) < 0.05  # 5% of patients belong to group B
oxygen = rng.normal(size=20000)  # true blood oxygen, standardized
y = oxygen < 0  # condition to detect: low oxygen

# The sensor reads 1.0 too high for group B (measurement bias)
reading = (oxygen + 1.0 * group_b).reshape(-1, 1)
x_tr, x_te, y_tr, y_te, _, g_te = train_test_split(reading, y, group_b, random_state=0)

model = LogisticRegression()
model.fit(x_tr, y_tr)
pred = model.predict(x_te)

# Disaggregated evaluation: score each group separately
print(f"overall accuracy: {np.mean(pred == y_te):.3f}")
print(f"group A accuracy: {np.mean(pred[~g_te] == y_te[~g_te]):.3f}")
print(f"group B accuracy: {np.mean(pred[g_te] == y_te[g_te]):.3f}")

O modelo obtém uma pontuação geral de 0.967 e 0.981 no grupo A, mas apenas 0.706 no grupo B, cujos casos de baixa oxigenação ficam ocultos pelas leituras infladas. Métricas de equidade por grupo, como taxas de falsos negativos iguais entre grupos, formalizam essas verificações no campo da equidade em IA.

Como reduzir o viés#

A mitigação começa pelos dados: coletando mais exemplos de grupos sub-representados, corrigindo medições e rótulos incorretos e adicionando aumento de dados ou dados sintéticos onde há poucos exemplos reais. Durante o treinamento, é possível reponderar ou reamostrar grupos raros, ou adicionar restrições de equidade; o pós-processamento pode ajustar os limiares de decisão. A Ultralytics Platform exibe em gráficos a quantidade de anotações de cada classe em um conjunto de dados, e o argumento cls_pw do treinamento de YOLO26 pondera a perda de classificação pela frequência inversa da classe elevada a essa potência, para que as classes raras tenham mais peso. O NIST AI Risk Management Framework solicita que as organizações meçam o viés durante todo o ciclo de vida de um sistema, e o Artigo 10 do Regulamento de IA da UE exige que os fornecedores de sistemas de IA de alto risco examinem os dados de treinamento, validação e teste em busca de possíveis vieses.

Viés em IA versus outros significados de viés#

• Compromisso entre viés e variância: o viés estatístico é o erro de um modelo simples demais para capturar o padrão dos dados, o que causa subajuste igualmente para todos os grupos.
• Parâmetros de viés: em uma rede neural, o viés de cada neurônio é um deslocamento treinável adicionado às entradas ponderadas, o termo de intercepto de uma equação linear.