Bias in AI

Viés na IA refere-se a erros sistemáticos, preconceitos ou pressupostos injustificados incorporados em sistemas de Inteligência Artificial (AI) que resultam em consequências injustas, desiguais ou discriminatórias. Ao contrário dos erros aleatórios, que são imprevisíveis, o viés manifesta-se como uma distorção consistente dos resultados a favor ou contra grupos específicos, muitas vezes com base em características sensíveis como raça, género, idade ou estatuto socioeconómico. À medida que os modelos de Aprendizagem automática (ML) são cada vez mais implementados em ambientes de alto risco — desde diagnósticos de IA na área da saúde até à concessão de crédito —, identificar e mitigar estes vieses tornou-se uma componente essencial da Ética da IA e dos protocolos de segurança.

Fontes e origens do viés#

O viés raramente é introduzido intencionalmente; em vez disso, infiltra-se nos sistemas através de várias fases do ciclo de vida do desenvolvimento, refletindo frequentemente desigualdades históricas ou falhas na recolha de dados.

• Viés nos conjuntos de dados: Esta é a fonte mais comum e ocorre quando os dados de treino não representam com precisão a população do mundo real. Por exemplo, se um modelo de Visão computacional (CV) for treinado principalmente com imagens de países ocidentais, poderá não reconhecer contextos culturais ou objetos de outras regiões, um fenómeno frequentemente associado ao viés de seleção.
• Viés algorítmico: Mesmo com dados perfeitos, o design do modelo pode introduzir injustiça. Certos algoritmos de otimização dão prioridade a métricas globais de precisão, o que pode sacrificar inadvertidamente o desempenho em subgrupos menores e sub-representados para maximizar a pontuação geral.
• Viés cognitivo e histórico: Os preconceitos humanos podem ser codificados nas etiquetas de verdade fundamental durante a anotação de dados. Se os anotadores humanos tiverem vieses inconscientes, o modelo aprenderá a reproduzir esses julgamentos subjetivos, automatizando efetivamente disparidades sociais já existentes.

Implicações no mundo real#

As consequências do viés na IA podem ser profundas, afetando os direitos e a segurança das pessoas.

• Disparidades na análise facial: As primeiras versões da tecnologia de reconhecimento facial demonstraram taxas de erro significativamente mais elevadas para mulheres e pessoas racializadas. Organizações como a Algorithmic Justice League destacaram que estes sistemas, frequentemente utilizados na segurança, podem conduzir a identificações erradas e acusações indevidas devido a conjuntos de dados de treino não representativos.
• Diagnóstico na área da saúde: Na análise de imagens médicas, os modelos treinados predominantemente com pacientes de pele clara podem ter dificuldade em detetar doenças cutâneas em tons de pele mais escuros. Esta disparidade pode levar a diagnósticos tardios e a uma qualidade de cuidados desigual, motivando apelos à criação de conjuntos de dados biomédicos mais diversificados.

Estratégias de mitigação#

Combater o viés exige uma abordagem proativa ao longo do pipeline de treino do modelo e implementação.

1. Curadoria de dados diversificados: utilizar ferramentas como a Ultralytics Platform permite às equipas visualizar a distribuição do conjunto de dados e identificar lacunas de representação antes do início do treino.

2. Testes conscientes da equidade: Em vez de dependerem apenas de métricas agregadas, os programadores devem realizar uma avaliação do modelo detalhada em diferentes segmentos demográficos para garantir um desempenho equitativo.

3. Interpretabilidade: A implementação de técnicas de IA explicável (XAI) ajuda as partes interessadas a compreender por que motivo um modelo tomou uma decisão, facilitando a identificação de lógica discriminatória ou da dependência de variáveis proxy (por exemplo, utilizar o código postal como proxy da raça).

Distinguir conceitos relacionados#

É importante distinguir "Viés na IA" de outras utilizações técnicas da palavra "viés".

• vs. Compromisso entre viés e variância: Na aprendizagem estatística, isto refere-se ao erro introduzido pela aproximação de um problema do mundo real através de um modelo simplificado (subajuste). É um conceito matemático relativo à complexidade do modelo, distinto do preconceito social implícito em "Viés na IA".
• vs. Pesos e vieses do modelo: Numa rede neural, um termo de "viés" é um parâmetro aprendível (como a ordenada na origem numa equação linear) que permite deslocar a função de ativação. Este é um componente matemático fundamental, não uma falha ética.
• vs. Equidade na IA: Enquanto o viés se refere à presença de preconceito ou erro, a equidade é o objetivo ou o conjunto de medidas corretivas aplicadas para eliminar esse viés.

Exemplo técnico: Avaliação do desempenho de subgrupos#

Para detetar vieses, os programadores testam frequentemente os seus modelos em conjuntos de dados de "desafio" específicos, que representam grupos minoritários. O exemplo seguinte demonstra como utilizar o YOLO26 para validar o desempenho num subconjunto específico de dados.

from ultralytics import YOLO

# Load a pre-trained YOLO26 model
model = YOLO("yolo26n.pt")

# Validate the model on a specific dataset split designed to test
# performance on an underrepresented environment (e.g., 'night_time.yaml')
metrics = model.val(data="night_time_data.yaml")

# Analyze specific metrics to check for performance degradation
print(f"mAP50-95 on challenge set: {metrics.box.map}")

Normas como o NIST AI Risk Management Framework e regulamentos como o EU AI Act estão a exigir cada vez mais este tipo de auditorias de viés para garantir o desenvolvimento de IA responsável.