Dataset Bias

O viés do conjunto de dados ocorre quando as informações usadas para ensinar modelos de aprendizagem automática (ML) contêm erros sistemáticos ou distribuições enviesadas, levando o sistema de IA resultante a favorecer determinados resultados em detrimento de outros. Como os modelos funcionam como mecanismos de reconhecimento de padrões, dependem totalmente dos dados de entrada; se os dados de treino não refletirem com precisão a diversidade do ambiente do mundo real, o modelo herdará estes pontos cegos. Este fenómeno geralmente resulta numa fraca generalização, em que uma IA pode obter pontuações elevadas durante os testes, mas falha significativamente quando é implementada para inferência em tempo real em cenários diversos ou inesperados.

Fontes comuns de distorção dos dados#

O viés pode infiltrar-se num conjunto de dados em várias fases do ciclo de vida do desenvolvimento, resultando frequentemente de decisões humanas tomadas durante a recolha ou anotação.

• Viés de seleção: Isto ocorre quando os dados recolhidos não representam aleatoriamente a população-alvo. Por exemplo, criar um conjunto de dados de reconhecimento facial usando predominantemente imagens de celebridades pode enviesar o modelo para maquilhagem carregada e iluminação profissional, fazendo com que falhe em imagens comuns de webcams.
• Erros de anotação: A subjetividade durante a anotação de dados pode introduzir preconceitos humanos. Se os anotadores classificarem consistentemente de forma incorreta objetos ambíguos devido à falta de diretrizes claras, o modelo tratará estes erros como verdade de referência.
• Viés de representação: Mesmo quando selecionados aleatoriamente, os grupos minoritários podem ser estatisticamente suplantados pela classe maioritária. Na deteção de objetos, um conjunto de dados com 10.000 imagens de carros, mas apenas 100 imagens de bicicletas, resultará num modelo enviesado para detetar carros.

Aplicações e consequências no mundo real#

O impacto do viés do conjunto de dados é significativo em vários setores, especialmente quando os sistemas automatizados tomam decisões de alto risco ou interagem com o mundo físico.

No setor automotivo, a IA no setor automotivo depende de câmaras para identificar peões e obstáculos. Se um carro autónomo for treinado principalmente com dados recolhidos em climas soalheiros e secos, o seu desempenho poderá degradar-se quando operar com neve ou chuva intensa. Este é um exemplo clássico de uma distribuição de treino que não corresponde à distribuição operacional, conduzindo a riscos de segurança.

Da mesma forma, na análise de imagens médicas, os modelos de diagnóstico são frequentemente treinados com dados históricos de pacientes. Se um modelo concebido para detetar problemas de pele for treinado com um conjunto de dados dominado por tons de pele claros, poderá demonstrar uma precisão significativamente inferior ao diagnosticar pacientes com tons de pele mais escuros. Abordar esta questão exige um esforço concertado para selecionar conjuntos de dados diversificados que assegurem a equidade na IA entre todos os grupos demográficos.

Estratégias de mitigação#

Os programadores podem reduzir o viés do conjunto de dados através de auditorias rigorosas e estratégias avançadas de treino. Técnicas como o aumento de dados ajudam a equilibrar os conjuntos de dados ao criar artificialmente variações de exemplos sub-representados (por exemplo, invertendo, rodando ou ajustando o brilho). Além disso, a geração de dados sintéticos pode colmatar lacunas quando os dados do mundo real são escassos ou difíceis de recolher.

Gerir estes conjuntos de dados de forma eficaz é crucial. A Ultralytics Platform permite às equipas visualizar as distribuições das classes e identificar desequilíbrios antes do início do treino. Além disso, seguir diretrizes como o NIST AI Risk Management Framework ajuda as organizações a estruturar sistematicamente a sua abordagem à identificação e mitigação destes riscos.

Viés do conjunto de dados vs. conceitos relacionados#

É útil distinguir o viés do conjunto de dados de termos semelhantes para compreender a origem do erro:

• vs. Viés algorítmico: O viés do conjunto de dados é centrado nos dados; implica que os "ingredientes" são imperfeitos. O viés algorítmico é centrado no modelo; resulta do próprio design do algoritmo ou do algoritmo de otimização, que pode dar prioridade às classes maioritárias para maximizar as métricas gerais em detrimento dos grupos minoritários.
• vs. Deriva do modelo: O viés do conjunto de dados é um problema estático presente no momento do treino. A deriva do modelo (ou deriva dos dados) ocorre quando os dados do mundo real mudam ao longo do tempo após a implementação do modelo, exigindo uma monitorização contínua do modelo.

Exemplo de código: aumento para reduzir o viés#

O exemplo seguinte demonstra como aplicar o aumento de dados durante o treino com YOLO26. Ao aumentar os aumentos geométricos, o modelo aprende a generalizar melhor, reduzindo potencialmente o viés em relação a orientações ou posições específicas dos objetos presentes no conjunto de treino.

from ultralytics import YOLO

# Load YOLO26n, a high-efficiency model ideal for edge deployment
model = YOLO("yolo26n.pt")

# Train with increased augmentation to improve generalization
# 'fliplr' (flip left-right) and 'scale' help the model see diverse variations
results = model.train(
    data="coco8.yaml",
    epochs=50,
    fliplr=0.5,  # 50% probability of horizontal flip
    scale=0.5,  # +/- 50% image scaling
)