Compreender o enviesamento da IA e dos conjuntos de dados em sistemas de IA de visão

Os modelos de inteligência artificial (AI) estão a mudar a forma como resolvemos problemas, mas não são perfeitos. Desde carros autónomos a ferramentas de diagnóstico em cuidados de saúde, dependemos da AI para interpretar dados e tomar decisões. O que acontece quando os próprios dados têm falhas?

O viés em AI refere-se a padrões de inconsistência que se desenvolvem nos modelos, muitas vezes sem que ninguém se aperceba. Estes vieses podem fazer com que os modelos produzam previsões imprecisas, inconsistentes ou até prejudiciais. Na visão computacional, o viés costuma ter origem numa fonte principal: o dataset. Se os dados utilizados para treinar o modelo forem desequilibrados ou não representativos, o modelo refletirá essas lacunas.

Vamos analisar mais de perto como se forma o viés dos datasets, como afeta os modelos de visão computacional e que medidas os developers podem tomar para o detetar e prevenir. Também mostraremos como modelos como o Ultralytics YOLO11 podem apoiar esforços para criar sistemas de AI mais justos e com melhor generalização, ou seja, que tenham um bom desempenho em dados novos e não vistos e sirvam todas as pessoas de forma mais equitativa.

O que é o viés de AI e porque é importante?#

O viés de AI refere-se a erros consistentes num sistema de AI que resultam em resultados distorcidos ou imprecisos. Em termos simples, o modelo começa a favorecer um tipo de entrada visual em detrimento de outros, o que afeta a equidade do modelo, não porque tenha um desempenho melhor, mas devido à forma como foi treinado.

Isto pode ser especialmente comum na visão computacional, onde os modelos aprendem a partir de dados visuais. Se um dataset incluir sobretudo um tipo de objeto, cenário ou pessoa, o modelo aprende padrões que funcionam bem apenas nesses casos.

Imagina um modelo treinado principalmente com imagens de trânsito de grandes cidades. Se for implementado numa zona rural, poderá classificar incorretamente configurações de estrada invulgares ou não detetar tipos de veículos que nunca viu. Isto é o viés de AI em ação. Conduz a uma menor precisão e a uma generalização limitada, que se refere à capacidade de um modelo ter um bom desempenho com entradas novas ou diversificadas.

Em aplicações onde a precisão é essencial, como nos cuidados de saúde ou na segurança, estes erros não são apenas frustrantes: podem ser perigosos. Abordar o viés diz respeito ao desempenho, à fiabilidade e à segurança.

Como o viés dos datasets influencia o comportamento dos modelos#

Quando falamos de viés dos datasets, referimo-nos ao desequilíbrio ou à limitação dos dados utilizados para treinar um modelo. O viés dos datasets ocorre quando os dados de treino não refletem adequadamente a diversidade do mundo real que se destinam a modelar.

Os modelos de visão computacional não compreendem o mundo. Compreendem padrões. Se as únicas imagens de cães que veem forem de golden retrievers em jardins, poderão não reconhecer um husky num trilho coberto de neve.

Fig. 1. A reponderação dos dados de origem ajuda a obter uma melhor precisão do modelo.

Isto evidencia um dos principais desafios causados pelo viés dos datasets. O modelo constrói a sua compreensão com base no que lhe é mostrado. Se esses dados de treino não refletirem a variedade do mundo real, o comportamento do modelo torna-se limitado e menos eficaz em condições desconhecidas.

Os classificadores de imagens têm frequentemente um desempenho significativamente pior quando são testados num dataset diferente daquele em que foram treinados, mesmo que ambos os datasets tenham sido criados para a mesma tarefa. Pequenas alterações na iluminação, nos fundos ou nos ângulos da câmara podem provocar descidas significativas na precisão. Isto mostra como o viés dos datasets pode afetar facilmente a capacidade de generalização de um modelo.

Estes não são casos extremos. São sinais de que o teu pipeline de dados é tão importante como a arquitetura do teu modelo.

Tipos de viés nos dados de treino de AI#

O viés pode surgir subtilmente no processo de desenvolvimento, muitas vezes durante a recolha, anotação ou curadoria dos dados. Seguem-se três tipos principais de viés que podem afetar os teus dados de treino:

Viés de seleção#

O viés de seleção pode ocorrer quando o dataset não representa a variedade observada na utilização no mundo real. Se um modelo de deteção de peões for treinado apenas com imagens nítidas captadas durante o dia, não terá um bom desempenho à noite ou com nevoeiro. O processo de seleção terá, portanto, ignorado casos cruciais.

Fig. 2. Representação visual do viés de seleção, em que apenas é escolhido um subconjunto não diversificado.

Este viés ocorre quando o dataset não capta toda a variedade de cenários do mundo real devido à forma como os dados foram recolhidos. Por exemplo, um modelo de deteção de peões treinado apenas com imagens nítidas captadas durante o dia pode falhar com nevoeiro, neve ou pouca luz. Isto acontece frequentemente quando os dados são recolhidos em condições ideais ou convenientes, limitando a capacidade do modelo de funcionar em ambientes variados. Expandir os esforços de recolha para incluir contextos mais diversificados ajuda a reduzir este tipo de viés.

Também pode surgir em datasets criados a partir de fontes online, cujo conteúdo pode estar fortemente inclinado para determinados locais, idiomas ou contextos socioeconómicos. Sem um esforço deliberado para diversificar o dataset, o modelo herdará estas limitações.

Viés de rotulagem#

O viés de rotulagem ocorre quando os annotators humanos aplicam rótulos incorretos ou inconsistentes. Um rótulo incorreto pode parecer inofensivo, mas, se ocorrer frequentemente, o modelo começa a aprender associações erradas.

A rotulagem inconsistente pode confundir o modelo durante o treino, especialmente em tarefas complexas como a deteção de objetos. Por exemplo, um annotator pode classificar um veículo como "carro", enquanto outro classifica um veículo semelhante como "camião". Estas inconsistências afetam a capacidade do modelo de aprender padrões fiáveis, conduzindo a uma menor precisão durante a inferência.

Fig. 3. O viés nos pipelines de dados tem origem em desequilíbrios do mundo real.

O viés de rotulagem também pode surgir devido a diretrizes de anotação pouco claras ou a diferentes interpretações dos mesmos dados. Estabelecer normas de rotulagem bem documentadas e realizar verificações de controlo de qualidade pode reduzir significativamente estes desafios.

A formação contínua dos annotators e a utilização de rotulagem por consenso, em que vários annotators analisam cada amostra, são duas estratégias eficazes para minimizar o viés de rotulagem e melhorar a qualidade do dataset.

Viés de representação#

O viés de representação reflete frequentemente desigualdades sociais mais amplas. Os dados recolhidos em regiões mais ricas ou mais conectadas podem não captar a diversidade de populações ou ambientes sub-representados. Abordar este viés exige a inclusão intencional de grupos e contextos negligenciados.

O viés de representação ocorre quando determinados grupos ou classes estão sub-representados no dataset. Estes podem incluir grupos demográficos, categorias de objetos ou condições ambientais. Se um modelo vir apenas um tom de pele, um tipo de objeto ou um estilo de fundo, as suas previsões refletirão esse desequilíbrio.

Podemos observar este tipo de viés quando determinados grupos ou categorias estão incluídos em quantidades muito menores do que outros. Isto pode inclinar as previsões do modelo para os exemplos dominantes no dataset. Por exemplo, um modelo de reconhecimento facial treinado principalmente com um grupo demográfico pode ter dificuldade em funcionar com precisão para todas as pessoas utilizadoras. Ao contrário do viés de seleção, que está associado à variedade dos dados, o viés de representação diz respeito ao equilíbrio entre grupos.

As auditorias de diversidade e as estratégias direcionadas de expansão de dados podem ajudar a garantir que todos os grupos demográficos e categorias relevantes estejam devidamente representados em todo o dataset de treino.

Como detetar e mitigar o viés dos datasets#

Nas implementações no mundo real, o viés de AI não significa apenas algumas previsões incorretas. Pode resultar em sistemas que funcionam bem para algumas pessoas, mas não para todas.

Na AI automóvel, os modelos de deteção podem ter um desempenho inconsistente entre grupos de peões, conduzindo a resultados de segurança inferiores para pessoas sub-representadas. O problema não está na intenção do modelo. Está nas entradas visuais com que foi treinado. Até na agricultura, o viés na deteção de objetos pode significar uma identificação deficiente das culturas sob diferentes condições de iluminação ou meteorológicas. Estas são consequências comuns do treino de modelos com datasets limitados ou desequilibrados.

Corrigir o viés de AI começa por saber onde procurar. Se o teu conjunto de treino não tiver exemplos importantes ou representar excessivamente uma gama limitada, o teu modelo refletirá essas lacunas. É por isso que a deteção de viés em AI é um passo crítico em todos os pipelines de desenvolvimento.

Fig. 4. Passos fundamentais para reduzir o viés de AI e melhorar a equidade.

Começa por analisar o teu dataset. Observa a distribuição entre classes, ambientes, condições de iluminação, escalas dos objetos e grupos demográficos. Se uma categoria dominar, é provável que o teu modelo tenha um desempenho inferior nas restantes.

Em seguida, analisa o desempenho. O modelo tem um desempenho pior em determinadas condições ou para tipos específicos de objetos? Nesse caso, é um sinal de viés aprendido e normalmente aponta novamente para os dados.

A avaliação ao nível das partições é fundamental. Um modelo pode apresentar uma precisão média de 90%, mas apenas 60% para um grupo ou condição específico. Sem verificares essas partições, nunca saberias.

A utilização de métricas de equidade durante o treino e a avaliação é outra ferramenta poderosa. Estas métricas vão além das pontuações de precisão padrão e avaliam o comportamento do modelo em diferentes subconjuntos de dados. Ajudam a revelar pontos cegos que, de outra forma, poderiam passar despercebidos.

A transparência na composição do dataset e nos testes do modelo conduz a modelos melhores.

Melhorar a equidade através da diversidade e do aumento de dados#

Depois de identificares o viés, o passo seguinte é colmatar a lacuna. Uma das formas mais eficazes de o fazer é aumentar a diversidade dos dados nos modelos de AI. Isso significa recolher mais amostras de cenários sub-representados, quer sejam imagens médicas de diferentes populações ou condições ambientais invulgares.

Adicionar mais dados pode ser valioso, especialmente quando aumenta a diversidade. No entanto, melhorar a equidade também depende da recolha dos tipos certos de exemplos. Estes devem refletir a variação do mundo real que o teu modelo provavelmente encontrará.

O aumento de dados é outra estratégia valiosa. Inverter, rodar, ajustar a iluminação e redimensionar objetos pode ajudar a simular diferentes condições do mundo real. O aumento não só aumenta a variedade do dataset, como também ajuda o modelo a tornar-se mais robusto a alterações de aparência, iluminação e contexto.

A maioria dos pipelines de treino modernos inclui aumento por predefinição, mas é a utilização estratégica, como concentrar os ajustes nas necessidades específicas da tarefa, que o torna eficaz para a equidade.

Utilizar dados sintéticos para preencher as lacunas#

Os dados sintéticos referem-se a dados gerados artificialmente que imitam exemplos do mundo real. Podem ser uma ferramenta útil quando determinados cenários são demasiado raros ou sensíveis para serem captados no mundo real.

Por exemplo, se estiveres a criar um modelo para detetar defeitos raros em maquinaria ou infrações de trânsito invulgares, podes simular esses casos utilizando dados sintéticos. Isto dá ao teu modelo a oportunidade de aprender com eventos que poderá não encontrar frequentemente no teu conjunto de treino.

Estudos demonstraram que a introdução de dados sintéticos direcionados no treino pode reduzir o viés dos datasets e melhorar o desempenho entre grupos demográficos e ambientes.

Os dados sintéticos têm melhores resultados quando combinados com amostras do mundo real. Complementam o teu dataset; não o substituem.

Como o Ultralytics YOLO11 apoia a AI ética#

A criação de modelos de AI imparciais também depende das ferramentas que utilizas. O Ultralytics YOLO11 foi concebido para ser flexível, fácil de ajustar e altamente adaptável, o que o torna uma opção adequada para reduzir o viés dos datasets.

O Ultralytics YOLO11 suporta técnicas avançadas de aumento de dados durante o treino do modelo, introduzindo contextos de imagem variados e exemplos combinados para melhorar a generalização do modelo e reduzir o sobreajuste.

O Ultralytics YOLO11 também inclui uma arquitetura melhorada de backbone e neck para uma extração de características mais eficaz. Esta atualização melhora a capacidade do modelo de detetar detalhes finos, o que é essencial em cenários sub-representados ou extremos, onde os modelos padrão podem ter dificuldades.

Como o Ultralytics YOLO11 é simples de voltar a treinar e implementar em ambientes edge e cloud, as equipas podem identificar lacunas de desempenho e atualizar rapidamente o modelo quando é descoberto um viés no terreno.

Uma AI justa não é um objetivo pontual. É um ciclo de avaliação, aprendizagem e ajuste. Ferramentas como o Ultralytics YOLO11 ajudam a tornar esse ciclo mais rápido e produtivo.

Principais conclusões#

O viés de AI afeta tudo, desde a equidade ao desempenho. O viés na visão computacional resulta frequentemente da forma como os datasets são recolhidos, rotulados e equilibrados. Felizmente, existem formas comprovadas de o detetar e mitigar.

Começa por auditar os teus dados e testar o desempenho do modelo em diferentes cenários. Utiliza recolha de dados direcionada, aumento de dados e dados sintéticos para criar uma melhor cobertura de treino.

O Ultralytics YOLO11 suporta este fluxo de trabalho, facilitando o treino de modelos personalizados, a aplicação de técnicas robustas de aumento e a resposta rápida quando é detetado um viés.

Criar uma AI justa não é apenas o mais correto. É também a forma de criar sistemas mais inteligentes e fiáveis.

Junta-te à nossa comunidade em crescimento! Explora o nosso repositório do GitHub para saberes mais sobre AI. Queres começar os teus próprios projetos de visão computacional? Consulta as nossas opções de licenciamento. Descobre AI na indústria e AI de visão na agricultura visitando as nossas páginas de soluções!