Preconceitos na IA

Fontes de preconceito da IA

O enviesamento da IA não é uma propriedade inerente à IA, mas decorre dos processos humanos e dos dados utilizados para construir estes sistemas. Compreender as origens é fundamental para as atenuar:

• Enviesamento do conjunto de dados: Esta é a fonte mais comum, que surge quando os dados utilizados para o treino não são representativos da população real ou do contexto em que o modelo será implementado. Isto inclui preconceitos históricos (reflectindo preconceitos sociais passados), preconceitos de medição (recolha inconsistente de dados entre grupos), preconceitos de representação (sub-amostragem de certos grupos) e problemas na rotulagem de dados em que as anotações reflectem pontos de vista subjectivos. Compreender o impacto do enviesamento do conjunto de dados é crucial para a IA da visão.
• Preconceito algorítmico: O preconceito pode ser introduzido pelo próprio algoritmo, por exemplo, quando um algoritmo optimiza uma métrica que inadvertidamente prejudica um grupo específico, ou quando a conceção do modelo faz suposições que não são verdadeiras para todos. Por exemplo, certas escolhas de otimização podem dar prioridade à precisão geral em detrimento da justiça para subgrupos minoritários.
• Preconceito humano: Os preconceitos conscientes ou inconscientes dos programadores e dos utilizadores podem influenciar a conceção do modelo, a seleção dos dados, a interpretação dos resultados e as decisões de implementação, incorporando a injustiça no ciclo de vida da IA.

Exemplos do mundo real

Os preconceitos na IA podem manifestar-se em várias aplicações, por vezes com consequências graves:

• Sistemas dereconhecimento facial: Numerosos estudos, incluindo testes exaustivos efectuados pelo NIST, demonstraram que algumas tecnologias de reconhecimento facial apresentam taxas de precisão significativamente inferiores para indivíduos de determinados grupos demográficos (por exemplo, mulheres de pele mais escura) em comparação com outros (por exemplo, homens de pele mais clara). Esta disparidade resulta frequentemente de conjuntos de dados de treino pouco representativos e pode levar a erros de identificação e a um tratamento desigual em aplicações que vão desde o desbloqueio de telemóveis à aplicação da lei. Organizações como a Algorithmic Justice League trabalham ativamente para realçar e combater esses preconceitos.
• IA nos cuidados de saúde: Os modelos de IA utilizados para tarefas como a análise de imagens médicas ou a previsão do risco do paciente podem herdar preconceitos dos dados históricos de saúde. Se uma ferramenta de diagnóstico for treinada principalmente com dados de um grupo populacional, pode ter um desempenho menos preciso para grupos sub-representados, o que pode levar a diagnósticos tardios ou recomendações de tratamento inadequadas. A investigação salienta os riscos de enviesamento nos algoritmos clínicos se a equidade não for ativamente considerada.

Distinguir o preconceito na IA dos conceitos relacionados

É importante diferenciar o preconceito na IA, que diz respeito principalmente à equidade e às implicações éticas, de outros conceitos relacionados com a aprendizagem automática (ML):

• Enviesamento do conjunto de dados: Embora seja uma fonte primária de enviesamento da IA, o enviesamento do conjunto de dados refere-se especificamente à natureza não representativa dos próprios dados. O enviesamento da IA é o resultado mais amplo da injustiça sistemática, que pode resultar do enviesamento do conjunto de dados, de escolhas algorítmicas ou de factores humanos.
• Enviesamento algorítmico: Refere-se especificamente ao enviesamento introduzido pelo processo de conceção ou otimização do modelo, em oposição ao enviesamento proveniente apenas dos dados. É outra fonte potencial que contribui para o enviesamento geral da IA.
• Compensação de enviesamento e variância: Trata-se de um conceito estatístico fundamental em AM que descreve a tensão entre a simplicidade do modelo (enviesamento elevado, potencialmente conducente a subadaptação) e a complexidade do modelo (variância elevada, potencialmente conducente a sobreadaptação). Embora o termo "enviesamento" seja aqui utilizado, refere-se ao erro do modelo devido a pressupostos demasiado simplistas, distinto das implicações éticas ou de justiça do enviesamento da IA.

Abordar o preconceito da IA

Atenuar o enviesamento da IA é um processo contínuo que requer uma abordagem multifacetada ao longo do ciclo de vida do desenvolvimento da IA:

• Curadoria e ampliação de dados: Recolhe ativamente conjuntos de dados diversificados e representativos. Utiliza técnicas como o aumento de dados e a geração de dados potencialmente sintéticos para equilibrar a representação de diferentes grupos. Explora recursos como a coleçãoUltralytics Datasets para fontes de dados diversificadas.
• Métricas de equidade e auditoria: Define e mede a equidade utilizando métricas adequadas durante a avaliação do modelo. Audita regularmente os modelos para verificar o desempenho tendencioso em diferentes subgrupos antes e depois da implementação.
• Seleção e modificação de algoritmos: Escolhe algoritmos menos propensos a enviesamentos ou modifica os existentes para incorporar restrições de equidade.
• Transparência e explicabilidade: Emprega técnicas de IA explicável (XAI) para compreender o comportamento do modelo e identificar potenciais fontes de enviesamento. Sabe mais sobre os conceitos de XAI.
• Estruturas éticas e governação: Implementa fortes diretrizes de ética da IA e estruturas de governação, referenciando quadros como o NIST AI Risk Management Framework, para orientar o desenvolvimento e a implementação.

Plataformas como o Ultralytics HUB fornecem ferramentas que apoiam o desenvolvimento de sistemas de IA mais justos, permitindo uma gestão cuidadosa do conjunto de dados, facilitando a formação de modelos personalizados e permitindo a monitorização de Ultralytics YOLO desempenho do modelo. A sensibilização e a incorporação de princípios de equidade na IA (frequentemente discutidos em fóruns como a conferência ACM FAccT) são cruciais para abordar o desenvolvimento responsável da IA e criar tecnologia que beneficie a sociedade de forma equitativa.