Tudo o que você precisa saber sobre IA explicável (XAI)

Você já viu uma resposta de uma ferramenta de inteligência artificial (AI), como o ChatGPT, e se perguntou como ela chegou àquela conclusão? Nesse caso, você já se deparou com a preocupação da “caixa-preta” da AI. Esse termo se refere à falta de clareza sobre como os modelos de AI processam e analisam dados. Até mesmo engenheiros e cientistas de AI que trabalham regularmente com algoritmos avançados de AI podem ter dificuldade para entender completamente seu funcionamento interno. Na verdade, apenas 22% dos profissionais de TI entendem de fato os recursos das ferramentas de AI.

A incerteza sobre como os modelos de AI tomam decisões pode ser arriscada, especialmente em áreas críticas como a visão computacional na área da saúde e a AI nas finanças. No entanto, estão sendo feitos avanços significativos para enfrentar esses desafios e melhorar a transparência.

Em particular, a IA explicável (XAI) busca resolver esse problema. Em termos simples, trata-se de um conjunto de processos e métodos que ajuda os usuários humanos a entender e confiar nos resultados ou nas saídas produzidos por algoritmos complexos de aprendizado de máquina.

A XAI pode ajudar os desenvolvedores a garantir que os sistemas de AI funcionem conforme esperado. Também pode ajudar as empresas de AI a cumprir os padrões regulatórios. Neste artigo, vamos explorar a IA explicável e sua ampla variedade de aplicações.

A importância da IA explicável#

A explicabilidade é fundamental ao trabalhar com AI. Isso é especialmente verdadeiro no subcampo da visão computacional, amplamente utilizado em aplicações de setores como a saúde. Ao usar modelos de visão em setores tão sensíveis, é importante que o funcionamento do modelo seja transparente e interpretável para todos.

A interpretabilidade dos modelos de visão computacional ajuda os usuários a entender melhor como uma previsão foi feita e qual lógica está por trás dela. A transparência complementa isso, tornando claro para todos o funcionamento do modelo, descrevendo claramente suas limitações e garantindo o uso ético dos dados. Por exemplo, a visão computacional pode ajudar radiologistas a identificar com eficiência complicações de saúde em imagens de raios X.

Fig. 1. Radiografias torácicas analisadas com IA visual, com classificações de tuberculose saudável, doente, ativa e latente.

No entanto, não basta que um sistema de visão seja apenas preciso. O sistema também precisa ser capaz de explicar suas decisões. Imagine que o sistema pudesse mostrar quais partes da imagem levaram às suas conclusões: assim, qualquer resultado seria mais claro. Esse nível de transparência ajudaria os profissionais de saúde a verificar suas conclusões e garantir que o atendimento ao paciente esteja de acordo com os padrões médicos.

Outra razão pela qual a explicabilidade é essencial é que responsabiliza as empresas de IA e cria confiança entre os utilizadores. Uma IA fiável faz com que os utilizadores confiem que as inovações de IA funcionam de forma fiável, tomam decisões justas e tratam os dados de forma responsável.

Principais técnicas de IA explicável em visão computacional#

Agora que abordámos a importância da explicabilidade na visão computacional, vamos analisar as principais técnicas de XAI utilizadas na IA visual.

Mapas de saliência#

As redes neuronais são modelos inspirados no cérebro humano, concebidos para reconhecer padrões e tomar decisões através do processamento de dados em camadas interligadas de nós (neurónios). Podem ser utilizadas para resolver problemas complexos de visão computacional com elevada precisão. Mesmo sendo precisas, continuam a ser caixas negras por definição.

Os mapas de saliência são uma técnica de XAI que pode ajudar a entender o que as redes neurais estão identificando ao analisar imagens. Também podem ser usados para diagnosticar problemas nos modelos caso eles não estejam apresentando o desempenho esperado.

Os mapas de saliência funcionam destacando quais partes de uma imagem (pixels) determinam as previsões de um modelo. Esse processo é muito semelhante à retropropagação, na qual o modelo percorre o caminho inverso, das previsões até a entrada. Mas, em vez de atualizar os pesos do modelo com base nos erros, observamos apenas o quanto cada pixel “importa” para a previsão. Os mapas de saliência são muito úteis em tarefas de visão computacional, como a classificação de imagens.

Por exemplo, se um modelo de classificação de imagens prever que uma imagem mostra um cão, podemos consultar o respetivo mapa de saliência para perceber porque pensa que é um cão. Isto ajuda-nos a identificar os píxeis que mais afetam o resultado. O mapa de saliência destacaria todos os píxeis que contribuíram para a previsão final de que a imagem mostra um cão.

Fig. 2. Vista lado a lado das imagens de entrada e dos respetivos mapas de saliência.

Mapeamento de ativação de classes (CAM)#

O mapeamento de ativação de classes é outra técnica de XAI utilizada para compreender em que partes de uma imagem uma rede neuronal se concentra ao fazer previsões de classificação de imagens. Funciona de forma semelhante aos mapas de saliência, mas centra-se na identificação das características importantes da imagem, em vez de píxeis específicos. As características são padrões ou detalhes, como formas ou texturas, que o modelo deteta na imagem.

Métodos como Mapeamento de Ativação de Classe Ponderado por Gradiente (Grad-CAM) e Grad-CAM++ baseiam-se na mesma ideia, com algumas melhorias.

Eis como funciona o CAM:

• Antes de a rede neuronal tomar a decisão final, utiliza uma etapa chamada agrupamento médio global (GAP) para simplificar a informação. O GAP combina todos os píxeis de um padrão detetado num único valor médio, criando um resumo para cada mapa de características (uma representação visual dos padrões detetados).
• É atribuído a cada mapa de características um peso que indica a sua importância para prever uma determinada classe (como «pássaro» ou «gato»).
• No entanto, uma limitação do CAM é que talvez seja necessário treinar novamente o modelo para calcular esses pesos, o que pode consumir muito tempo.

O Grad-CAM aprimora essa abordagem usando gradientes, que funcionam como sinais que mostram o quanto cada mapa de características influencia a previsão final. Esse método elimina a necessidade de GAP e facilita a visualização do foco do modelo sem precisar treiná-lo novamente. O Grad-CAM++ vai além, concentrando-se apenas nas influências positivas, o que torna os resultados ainda mais claros. Os modelos Ultralytics YOLO podem salvar um mapa de calor de ativação de classe semelhante para cada imagem quando você executa o modo de previsão com visualize=True.

Fig. 3. Comparação entre CAM, Grad-CAM e Grad-CAM++.

Explicações contrafactuais#

As explicações contrafactuais são um elemento importante da IA explicável. Uma explicação contrafactual descreve uma situação ou um resultado considerando cenários ou acontecimentos alternativos que não ocorreram, mas poderiam ter ocorrido. Pode demonstrar como alterações em variáveis de entrada específicas conduzem a resultados diferentes, como em: «Se X não tivesse acontecido, Y não teria ocorrido.»

Na AI e na visão computacional, uma explicação contrafactual identifica a menor alteração necessária em uma entrada (como uma imagem ou dados) para fazer com que um modelo de AI produza um resultado específico diferente. Por exemplo, alterar a cor de um objeto em uma imagem poderia mudar a previsão de um modelo de classificação de imagens de “gato” para “cachorro”.

Outro bom exemplo seria alterar o ângulo ou a iluminação num sistema de reconhecimento facial. Isso poderia levar o modelo a identificar outra pessoa, mostrando como pequenas alterações na entrada podem influenciar as previsões do modelo.

A maneira mais simples de criar essas explicações é por tentativa e erro: você pode alterar aleatoriamente partes da entrada (como características da imagem ou dos dados) até que o modelo de AI produza o resultado desejado. Outros métodos incluem abordagens independentes do modelo, que usam técnicas de otimização e busca para encontrar alterações, e abordagens específicas do modelo, que se baseiam em configurações ou cálculos internos para identificar as alterações necessárias.

Aplicações da IA explicável em visão computacional#

Agora que exploramos o que é XAI e suas principais técnicas, podemos ver como ela é usada na prática. A XAI tem diversas aplicações em muitos campos. Veja alguns casos de uso que destacam seu potencial:

• Sistemas de segurança: A XAI pode ser utilizada para melhorar os sistemas de segurança através da deteção de imagens manipuladas em documentos de identificação, como passaportes e cartas de condução. Isto garante a autenticidade das imagens, reforça os processos de verificação de identidade e previne atividades fraudulentas em aplicações sensíveis.

Fig. 4. Como a XAI funciona para detetar imagens manipuladas.

• Condução autónoma: Compreender as capacidades e limitações do sistema de IA visual a bordo de um carro autónomo pode ser essencial para testar o veículo antes de o utilizar em estradas reais. A XAI pode ajudar as empresas automóveis a identificar e resolver problemas com maior clareza.
• Sistemas jurídicos: sistemas de análise de documentos com visão computacional são cada vez mais utilizados na tomada de decisões judiciais. A XAI promove resultados justos e permite que decisões automatizadas sejam examinadas. Ela também ajuda os profissionais do direito a entender como um modelo de AI chega às suas decisões.
• Monitorização da vida selvagem: As câmaras de captura são frequentemente utilizadas para monitorizar a vida selvagem e recolher dados sobre espécies animais. A XAI pode ser utilizada para explicar a forma como a IA classifica estas espécies nas imagens. Desta forma, os esforços de conservação podem ser mais fiáveis e precisos.

Principais conclusões sobre a IA explicável#

A IA explicável facilita a compreensão de como os sistemas de AI funcionam e por que tomam determinadas decisões. A transparência dos modelos de AI gera confiança e responsabilidade. Em áreas críticas como saúde, segurança, direção autônoma e sistemas jurídicos, a XAI pode ajudar desenvolvedores e usuários a entender as previsões da AI, identificar erros e garantir um uso justo e ético. Ao tornar a AI mais transparente, a XAI aproxima a tecnologia da confiança humana, tornando-a mais segura e confiável para aplicações reais.

Para saber mais, visite nosso repositório no GitHub e participe da nossa comunidade. Explore aplicações de AI em carros autônomos e na agricultura nas nossas páginas de soluções.