Tudo o que você precisa saber sobre IA explicável (XAI)

Já viste uma resposta de uma ferramenta de inteligência artificial (AI), como o ChatGPT, e te perguntaste como chegou àquela conclusão? Então, já te deparaste com a preocupação da «caixa negra» da IA. Este termo refere-se à falta de clareza sobre a forma como os modelos de IA processam e analisam dados. Até os engenheiros e cientistas de IA que trabalham regularmente com algoritmos de IA de ponta podem ter dificuldade em compreender plenamente o seu funcionamento interno. Na verdade, apenas 22% dos profissionais de TI compreendem verdadeiramente as capacidades das ferramentas de IA.

A incerteza em torno da forma como os modelos de IA tomam decisões pode ser arriscada, especialmente em áreas críticas como a visão computacional na saúde e a IA nas finanças. No entanto, estão a ser feitos progressos significativos para enfrentar estes desafios e melhorar a transparência.

Em particular, a IA explicável (XAI) centra-se exclusivamente em resolver esta questão. Em termos simples, é um conjunto de processos e métodos que ajuda os utilizadores humanos a compreender e a confiar nos resultados ou nas saídas produzidos por algoritmos complexos de aprendizagem automática.

A XAI pode ajudar os programadores a garantir que os sistemas de IA funcionam como esperado. Também pode ajudar as empresas de IA a cumprir as normas regulamentares. Neste artigo, vamos explorar a IA explicável e a sua vasta gama de casos de utilização. Vamos começar!

A importância da IA explicável#

A explicabilidade é fundamental quando se trabalha com IA. Isto é especialmente verdade no subcampo da IA conhecido como visão computacional, que é amplamente utilizado em áreas como a saúde. Ao utilizar modelos de visão em setores tão sensíveis, é importante que o funcionamento do modelo seja transparente e compreensível para todos.

A interpretabilidade dos modelos de visão computacional ajuda os utilizadores a compreender melhor como foi feita uma previsão e qual foi a lógica por detrás dela. A transparência complementa este aspeto, tornando claro para todos o funcionamento do modelo, explicando claramente as suas limitações e garantindo uma utilização ética dos dados. Por exemplo, a visão computacional pode ajudar os radiologistas a identificar eficazmente complicações de saúde em imagens de raios X.

Fig. 1. Radiografias torácicas analisadas com IA visual, com classificações de tuberculose saudável, doente, ativa e latente.

No entanto, não basta que um sistema de visão seja apenas preciso. O sistema também tem de conseguir explicar as suas decisões. Imagina que o sistema consegue mostrar que partes da imagem levaram às suas conclusões — nesse caso, os resultados seriam mais claros. Este nível de transparência ajudaria os profissionais de saúde a verificar novamente as suas conclusões e a garantir que os cuidados prestados aos pacientes cumprem as normas médicas.

Outra razão pela qual a explicabilidade é essencial é que responsabiliza as empresas de IA e cria confiança entre os utilizadores. Uma IA fiável faz com que os utilizadores confiem que as inovações de IA funcionam de forma fiável, tomam decisões justas e tratam os dados de forma responsável.

Principais técnicas de IA explicável em visão computacional#

Agora que abordámos a importância da explicabilidade na visão computacional, vamos analisar as principais técnicas de XAI utilizadas na IA visual.

Mapas de saliência#

As redes neuronais são modelos inspirados no cérebro humano, concebidos para reconhecer padrões e tomar decisões através do processamento de dados em camadas interligadas de nós (neurónios). Podem ser utilizadas para resolver problemas complexos de visão computacional com elevada precisão. Mesmo sendo precisas, continuam a ser caixas negras por definição.

Os mapas de saliência são uma técnica de XAI que pode ajudar a compreender o que as redes neuronais detetam ao analisar imagens. Também podem ser utilizados para diagnosticar problemas nos modelos quando estes não apresentam o desempenho esperado.

Os mapas de saliência funcionam identificando as partes de uma imagem (os píxeis) que determinam as previsões de um modelo. Este processo é muito semelhante à retropropagação, em que o modelo percorre o caminho desde as previsões até à entrada. Mas, em vez de atualizar os pesos do modelo com base nos erros, analisamos apenas o quanto cada píxel «importa» para a previsão. Os mapas de saliência são muito úteis em tarefas de visão computacional, como a classificação de imagens.

Por exemplo, se um modelo de classificação de imagens prever que uma imagem mostra um cão, podemos consultar o respetivo mapa de saliência para perceber porque pensa que é um cão. Isto ajuda-nos a identificar os píxeis que mais afetam o resultado. O mapa de saliência destacaria todos os píxeis que contribuíram para a previsão final de que a imagem mostra um cão.

Fig. 2. Vista lado a lado das imagens de entrada e dos respetivos mapas de saliência.

Mapeamento de ativação de classes (CAM)#

O mapeamento de ativação de classes é outra técnica de XAI utilizada para compreender em que partes de uma imagem uma rede neuronal se concentra ao fazer previsões de classificação de imagens. Funciona de forma semelhante aos mapas de saliência, mas centra-se na identificação das características importantes da imagem, em vez de píxeis específicos. As características são padrões ou detalhes, como formas ou texturas, que o modelo deteta na imagem.

Métodos como o mapeamento de ativação de classes com ponderação de gradientes (Grad-CAM) e o Grad-CAM++ desenvolvem a mesma ideia, introduzindo algumas melhorias.

Eis como funciona o CAM:

• Antes de a rede neuronal tomar a decisão final, utiliza uma etapa chamada agrupamento médio global (GAP) para simplificar a informação. O GAP combina todos os píxeis de um padrão detetado num único valor médio, criando um resumo para cada mapa de características (uma representação visual dos padrões detetados).
• É atribuído a cada mapa de características um peso que indica a sua importância para prever uma determinada classe (como «pássaro» ou «gato»).
• No entanto, uma limitação do CAM é que pode ser necessário voltar a treinar o modelo para calcular estes pesos, o que pode demorar bastante.

O Grad-CAM melhora este método ao utilizar gradientes, que funcionam como sinais que indicam o quanto cada mapa de características influencia a previsão final. Este método evita a necessidade do GAP e facilita a visualização daquilo em que o modelo se concentra, sem voltar a treiná-lo. O Grad-CAM++ vai mais longe ao considerar apenas as influências positivas, tornando os resultados ainda mais claros.

Fig. 3. Comparação entre CAM, Grad-CAM e Grad-CAM++.

Explicações contrafactuais#

As explicações contrafactuais são um elemento importante da IA explicável. Uma explicação contrafactual descreve uma situação ou um resultado considerando cenários ou acontecimentos alternativos que não ocorreram, mas poderiam ter ocorrido. Pode demonstrar como alterações em variáveis de entrada específicas conduzem a resultados diferentes, como em: «Se X não tivesse acontecido, Y não teria ocorrido.»

No âmbito da IA e da visão computacional, uma explicação contrafactual identifica a alteração mínima necessária numa entrada (como uma imagem ou dados) para levar um modelo de IA a produzir um resultado específico diferente. Por exemplo, alterar a cor de um objeto numa imagem poderia mudar a previsão de um modelo de classificação de imagens de «gato» para «cão».

Outro bom exemplo seria alterar o ângulo ou a iluminação num sistema de reconhecimento facial. Isso poderia levar o modelo a identificar outra pessoa, mostrando como pequenas alterações na entrada podem influenciar as previsões do modelo.

A forma mais simples de criar estas explicações é através de tentativa e erro: podes alterar aleatoriamente partes da entrada (como características da imagem ou dos dados) até o modelo de IA produzir o resultado pretendido. Outros métodos incluem abordagens independentes do modelo, que utilizam técnicas de otimização e pesquisa para encontrar alterações, e abordagens específicas do modelo, que se baseiam em definições ou cálculos internos para identificar as alterações necessárias.

Aplicações da IA explicável em visão computacional#

Agora que explorámos o que é a XAI e as suas principais técnicas, podemos ver como é utilizada na prática. A XAI tem aplicações variadas em muitos domínios. Vejamos alguns casos de utilização que demonstram o seu potencial:

• Sistemas de segurança: A XAI pode ser utilizada para melhorar os sistemas de segurança através da deteção de imagens manipuladas em documentos de identificação, como passaportes e cartas de condução. Isto garante a autenticidade das imagens, reforça os processos de verificação de identidade e previne atividades fraudulentas em aplicações sensíveis.

Fig. 4. Como a XAI funciona para detetar imagens manipuladas.

• Condução autónoma: Compreender as capacidades e limitações do sistema de IA visual a bordo de um carro autónomo pode ser essencial para testar o veículo antes de o utilizar em estradas reais. A XAI pode ajudar as empresas automóveis a identificar e resolver problemas com maior clareza.

• Sistemas judiciais: Os sistemas de análise de documentos com visão computacional são cada vez mais utilizados na tomada de decisões judiciais. A XAI promove resultados justos e permite que as decisões automatizadas sejam escrutinadas. Também ajuda os profissionais do direito a compreender como um modelo de IA chega às suas decisões.

• Monitorização da vida selvagem: As câmaras de captura são frequentemente utilizadas para monitorizar a vida selvagem e recolher dados sobre espécies animais. A XAI pode ser utilizada para explicar a forma como a IA classifica estas espécies nas imagens. Desta forma, os esforços de conservação podem ser mais fiáveis e precisos.

Principais conclusões sobre a IA explicável#

A IA explicável facilita a compreensão do funcionamento dos sistemas de IA e das razões pelas quais tomam determinadas decisões. A transparência dos modelos de IA promove a confiança e a responsabilização. O conhecimento é poder e ajuda a utilizar as inovações de IA de forma mais responsável. Em áreas críticas como a saúde, a segurança, a condução autónoma e os sistemas judiciais, a XAI pode ajudar programadores e utilizadores a compreender as previsões da IA, identificar erros e garantir uma utilização justa e ética. Ao tornar a IA mais transparente, a XAI aproxima a tecnologia da confiança humana, tornando-a mais segura e fiável em aplicações do mundo real.

Para saberes mais, visita o nosso repositório do GitHub e participa na nossa comunidade. Explora aplicações de IA em carros autónomos e na agricultura nas nossas páginas de soluções. 🚀