Explainable AI (XAI)

A IA explicável (XAI) é o conjunto de métodos que tornam compreensíveis para as pessoas as saídas dos modelos de inteligência artificial (IA): quais entradas influenciaram uma previsão, como um modelo se comporta em geral e quando suas respostas são confiáveis. Modelos de aprendizado profundo (DL), com milhões ou bilhões de parâmetros, funcionam como caixas-pretas: são precisos, mas opacos; a XAI permite que desenvolvedores, usuários, auditores e órgãos reguladores vejam seu funcionamento interno. As explicações são usadas para depurar modelos, detectar viés algorítmico, justificar decisões às pessoas afetadas por elas e cumprir requisitos legais. O programa Explainable AI da DARPA, lançado em 2017, popularizou o termo.

Explicabilidade versus interpretabilidade#

As duas palavras costumam ser usadas como sinônimos. Quando pesquisadores fazem distinção entre elas, modelos interpretáveis são compreensíveis por projeto, como modelos lineares, pequenas árvores de decisão e modelos com gargalo de conceitos, enquanto os métodos de explicabilidade produzem explicações posteriores para modelos que não são interpretáveis. Em um artigo de 2019 na Nature Machine Intelligence, Cynthia Rudin argumentou que decisões de alto impacto deveriam usar modelos interpretáveis, pois uma explicação a posteriori pode deturpar o que o modelo realmente calcula.

Dois termos próximos são mais abrangentes ou profundos. A transparência em IA diz respeito à abertura sobre um sistema inteiro, incluindo suas fontes de dados, seu projeto e seu uso pretendido. A interpretabilidade mecanística faz engenharia reversa dos circuitos internos de uma rede, uma abordagem usada principalmente em grandes modelos de linguagem.

Tipos de explicações#

As explicações diferem em escopo e no nível de acesso necessário. Uma explicação local justifica uma previsão, como o motivo da recusa de um empréstimo específico, enquanto uma explicação global descreve o comportamento em todas as previsões, como quais características são mais importantes no geral. Métodos independentes do modelo tratam o modelo como uma caixa-preta e consultam apenas suas entradas e saídas; métodos específicos do modelo usam seu funcionamento interno, como gradientes ou pesos de atenção.

Técnicas comuns de XAI#

• SHAP (explicações aditivas de valores de Shapley): Atribui a cada característica uma parcela da previsão usando valores de Shapley da teoria dos jogos cooperativos, de modo que as contribuições somem exatamente a diferença entre a previsão e uma linha de base.
• LIME (explicações locais interpretáveis e independentes de modelo): Perturba uma entrada várias vezes, registra como a previsão muda e ajusta um modelo substituto simples, como um modelo linear esparso, que imita a caixa-preta nas proximidades daquela entrada.
• Importância de características por permutação: Embaralha uma característica de cada vez e mede quanto a pontuação do modelo cai; é uma explicação global que funciona com qualquer modelo.
• Explicações contrafactuais: Indicam a menor alteração na entrada que inverteria a decisão, como a renda a partir da qual um empréstimo teria sido aprovado.
• Mapas de saliência: Destacam os pixels que mais influenciaram a saída de um modelo de visão. Métodos de mapa de ativação de classe (CAM), como o Grad-CAM, ponderam os mapas de características de uma rede pelos gradientes da pontuação da classe prevista para produzir um mapa de calor aproximado das evidências.

Ultralytics YOLO26 incorpora um método CAM à previsão: definir visualize=True salva um mapa de calor LayerCAM, que pondera cada posição dos mapas de características que entram na cabeça de detecção pelo próprio gradiente positivo em relação à classe prevista:

from ultralytics import YOLO

# Carrega um detector YOLO26 pré-treinado no COCO
model = YOLO("yolo26n.pt")

# Salva um mapa de calor LayerCAM que explica apenas as detecções de "person" (classe 0)
model.predict("https://ultralytics.com/images/bus.jpg", visualize=True, classes=[0])

A pasta da execução recebe bus_cam.jpg, um mapa de calor sobreposto à imagem, no qual as cores quentes marcam os pixels que elevaram as pontuações de person.

Quando as explicações induzem ao erro#

Uma explicação pode parecer convincente e ainda assim estar errada sobre o modelo. Em "Verificações de sanidade para mapas de saliência" (2018), pesquisadores aleatorizaram os pesos treinados de uma rede e descobriram que vários métodos populares de saliência produziam mapas quase iguais aos anteriores, o que mostrou que os mapas refletiam mais as bordas da imagem de entrada do que qualquer coisa que o modelo tivesse aprendido. Um estudo de 2020 mostrou que era possível envolver um classificador deliberadamente enviesado de modo que LIME e SHAP reportassem características inofensivas, enquanto as decisões subjacentes continuavam discriminatórias. Os quatro princípios de IA explicável do NIST tratam diretamente dessa questão: as explicações devem existir, ser significativas para seu público e refletir com precisão o processo do sistema, e o sistema deve operar apenas nas condições para as quais foi projetado.

Aplicações e regulamentação#

• Análise de imagens médicas: Os mapas de calor permitem que um radiologista confirme que um modelo sinalizou uma radiografia por causa da própria lesão e detecte modelos que se baseiam em marcadores do scanner ou texto incorporado à imagem.
• Detecção de atalhos: No artigo original sobre LIME, as explicações revelaram um classificador de huskies e lobos deliberadamente falho, que se baseava na neve ao fundo.
• Crédito e empréstimos: De acordo com a Lei de Igualdade de Oportunidades de Crédito dos EUA, os credores devem informar aos solicitantes os motivos principais específicos de uma recusa, sem exceção para decisões tomadas por algoritmos complexos.

O GDPR dá às pessoas sujeitas a decisões automatizadas o direito a informações significativas sobre a lógica envolvida; o Artigo 13 da Lei de IA da UE exige que sistemas de alto risco sejam transparentes o suficiente para que os responsáveis pela implantação interpretem suas saídas; e o Artigo 86 dá a uma pessoa afetada por uma decisão baseada em um sistema de alto risco o direito a explicações claras e significativas sobre o papel do sistema de IA e os principais elementos da decisão.