Mechanistic Interpretability

A interpretabilidade mecanística é o campo de pesquisa que faz engenharia reversa de redes neurais treinadas para descobrir mecanismos compreensíveis por pessoas: as características que um modelo representa em suas ativações e os circuitos, isto é, cadeias de pesos e componentes, que transformam essas características numa saída. Enquanto a maioria das avaliações trata o modelo como uma caixa-preta avaliada por suas previsões, a interpretabilidade mecanística trata os pesos como um programa compilado a ser descompilado. O campo cresceu a partir de estudos de pequenos modelos de visão e tornou-se parte central da pesquisa sobre segurança da IA em modelos de linguagem grandes (LLMs), e a MIT Technology Review o nomeou uma das 10 tecnologias inovadoras de 2026.

Características, circuitos e superposição#

O campo se baseia em algumas hipóteses de trabalho, apresentadas para classificadores de imagens no artigo da Distill Zoom In: An Introduction to Circuits:

• Características: Direções no espaço de ativações de uma camada que correspondem a propriedades significativas da entrada. As primeiras camadas de uma rede neural convolucional (CNN) contêm detetores de curvas e bordas, e as camadas posteriores contêm características de partes de objetos, como rodas ou focinhos de cães.
• Circuitos: Grupos de características conectados por pesos que implementam um algoritmo. Em transformers, as cabeças de indução são pares de cabeças de atenção que encontram uma ocorrência anterior do token atual e copiam o que veio depois dela, um mecanismo por trás da aprendizagem em contexto. Um estudo do GPT-2 small mapeou o circuito que completa frases como "When Mary and John went to the store, John gave a drink to" com "Mary" a 26 cabeças de atenção em 7 grupos funcionais.
• Superposição: Os modelos representam mais características do que têm neurônios, sobrepondo-as; por isso, um único neurônio costuma responder a vários conceitos não relacionados. Essa polissemanticidade explica por que neurônios individuais são unidades de análise inadequadas e por que o campo passou a recorrer à aprendizagem de dicionários.

Principais métodos#

Os pesquisadores combinam observação, que identifica características candidatas, com intervenção, que testa se elas são importantes:

• Sondagem linear: Treinar um classificador simples com ativações para verificar se um conceito pode ser decodificado linearmente numa determinada camada. Uma sonda mostra que a informação está presente; é necessária uma intervenção para mostrar que o modelo a utiliza.
• Ablação e substituição de ativações: Zerar uma ativação ou substituir seu valor pelo de uma entrada diferente e, em seguida, medir como a saída muda. Esses testes causais distinguem os componentes que computam um comportamento daqueles que apenas se correlacionam com ele.
• Autoencoders esparsos (SAEs): Redes que decompõem as ativações de uma camada num conjunto muito maior de características esparsamente ativadas, desfazendo a superposição. O trabalho Scaling Monosemanticity, da Anthropic, extraiu milhões de características do Claude 3 Sonnet, incluindo uma para a Golden Gate Bridge; ao fixá-la num valor alto, o modelo passou a descrever a si mesmo como a ponte.
• Grafos de atribuição: O trabalho de rastreamento de circuitos no Claude 3.5 Haiku da Anthropic, de 2025, substituiu as camadas MLP do modelo por uma aproximação interpretável e rastreou caminhos entre características, mostrando o modelo chegando a "Austin" a partir de "the capital of the state containing Dallas" por uma etapa intermediária, "Texas", e escolhendo uma palavra que rima antes de escrever o verso de um poema que termina com ela.
• Direcionamento: Adicionar ou subtrair uma direção de característica durante a inferência para mudar o comportamento, base dos vetores de direcionamento e da engenharia de representações.

Uma investigação típica alterna entre esses métodos:

Ablação de canais num modelo de visão#

A ablação é o teste causal mais simples de executar. O trecho abaixo carrega um ResNet-18 pré-treinado do torchvision, usa um hook forward do PyTorch para zerar, um de cada vez, cada um dos 256 canais dos mapas de características de uma camada intermediária e registra quanto diminui o logit da classe principal do modelo:

import urllib.request

import torch
from PIL import Image
from torchvision.models import ResNet18_Weights, resnet18

weights = ResNet18_Weights.DEFAULT
model = resnet18(weights=weights).eval()
image = Image.open(urllib.request.urlopen("https://ultralytics.com/images/bus.jpg"))
x = weights.transforms()(image).unsqueeze(0)

with torch.no_grad():
    logits = model(x)
    top = logits.argmax().item()
    drops = torch.zeros(256)
    for c in range(256):  # zero one layer3 channel at a time and record how far the top-class logit falls
        handle = model.layer3.register_forward_hook(lambda m, i, out: out.index_fill(1, torch.tensor([c]), 0))
        drops[c] = logits[0, top] - model(x)[0, top]
        handle.remove()

values, channels = drops.topk(3)
print(f"{weights.meta['categories'][top]}: logit {logits[0, top]:.2f}, median drop {drops.median():.3f}")
print(f"largest drops: channels {channels.tolist()} -> {values.round(decimals=2).tolist()}")

O modelo prevê "minibus" com um logit de 13,42. A remoção de um canal típico quase não altera esse logit (queda mediana de -0,002), enquanto a remoção isolada do canal 62 o reduz em 1,80, e a dos canais 70 e 155, em cerca de 1,15 cada. Portanto, alguns poucos canais carregam grande parte das evidências. Esses canais são o ponto de partida para as etapas seguintes: visualizar o que cada um deteta e rastrear quais características anteriores o alimentam.

Interpretabilidade mecanística e IA explicável#

A IA explicável (XAI) é o campo mais amplo que busca tornar compreensíveis as decisões dos modelos, e grande parte dele se concentra na atribuição: mapas de saliência e mapas de ativação de classe destacam quais pixels da entrada influenciaram uma previsão. Definir visualize=True no Ultralytics YOLO26, no modo predict, salva esse mapa de calor ao lado de cada previsão, mostrando quais pixels aumentaram as pontuações das classes previstas. A atribuição responde onde o modelo olhou; a interpretabilidade mecanística pergunta quais características e circuitos internos transformaram esses pixels na pontuação. Os modelos com gargalo conceitual seguem uma terceira abordagem: incorporam a interpretabilidade à arquitetura, obrigando as previsões a passar por conceitos nomeados por pessoas.

Aplicações e limites#

Ferramentas mecanísticas são usadas para auditar LLMs antes do lançamento em busca de comportamentos indesejados, por exemplo, monitorando direções de ativação associadas à dissimulação ou à bajulação, e para depurar modelos de visão que se apoiam em atalhos, como quando um classificador de lesões de pele aprende que réguas, colocadas por dermatologistas ao lado de lesões suspeitas, indicam malignidade. Esse tipo de verificação é importante na análise de imagens médicas, em que um modelo pode obter bons resultados num conjunto de teste pelo motivo errado. Ferramentas abertas como o TransformerLens tornam rotineiros os hooks, o armazenamento em cache e a substituição de ativações em modelos transformer.

O principal limite do campo é a cobertura. Os SAEs reconstroem as ativações de forma imperfeita, por isso parte de cada computação continua sem explicação, e os modelos substitutos usados nos grafos de atribuição capturam apenas parte do comportamento de um modelo de fronteira diante de um determinado prompt. A verificação de cada circuito ainda exige um esforço humano considerável, o que mantém as explicações completas de modelos grandes fora de alcance.