Mechanistic Interpretability

La interpretabilidad mecanicista es el campo de investigación que aplica ingeniería inversa a las redes neuronales entrenadas para descomponerlas en mecanismos comprensibles para las personas: las características que representa un modelo en sus activaciones y los circuitos —cadenas de pesos y componentes— que transforman esas características en un resultado. Mientras que la mayoría de las evaluaciones tratan el modelo como una caja negra y lo juzgan por sus predicciones, la interpretabilidad mecanicista trata los pesos como un programa compilado que hay que descompilar. El campo ha pasado de estudiar pequeños modelos de visión a convertirse en una parte fundamental de la investigación sobre seguridad de la IA aplicada a los modelos de lenguaje grandes (LLMs); MIT Technology Review lo incluyó entre sus 10 tecnologías revolucionarias de 2026.

Características, circuitos y superposición#

El campo se basa en varias hipótesis de trabajo, expuestas para los clasificadores de imágenes en el artículo de Distill Zoom In: An Introduction to Circuits:

• Características: Direcciones en el espacio de activación de una capa que corresponden a propiedades significativas de la entrada. Las primeras capas de una red neuronal convolucional (CNN) contienen detectores de curvas y bordes; las capas posteriores contienen características de partes de objetos, como las ruedas o los hocicos de perros.
• Circuitos: Grupos de características conectadas por pesos que implementan un algoritmo. En los Transformers, los cabezales de inducción son pares de cabezales de atención que encuentran una aparición anterior del token actual y copian lo que viene a continuación; este mecanismo está detrás del aprendizaje en contexto. Un estudio de GPT-2 small trazó el circuito que completa frases como «Cuando Mary y John fueron a la tienda, John le dio una bebida a» con «Mary» hasta 26 cabezales de atención en 7 grupos funcionales.
• Superposición: Los modelos representan más características que neuronas al superponerlas, por lo que una sola neurona suele responder a varios conceptos sin relación entre sí. Esta polisemia explica por qué las neuronas individuales son unidades de análisis poco adecuadas y por qué el campo recurrió al aprendizaje de diccionarios.

Métodos principales#

Los investigadores combinan la observación, que encuentra características candidatas, con la intervención, que comprueba si son importantes:

• Sondas lineales: Entrenan un clasificador sencillo con las activaciones para comprobar si un concepto puede decodificarse linealmente en una capa determinada. Una sonda muestra que la información está presente; para demostrar que el modelo la utiliza, hace falta una intervención.
• Ablación y parcheo de activaciones: Poner a cero una activación o sustituir su valor por el de otra entrada y, después, medir cómo cambia el resultado. Estas pruebas causales distinguen los componentes que calculan un comportamiento de los que solo se correlacionan con él.
• Autoencoders dispersos (SAEs): Redes que descomponen las activaciones de una capa en un conjunto mucho mayor de características con activaciones dispersas, deshaciendo la superposición. El trabajo Scaling Monosemanticity de Anthropic extrajo millones de características de Claude 3 Sonnet, incluida una del puente Golden Gate; al fijarla en un valor alto, el modelo se describió a sí mismo como el puente.
• Grafos de atribución: El trabajo de Anthropic de 2025 sobre el trazado de circuitos en Claude 3.5 Haiku sustituyó las capas MLP del modelo por una aproximación interpretable y trazó las rutas entre características. Así mostró cómo el modelo llegaba a «Austin» a partir de «la capital del estado que contiene Dallas», pasando por un «Texas» intermedio, y cómo elegía una palabra que rimaba antes de escribir el verso que termina con ella.
• Dirección: Sumar o restar una dirección de característica durante la inferencia para cambiar el comportamiento; es la base de los vectores de dirección y la ingeniería de representaciones.

Una investigación típica alterna entre estos métodos:

Ablación de canales en un modelo de visión#

La ablación es la prueba causal más sencilla de ejecutar. El fragmento siguiente carga un ResNet-18 preentrenado de torchvision, utiliza un hook de propagación hacia delante de PyTorch para poner a cero, uno por uno, los 256 canales de los mapas de características de una capa intermedia y registra cuánto cae el logit de la clase con mayor puntuación del modelo:

import urllib.request

import torch
from PIL import Image
from torchvision.models import ResNet18_Weights, resnet18

weights = ResNet18_Weights.DEFAULT
model = resnet18(weights=weights).eval()
image = Image.open(urllib.request.urlopen("https://ultralytics.com/images/bus.jpg"))
x = weights.transforms()(image).unsqueeze(0)

with torch.no_grad():
    logits = model(x)
    top = logits.argmax().item()
    drops = torch.zeros(256)
    for c in range(256):  # zero one layer3 channel at a time and record how far the top-class logit falls
        handle = model.layer3.register_forward_hook(lambda m, i, out: out.index_fill(1, torch.tensor([c]), 0))
        drops[c] = logits[0, top] - model(x)[0, top]
        handle.remove()

values, channels = drops.topk(3)
print(f"{weights.meta['categories'][top]}: logit {logits[0, top]:.2f}, median drop {drops.median():.3f}")
print(f"largest drops: channels {channels.tolist()} -> {values.round(decimals=2).tolist()}")

El modelo predice «minibús» con un logit de 13,42. Eliminar un canal cualquiera apenas cambia ese logit (descenso mediano de -0,002), mientras que eliminar solo el canal 62 lo reduce en 1,80 y los canales 70 y 155 lo reducen en aproximadamente 1,15 cada uno; por tanto, unos pocos canales aportan gran parte de la evidencia. Esos canales son el punto de partida de los siguientes pasos: visualizar qué detecta cada uno y rastrear qué características anteriores lo alimentan.

Interpretabilidad mecanicista e IA explicable#

La IA explicable (XAI) es el campo más amplio que busca hacer comprensibles las decisiones de los modelos, y buena parte de su trabajo se basa en la atribución: los mapas de saliencia y los mapas de activación de clases destacan los píxeles de entrada que han influido en una predicción. Al configurar visualize=True en el modo predict de Ultralytics YOLO26, se guarda un mapa de calor junto a cada predicción, que muestra qué píxeles han elevado las puntuaciones de las clases predichas. La atribución responde a dónde ha mirado el modelo; la interpretabilidad mecanicista pregunta qué características y circuitos internos han transformado esos píxeles en la puntuación. Los modelos de cuello de botella conceptual ofrecen una tercera vía: incorporan la interpretabilidad en la arquitectura al obligar a que las predicciones pasen por conceptos definidos por personas.

Aplicaciones y límites#

Las herramientas mecanicistas se utilizan para auditar los LLM antes de su lanzamiento y detectar comportamientos no deseados, por ejemplo, supervisando direcciones de activación relacionadas con el engaño o la adulación; también sirven para depurar modelos de visión que recurren a atajos, como cuando un clasificador de lesiones cutáneas aprende que las reglas que los dermatólogos colocan junto a lesiones sospechosas indican malignidad. Este tipo de comprobación es importante en el análisis de imágenes médicas, donde un modelo puede obtener buenos resultados en un conjunto de prueba por motivos equivocados. Herramientas abiertas como TransformerLens facilitan el uso habitual de hooks, el almacenamiento en caché y el parcheo en modelos Transformer.

La principal limitación del campo es su cobertura. Los SAE reconstruyen las activaciones de forma imperfecta, por lo que una parte de cada cálculo sigue sin explicación; además, los modelos sustitutos utilizados para los grafos de atribución solo reproducen una parte del comportamiento de un modelo de frontera ante una solicitud determinada. Verificar cada circuito sigue requiriendo un esfuerzo humano considerable, por lo que las explicaciones completas de los modelos grandes están fuera de nuestro alcance.