Mechanistic Interpretability

L'interpretabilità meccanicistica è il campo di ricerca che decodifica le reti neurali addestrate per individuarne i meccanismi comprensibili agli esseri umani: le caratteristiche rappresentate dal modello nelle sue attivazioni e i circuiti, cioè le catene di pesi e componenti, che trasformano tali caratteristiche in un output. Mentre la maggior parte delle valutazioni tratta il modello come una scatola nera giudicata dalle sue previsioni, l'interpretabilità meccanicistica tratta i pesi come un programma compilato da decompilare. Nata dagli studi su piccoli modelli di visione, è diventata una componente centrale della ricerca sulla sicurezza dell'AI per i modelli linguistici di grandi dimensioni (LLM); MIT Technology Review l'ha inclusa tra le 10 tecnologie rivoluzionarie del 2026.

Caratteristiche, circuiti e sovrapposizione#

Il campo si fonda su alcune ipotesi operative, illustrate per i classificatori di immagini nell'articolo di Distill Zoom In: An Introduction to Circuits:

• Caratteristiche: Direzioni nello spazio delle attivazioni di un livello che corrispondono a proprietà significative dell'input. I primi livelli di una rete neurale convoluzionale (CNN) contengono rilevatori di curve e bordi, mentre i livelli successivi contengono caratteristiche di parti degli oggetti, come le ruote o il muso dei cani.
• Circuiti: Gruppi di caratteristiche collegati da pesi che implementano un algoritmo. Nei Transformer, le teste di induzione sono coppie di teste di attenzione che individuano una precedente occorrenza del token corrente e copiano ciò che la seguiva: un meccanismo alla base dell'apprendimento in contesto. Uno studio su GPT-2 small ha mappato il circuito che completa frasi come «Quando Mary e John andarono al negozio, John diede da bere a» con «Mary», individuando 26 teste di attenzione in 7 gruppi funzionali.
• Sovrapposizione: I modelli rappresentano più caratteristiche di quanti siano i neuroni disponibili sovrapponendole; di conseguenza, un singolo neurone spesso risponde a diversi concetti non correlati. Questa polisemanticità rende i singoli neuroni unità di analisi poco efficaci e ha spinto il campo verso l'apprendimento di dizionari.

Metodi principali#

I ricercatori combinano l'osservazione, che individua le caratteristiche candidate, con l'intervento, che verifica se sono importanti:

• Sonde lineari: Addestrare un classificatore semplice sulle attivazioni per verificare se un concetto è decodificabile linearmente in un determinato livello. Una sonda dimostra che l'informazione è presente, ma per dimostrare che il modello la usa occorre un intervento.
• Ablazione e sostituzione delle attivazioni: Azzerare un'attivazione, oppure sostituirla con il suo valore ricavato da un input diverso, e misurare poi come cambia l'output. Questi test causali distinguono i componenti che calcolano un comportamento da quelli che si limitano a esservi correlati.
• Autoencoder sparsi (SAE): Reti che scompongono le attivazioni di un livello in un insieme molto più ampio di caratteristiche attive in modo sparso, annullando la sovrapposizione. Con Scaling Monosemanticity, Anthropic ha estratto milioni di caratteristiche da Claude 3 Sonnet, tra cui una relativa al Golden Gate Bridge; forzandola a un valore elevato, ha ottenuto un modello che si descriveva come il ponte.
• Grafi di attribuzione: Il lavoro di Anthropic del 2025 sul tracciamento dei circuiti in Claude 3.5 Haiku ha sostituito i livelli MLP del modello con un'approssimazione interpretabile e tracciato i percorsi da una caratteristica all'altra. Ha mostrato che il modello arrivava a «Austin» partendo da «la capitale dello stato in cui si trova Dallas», passando per una fase intermedia «Texas», e che sceglieva una parola in rima prima di scrivere il verso di una poesia che termina con essa.
• Steering: Aggiunta o sottrazione di una direzione caratteristica durante l'inferenza per modificare il comportamento, alla base dei vettori di steering e dell'ingegneria delle rappresentazioni.

Un'indagine tipica alterna questi metodi:

Ablazione dei canali in un modello di visione#

L'ablazione è il test causale più semplice da eseguire. Il frammento seguente carica un ResNet-18 preaddestrato da torchvision, usa un forward hook di PyTorch per azzerare a turno ciascuno dei 256 canali delle mappe di caratteristiche di un livello intermedio e registra di quanto diminuisce il logit della classe con il punteggio più alto del modello:

import urllib.request

import torch
from PIL import Image
from torchvision.models import ResNet18_Weights, resnet18

weights = ResNet18_Weights.DEFAULT
model = resnet18(weights=weights).eval()
image = Image.open(urllib.request.urlopen("https://ultralytics.com/images/bus.jpg"))
x = weights.transforms()(image).unsqueeze(0)

with torch.no_grad():
    logits = model(x)
    top = logits.argmax().item()
    drops = torch.zeros(256)
    for c in range(256):  # zero one layer3 channel at a time and record how far the top-class logit falls
        handle = model.layer3.register_forward_hook(lambda m, i, out: out.index_fill(1, torch.tensor([c]), 0))
        drops[c] = logits[0, top] - model(x)[0, top]
        handle.remove()

values, channels = drops.topk(3)
print(f"{weights.meta['categories'][top]}: logit {logits[0, top]:.2f}, median drop {drops.median():.3f}")
print(f"largest drops: channels {channels.tolist()} -> {values.round(decimals=2).tolist()}")

Il modello prevede «minibus» con un logit di 13,42. Rimuovere un canale tipico cambia quel logit quasi per nulla (calo mediano di -0,002), mentre la sola rimozione del canale 62 lo riduce di 1,80 e quella dei canali 70 e 155 di circa 1,15 ciascuno; pochi canali, quindi, contengono gran parte delle evidenze. Questi canali diventano il punto di partenza dei passaggi successivi: visualizzare ciò che rileva ciascuno e tracciare le caratteristiche precedenti che lo alimentano.

Interpretabilità meccanicistica e IA spiegabile#

L'intelligenza artificiale spiegabile (XAI) è il campo più ampio che mira a rendere comprensibili le decisioni dei modelli e si basa in gran parte sull'attribuzione: le mappe di salienza e le mappe di attivazione delle classi evidenziano i pixel dell'input che hanno determinato una previsione. Impostando visualize=True nella modalità predict di Ultralytics YOLO26, viene salvata una mappa di calore accanto a ogni previsione, che mostra quali pixel hanno aumentato i punteggi delle classi previste. L'attribuzione risponde alla domanda su dove ha guardato il modello; l'interpretabilità meccanicistica indaga invece quali caratteristiche e circuiti interni hanno trasformato quei pixel nel punteggio. I modelli con collo di bottiglia concettuale seguono una terza strada: integrano l'interpretabilità nell'architettura obbligando le previsioni a passare attraverso concetti definiti con nomi comprensibili alle persone.

Applicazioni e limiti#

Gli strumenti meccanicistici servono a verificare la presenza di comportamenti indesiderati negli LLM prima del rilascio, per esempio monitorando le direzioni di attivazione associate all'inganno o all'adulazione; aiutano inoltre a correggere i modelli di visione che si basano su scorciatoie, come quando un classificatore di lesioni cutanee impara che i righelli, che i dermatologi collocano accanto alle lesioni sospette, segnalano una malignità. Questo tipo di controllo è importante nell'analisi delle immagini mediche, dove un modello può ottenere buoni risultati su un set di test per il motivo sbagliato. Strumenti aperti come TransformerLens rendono abituale l'uso di hook, caching e patching sui modelli Transformer.

Il principale limite del campo è la copertura. I SAE ricostruiscono le attivazioni in modo imperfetto, quindi una parte di ogni calcolo resta inspiegata; inoltre, i modelli sostitutivi usati per i grafi di attribuzione catturano solo una parte del comportamento di un modello all'avanguardia su un determinato prompt. Verificare ogni circuito richiede ancora un notevole lavoro umano, perciò le spiegazioni complete dei modelli di grandi dimensioni restano fuori portata.