Transformer

Un Transformer è un'architettura di rete neurale che elabora una sequenza di token, come parole o patch di immagini, consentendo a ogni token di ricavare informazioni da tutti gli altri tramite la self-attention. I ricercatori di Google l'hanno presentata nel 2017 in Attention Is All You Need, per la traduzione automatica. Le precedenti reti neurali ricorrenti (RNN) leggevano una frase una parola alla volta, quindi l'addestramento non poteva essere parallelizzato tra le posizioni. Il Transformer elabora tutte le posizioni contemporaneamente e il suo modello base ha raggiunto risultati all'avanguardia nella traduzione dall'inglese al tedesco dopo 12 ore di addestramento su otto GPU. Oggi i Transformer sono alla base dei modelli linguistici di grandi dimensioni (LLM), dei vision transformer, del riconoscimento vocale e di molti modelli di rilevamento degli oggetti e generazione di immagini.

Come funzionano i Transformer#

I token di input vengono prima convertiti in embedding, vettori di larghezza fissa (512 nel modello originale). Il Transformer applica quindi una serie di strati identici, ciascuno con due sottostrati:

• Self-attention multi-head: ogni token produce un vettore query, un vettore key e un vettore value. L'output di un token è una media ponderata di tutti i vettori value, con pesi determinati dalla corrispondenza tra la sua query e ciascuna key, come descritto nel meccanismo di attenzione. Più head operano in parallelo — 8 nel modello originale — così head diverse possono rilevare relazioni diverse.
• Rete feed-forward: una rete a due strati applicata separatamente a ciascun token, che trasforma le informazioni raccolte dall'attenzione.

Una connessione residua avvolge ogni sottostrato e la normalizzazione degli strati mantiene stabili le attivazioni. Il modello originale impilava 6 strati di questo tipo in un encoder, che legge la frase sorgente, e 6 in un decoder, che scrive la traduzione un token alla volta. Ogni strato del decoder aggiunge un passaggio di self-attention mascherata, che nasconde i token futuri, e un passaggio di cross-attention, che legge l'output dell'encoder:

L'attenzione confronta i token solo in base al contenuto, quindi uno strato Transformer non ha un senso innato dell'ordine: mescolando i token di input si mescolano soltanto gli output. Le informazioni posizionali vengono quindi aggiunte agli embedding dei token, tramite schemi fissi di seno e coseno nell'articolo originale, vettori posizionali appresi in BERT e ViT, oppure embedding posizionali rotazionali (RoPE) nella maggior parte degli LLM attuali. Questo codice PyTorch mostra l'effetto con uno strato encoder:

import torch
from torch import nn

# Uno strato encoder Transformer e una sequenza di 5 embedding di token
torch.manual_seed(0)
layer = nn.TransformerEncoderLayer(d_model=32, nhead=4, batch_first=True).eval()
tokens = torch.randn(1, 5, 32)
reverse = torch.arange(4, -1, -1)

# La self-attention da sola ignora l'ordine: invertendo l'input si inverte soltanto l'output
print(torch.allclose(layer(tokens[:, reverse])[:, reverse], layer(tokens), atol=1e-5))

# Aggiungere un vettore appreso per ogni posizione fa dipendere ogni output dalla posizione del relativo token
positions = nn.Embedding(5, 32).weight
reordered = layer(tokens[:, reverse] + positions)[:, reverse]
print(torch.allclose(reordered, layer(tokens + positions), atol=1e-5))

Stampa True e poi False: invertendo i token si invertono soltanto gli output finché non vengono aggiunti i vettori posizionali; a quel punto, l'ordine dei token modifica l'output di ciascun token.

Modelli encoder, decoder ed encoder-decoder#

I tre modi di usare lo stack originale servono a scopi diversi:

• Solo encoder: ogni token presta attenzione all'intero input in entrambe le direzioni, caratteristica adatta ai compiti di comprensione. BERT per il testo e ViT per le immagini usano solo l'encoder.
• Solo decoder: ogni token presta attenzione solo ai token che lo precedono, quindi il modello genera il testo un token alla volta. I modelli GPT e la maggior parte degli LLM attuali adottano questa architettura.
• Encoder-decoder: un encoder legge una sequenza e un decoder ne scrive un'altra prestando attenzione alla prima, come nei modelli di traduzione, in T5 e nel riconoscitore vocale Whisper.

Transformer nella visione artificiale#

Il Vision Transformer (ViT) tratta un'immagine come una sequenza di patch da 16×16 pixel e applica un encoder Transformer senza modifiche; lo Swin Transformer limita l'attenzione a finestre locali per gestire immagini ad alta risoluzione. DETR ha riformulato il rilevamento come previsione di insiemi: un decoder Transformer trasforma un insieme fisso di query di oggetti apprese in riquadri, un oggetto per query, eliminando la soppressione dei massimi non locali (NMS) e le ancore progettate manualmente. Il pacchetto Ultralytics esegue RT-DETR di Baidu, una versione in tempo reale di questa architettura il cui encoder ibrido applica uno strato encoder Transformer solo alla mappa delle caratteristiche con stride 32 — 400 token per un'immagine da 640×640 — e il cui decoder a 6 strati affina 300 query di oggetti fino a ottenere i rilevamenti finali, senza NMS. I Transformer generano anche immagini: i Transformer di diffusione hanno sostituito la U-Net nei recenti modelli di generazione di immagini da testo e video, mentre i modelli visione-linguaggio forniscono i token dell'immagine a un LLM solo decoder.

Transformer e architetture correlate#

• Reti neurali convoluzionali (CNN): una convoluzione osserva un piccolo intorno usando lo stesso filtro in ogni posizione, un presupposto innato che aiuta con i dataset piccoli. L'attenzione può collegare due posizioni qualsiasi in un singolo strato, ma deve apprendere la struttura spaziale dai dati; per superare le CNN, quindi, i Transformer di solito hanno bisogno di più dati di addestramento o di un preaddestramento.
• RNN e LSTM: mantengono uno stato di dimensione fissa da un passo al successivo, quindi la memoria per token rimane costante, ma l'addestramento è sequenziale. Un Transformer conserva l'accesso a tutti i token precedenti e si addestra in parallelo.
• Modelli a spazio di stato: architetture come Mamba elaborano sequenze con uno stato ricorrente il cui costo cresce linearmente con la lunghezza; i modelli ibridi li alternano a strati di attenzione.

La self-attention confronta ogni token con tutti gli altri, quindi il suo costo cresce con il quadrato della lunghezza della sequenza. Una sequenza di 4.096 token ha circa 16,8 milioni di coppie query-key per ogni head di ogni strato; raddoppiando la lunghezza a 8.192 token, il totale quadruplica fino a circa 67 milioni. FlashAttention riduce il traffico di memoria di questo calcolo e la cache KV memorizza le key e i value dei token precedenti, così durante la generazione il decoder li calcola una sola volta.