GPT (Generative Pre-trained Transformer)

GPT (Trasformatore generativo preaddestrato) è un modello linguistico Transformer solo decoder, preaddestrato innanzitutto su grandi quantità di testo senza etichette per predire il token successivo, quindi adattato ai vari compiti. OpenAI ha introdotto questo approccio nel giugno 2018 con l'articolo di Alec Radford e colleghi Improving Language Understanding by Generative Pre-Training; il nome riassume il metodo: un modello generativo di testo, preaddestrato prima di qualsiasi training specifico per un compito e basato sul Transformer. La serie GPT è passata dai 117 milioni di parametri di GPT-1 ai 175 miliardi di GPT-3, mentre ChatGPT, lanciato il 30 novembre 2022, ha reso questa famiglia di grandi modelli linguistici (LLM) la più conosciuta. «In stile GPT» descrive anche qualsiasi LLM solo decoder addestrato allo stesso modo, tra cui Llama di Meta e i modelli Qwen di Alibaba.

Come funziona un modello GPT#

Il testo viene prima suddiviso in token; GPT-2 ha introdotto la tokenizzazione a livello di byte con un vocabolario di 50.257 token, mantenuto da GPT-3. Ogni token diventa un embedding a cui si aggiunge un segnale di posizione e una serie di blocchi decoder identici affina quei vettori. In ogni blocco, la self-attention mascherata consente a ciascuna posizione di leggere solo se stessa e le posizioni precedenti, mentre un livello feed-forward trasforma ogni posizione in modo indipendente:

Grazie alla maschera causale, un solo passaggio forward su una sequenza di training di 1.024 token produce contemporaneamente 1.024 previsioni del token successivo, consentendo il pretraining parallelo nonostante la generazione sia sequenziale. Durante l'inferenza, il modello assegna un punteggio al token successivo, lo aggiunge e ripete l'operazione, riutilizzando i calcoli precedenti tramite una cache KV. Ecco il primo passaggio di GPT-2 di OpenAI, con 124 milioni di parametri:

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("gpt2")
model = AutoModelForCausalLM.from_pretrained("gpt2")
inputs = tokenizer("The capital of France is", return_tensors="pt")

# One forward pass scores every vocabulary token as the next token
with torch.no_grad():
    logits = model(**inputs).logits[0, -1]
top = logits.softmax(dim=-1).topk(5)
for p, i in zip(top.values, top.indices):
    print(f"{tokenizer.decode(i)!r}: {p:.3f}")

# Generation repeats that step, appending one token at a time
output = model.generate(**inputs, max_new_tokens=8, do_sample=False, pad_token_id=tokenizer.eos_token_id)
print(tokenizer.decode(output[0]))

GPT-2 assegna a « the» una probabilità di 0.085 e a « Paris» solo 0.032; la decodifica greedy produce «The capital of France is the capital of the French Republic, and». Un GPT preaddestrato continua il testo secondo i dati di training; l'instruction tuning, seguito dal reinforcement learning con feedback umano (RLHF), lo trasforma in un assistente che risponde alle domande.

Da GPT-1 a GPT-6#

GPT-1 ha preaddestrato un decoder a 12 livelli su oltre 7.000 libri non pubblicati e poi lo ha sottoposto a fine-tuning per ogni compito, migliorando i risultati all'avanguardia in 9 dei 12 compiti esaminati. GPT-2, annunciato nel febbraio 2019, è cresciuto fino a 1,5 miliardi di parametri addestrati su 40 GB di testo web e ha svolto compiti zero-shot; per timore di un uso improprio, OpenAI ne ha rilasciato i pesi gradualmente fino a novembre 2019. GPT-3, nel maggio 2020, ha dimostrato l'apprendimento few-shot da esempi inseriti nel prompt, un risultato previsto dalle leggi di scaling.

InstructGPT e poi ChatGPT hanno introdotto l'addestramento con feedback umano, e GPT-4 ha accettato immagini come input nel marzo 2023. I modelli di ragionamento della serie o di OpenAI, a partire da o1 nel settembre 2024, hanno imparato a scrivere una lunga catena di pensieri prima di rispondere; GPT-5, rilasciato il 7 agosto 2025, ha introdotto un router che gestisce un modello rapido e uno di ragionamento. Due giorni prima, OpenAI aveva rilasciato gpt-oss-120b e gpt-oss-20b con licenza Apache 2.0: i suoi primi modelli linguistici con pesi aperti da GPT-2. La famiglia GPT-6 è arrivata nel settembre 2026: GPT-6 Astra il 3 settembre, GPT-6 Sol e GPT-6 Luna il 22 settembre e GPT-6.1 Sol il 29 settembre.

GPT nella computer vision#

La stessa ricetta del token successivo si applica alle immagini. Nel 2020, Image GPT di OpenAI ha addestrato modelli delle dimensioni di GPT-2 a predire i pixel uno alla volta; la modellazione autoregressiva visiva (VAR) predice le immagini scala per scala e molti modelli visione-linguaggio (VLM) collegano un encoder di immagini a un decoder in stile GPT che scrive la risposta. Anche gli encoder testuali riprendono questo design: CLIP di OpenAI codifica il testo con un Transformer a 12 livelli e 63 milioni di parametri, basato sull'architettura di GPT-2 e sull'autoattenzione mascherata. YOLO-World di Tencent AI Lab, incluso nel pacchetto Ultralytics, usa l'encoder testuale CLIP quando viene chiamato set_classes(["person", "bus"]), trasformando ogni nome di classe in un embedding che il rilevatore associa alle regioni dell'immagine. In questo modo, l'elenco delle classi può cambiare senza riaddestramento. Anche i modelli GPT di OpenAI leggono immagini, e la classifica VLM misura la precisione con cui GPT-6.1 Sol e altri modelli visione-linguaggio rilevano oggetti nei dataset del mondo reale.

GPT e termini correlati#

BERT usa l'encoder Transformer senza maschera causale, quindi ogni token vede l'intero input; è adatto alla classificazione e al recupero di informazioni, ma non genera testo. Un LLM è qualsiasi grande modello linguistico, mentre GPT indica sia la serie di modelli di OpenAI sia l'architettura solo decoder condivisa dalla maggior parte degli LLM. Un chatbot come ChatGPT è un'applicazione basata sui modelli GPT, che include un prompt di sistema, la cronologia della conversazione e strumenti integrati intorno al modello.