Latent Reasoning

Il ragionamento latente è il ragionamento che un modello svolge nei propri stati nascosti, i vettori continui all'interno della rete neurale, anziché in token scritti. Con il prompting chain-of-thought, un modello linguistico di grandi dimensioni (LLM) scrive ogni passaggio intermedio come testo e lo rilegge; nel ragionamento latente, i passaggi intermedi restano vettori e viene decodificata soltanto la risposta. Il termine comprende due aspetti: il ragionamento implicito che avviene in qualsiasi singolo passaggio in avanti, ad esempio risolvere una domanda in due passaggi senza esplicitare il fatto che li collega, e i metodi che addestrano i modelli a ragionare in uno spazio continuo, come Coconut di Meta, pubblicato nel dicembre 2024, e i modelli a profondità ricorrente del 2025.

Perché ragionare nello spazio latente#

Un passaggio scritto trasmette pochissime informazioni al passaggio successivo. Ogni token è una scelta tra decine di migliaia di elementi del vocabolario, mentre uno stato nascosto anche in un piccolo Transformer contiene centinaia o migliaia di numeri che possono codificare diversi risultati parziali contemporaneamente. Scrivere i passaggi costa anche tempo: ogni token di ragionamento richiede un passaggio in avanti completo, quindi una lunga catena di pensiero aumenta la latenza di inferenza e il costo di servizio. Anche il calcolo nascosto aggiuntivo aiuta, senza bisogno di parole. Nel 2023, ricercatori di Google e della Carnegie Mellon University hanno scoperto che addestrare un modello con un miliardo di parametri usando token «pausa» apprendibili, che gli consentono di eseguire passaggi in avanti aggiuntivi prima di rispondere, aumentava del 18% il punteggio di corrispondenza esatta sul benchmark di risposta a domande SQuAD.

Coconut: catena del pensiero continuo#

Ricercatori di Meta e UC San Diego hanno presentato Coconut nell'articolo Training Large Language Models to Reason in a Continuous Latent Space. Tra token speciali di inizio e fine del pensiero, il modello reinserisce direttamente il suo ultimo stato nascosto come input embedding successivo, invece di decodificarlo in una parola. Coconut usa GPT-2 di OpenAI e lo stesso ciclo viene eseguito sul modello preaddestrato:

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("gpt2")
model = AutoModelForCausalLM.from_pretrained("gpt2")
ids = tokenizer("Question: 3 apples plus 4 apples is", return_tensors="pt").input_ids
embeds = model.get_input_embeddings()(ids)

# Continuous thoughts: the last hidden state becomes the next input embedding
with torch.no_grad():
    for _ in range(4):
        hidden = model(inputs_embeds=embeds, output_hidden_states=True).hidden_states[-1]
        thought = hidden[:, -1:]  # a vector that is never decoded into a token
        embeds = torch.cat([embeds, thought], dim=1)

print(f"Positions: {ids.shape[1]} prompt tokens + 4 thoughts = {embeds.shape[1]}")
print(f"Each thought: {thought.shape[-1]} floats; each written step: 1 of {tokenizer.vocab_size:,} tokens")

Quattro passaggi di ragionamento allungano la sequenza da 8 a 12 posizioni senza generare testo; ogni passaggio fornisce al successivo 768 numeri in virgola mobile, mentre un passaggio scritto fornirebbe uno dei 50.257 token, circa 15,6 bit di informazione. Coconut perfeziona GPT-2 attraverso questo ciclo con un curriculum che sostituisce gradualmente, una fase alla volta, i passaggi di ragionamento scritti con pensieri continui. Su ProsQA, un'attività di ragionamento logico che richiede pianificazione, ha raggiunto il 97,0% di accuratezza generando in media 14,2 token, contro il 77,5% e i 49,4 token della chain-of-thought. Nei problemi matematici GSM8K è rimasto indietro rispetto alla chain-of-thought, con il 34,1% contro il 42,9%, pur generando circa un terzo dei token. Gli autori hanno scoperto che un singolo pensiero continuo può codificare contemporaneamente diversi possibili passaggi successivi, consentendo al modello di esplorare alternative in ampiezza, cosa che una catena scritta, vincolata a un token alla volta, non può fare.

Altri approcci#

I modelli a profondità ricorrente riutilizzano più volte lo stesso blocco di layer. Nel 2025 Jonas Geiping e colleghi hanno addestrato un modello da 3,5 miliardi di parametri su 800 miliardi di token, che all'inferenza ripete ciclicamente un blocco ricorrente; i punteggi sui benchmark di ragionamento continuavano a crescere con l'aumentare delle iterazioni, fino a raggiungere un calcolo equivalente a quello di un modello da 50 miliardi di parametri, senza scrivere un solo token aggiuntivo. La ricorrenza diventa così un modo per aumentare il calcolo al momento del test, una dimensione delle leggi di scaling che di solito si raggiunge generando catene di pensiero più lunghe. I metodi di chain-of-thought implicita addestrano un modello su soluzioni svolte e poi eliminano gradualmente i passaggi scritti: l'interiorizzazione graduale di Yuntian Deng, Yejin Choi e Stuart Shieber ha insegnato a GPT-2 Small a moltiplicare cifre a 9 per 9 con un'accuratezza fino al 99%, senza passaggi intermedi.

L'idea va oltre il testo. I modelli di concetti di grandi dimensioni (LCM) di Meta prevedono l'embedding della frase successiva invece del token successivo; le architetture predittive a embedding congiunti (JEPA) prevedono le parti mancanti di immagini e video nello spazio latente anziché nei pixel; i sistemi di IA incarnata, come Helix di Figure, passano un vettore latente, non testo, da un modello visione-linguaggio (VLM) alla policy che muove il robot. Anche i rilevatori mantengono lo stesso tipo di stato nascosto: in Ultralytics YOLO26, model.embed() esegue la modalità predict solo fino al layer precedente la testa di rilevamento e calcola il pooling medio della mappa delle caratteristiche in un vettore per immagine, invece di produrre riquadri ed etichette di classe.

Interpretabilità e sicurezza#

Una catena di pensiero scritta fornisce a persone e monitor automatizzati una traccia da leggere; i modelli di ragionamento che ragionano in testo possono essere controllati per rilevare segnali di reward hacking o inganno prima che agiscano. Un documento programmatico del luglio 2025, firmato da ricercatori di OpenAI, Google DeepMind, Anthropic, Meta e altri gruppi, ha definito la possibilità di monitorare la chain-of-thought un'opportunità fragile per la sicurezza dell'IA e ha avvertito che le architetture di ragionamento latente potrebbero eliminarla. I passaggi latenti si possono leggere solo indirettamente, usando strumenti di interpretabilità meccanicistica come sonde, la lente dei logit e gli autoencoder sparsi (SAE); nell'articolo su Coconut, decodificare un pensiero continuo attraverso la testa del modello linguistico distribuiva la probabilità tra diversi possibili valori intermedi.