Latent Reasoning

O raciocínio latente é o raciocínio que um modelo executa em seus estados ocultos — os vetores contínuos dentro da rede neural — em vez de expressá-lo em tokens escritos. Com o prompting em cadeia de raciocínio, um modelo de linguagem grande (LLM) escreve cada etapa intermediária como texto e a lê novamente; no raciocínio latente, as etapas intermediárias permanecem como vetores e apenas a resposta é decodificada. O termo abrange dois fenômenos: o raciocínio implícito que ocorre em qualquer passagem direta única, como resolver uma pergunta de duas etapas sem nomear o fato que as conecta, e os métodos que treinam modelos para pensar em espaço contínuo, como o Coconut da Meta, publicado em dezembro de 2024, e os modelos de profundidade recorrente de 2025.

Por que raciocinar em espaço latente#

Uma etapa escrita transmite muito pouca informação. Cada token é uma escolha entre dezenas de milhares de palavras do vocabulário, enquanto o estado oculto de um transformer pequeno contém centenas ou milhares de números capazes de codificar vários resultados parciais de uma só vez. Escrever as etapas também leva tempo: cada token de raciocínio exige uma passagem direta completa, então uma cadeia de raciocínio longa aumenta a latência de inferência e o custo de execução. O processamento oculto adicional também ajuda sem palavras. Em 2023, pesquisadores do Google e da Carnegie Mellon University descobriram que treinar um modelo com 1 bilhão de parâmetros usando tokens "pause" treináveis, que permitem passagens diretas extras antes da resposta, aumentou em 18% a pontuação de correspondência exata no benchmark de resposta a perguntas SQuAD.

Coconut: cadeia de pensamento contínua#

Pesquisadores da Meta e da UC San Diego apresentaram o Coconut no artigo Treinamento de modelos de linguagem grandes para raciocinar em um espaço latente contínuo. Entre tokens especiais de início e fim do pensamento, o modelo insere seu último estado oculto diretamente como a próxima incorporação, em vez de decodificá-lo como uma palavra. O Coconut usou o GPT-2 da OpenAI, e o mesmo ciclo é executado no modelo pré-treinado:

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("gpt2")
model = AutoModelForCausalLM.from_pretrained("gpt2")
ids = tokenizer("Question: 3 apples plus 4 apples is", return_tensors="pt").input_ids
embeds = model.get_input_embeddings()(ids)

# Continuous thoughts: the last hidden state becomes the next input embedding
with torch.no_grad():
    for _ in range(4):
        hidden = model(inputs_embeds=embeds, output_hidden_states=True).hidden_states[-1]
        thought = hidden[:, -1:]  # a vector that is never decoded into a token
        embeds = torch.cat([embeds, thought], dim=1)

print(f"Positions: {ids.shape[1]} prompt tokens + 4 thoughts = {embeds.shape[1]}")
print(f"Each thought: {thought.shape[-1]} floats; each written step: 1 of {tokenizer.vocab_size:,} tokens")

Quatro etapas de raciocínio aumentam a sequência de 8 para 12 posições sem gerar texto, e cada etapa fornece à próxima passagem direta 768 números de ponto flutuante, enquanto uma etapa escrita forneceria um entre 50.257 tokens, cerca de 15,6 bits de informação. O Coconut ajusta o GPT-2 por meio desse ciclo, usando um currículo que substitui as etapas de raciocínio escritas por pensamentos contínuos, uma etapa de cada vez. No ProsQA, uma tarefa de raciocínio lógico que exige planejamento, alcançou 97,0% de precisão gerando em média 14,2 tokens, contra 77,5% de precisão e 49,4 tokens para a cadeia de raciocínio. Em problemas matemáticos do GSM8K, ficou abaixo da cadeia de raciocínio: 34,1% contra 42,9%, embora tenha gerado cerca de um terço dos tokens. Os autores descobriram que um único pensamento contínuo pode codificar várias etapas seguintes possíveis de uma só vez, permitindo ao modelo explorar alternativas em largura, algo que uma cadeia escrita, comprometida com um token de cada vez, não consegue fazer.

Outras abordagens#

Os modelos de profundidade recorrente reutilizam o mesmo bloco de camadas muitas vezes. Em 2025, Jonas Geiping e colegas treinaram um modelo com 3,5 bilhões de parâmetros usando 800 bilhões de tokens, que repete um bloco recorrente durante a inferência. As pontuações nos benchmarks de raciocínio continuaram subindo com mais iterações, até atingir uma computação equivalente à de um modelo com 50 bilhões de parâmetros, sem escrever um único token adicional. Isso faz da recorrência uma forma de ampliar a computação no momento do teste, uma dimensão das leis de escala normalmente alcançada com a geração de cadeias de raciocínio mais longas. Os métodos de cadeia de raciocínio implícita treinam um modelo com soluções resolvidas e depois removem gradualmente as etapas escritas: a internalização passo a passo de Yuntian Deng, Yejin Choi e Stuart Shieber ensinou o GPT-2 Small a resolver multiplicações de números de 9 dígitos com até 99% de precisão, sem etapas intermediárias.

A ideia vai além do texto. Os modelos de conceitos grandes (LCMs) da Meta preveem a incorporação da próxima frase em vez do próximo token; as arquiteturas de predição por incorporação conjunta (JEPA) preveem as partes ausentes de imagens e vídeos em espaço latente, em vez de trabalhar com pixels; e os sistemas de AI incorporada, como o Helix da Figure, passam um vetor latente, não texto, de um modelo de visão e linguagem (VLM) para a política que controla o robô. Os detectores mantêm o mesmo tipo de estado oculto: no Ultralytics YOLO26, model.embed() executa o modo de previsão apenas até a camada anterior à cabeça de detecção e aplica pooling médio ao mapa de características para produzir um vetor por imagem, em vez de caixas e rótulos de classe.

Interpretabilidade e segurança#

Uma cadeia de raciocínio escrita fornece a pessoas e sistemas de monitoramento automatizados um registro que podem ler, e os modelos de raciocínio que raciocinam em texto podem ser verificados quanto a sinais de manipulação da recompensa ou engano antes de agir. Um artigo de posicionamento de julho de 2025, escrito por pesquisadores da OpenAI, Google DeepMind, Anthropic, Meta e outros grupos, chamou essa capacidade de monitorar a cadeia de raciocínio de uma oportunidade frágil para a segurança da AI e alertou que arquiteturas de raciocínio latente poderiam eliminá-la. As etapas latentes só podem ser lidas indiretamente, com ferramentas de interpretabilidade mecanística, como sondas, a lente de logits e codificadores automáticos esparsos (SAEs); no artigo sobre o Coconut, a decodificação de um pensamento contínuo pela cabeça do modelo de linguagem distribuiu sua probabilidade por vários valores intermediários candidatos.