Latent Reasoning

El razonamiento latente es el que un modelo lleva a cabo en sus estados ocultos, los vectores continuos dentro de la red neuronal, en lugar de expresarlo mediante tokens escritos. Con la generación de cadenas de pensamiento, un modelo de lenguaje grande (LLM) escribe cada paso intermedio como texto y lo vuelve a leer; con el razonamiento latente, los pasos intermedios permanecen como vectores y solo se decodifica la respuesta. El término abarca dos cosas: el razonamiento implícito que se produce en cualquier pasada hacia delante, como resolver una pregunta de dos pasos sin mencionar el hecho que los conecta, y los métodos que entrenan modelos para pensar en un espacio continuo, como Coconut de Meta, publicado en diciembre de 2024, y los modelos de profundidad recurrente de 2025.

Por qué razonar en el espacio latente#

Un paso escrito transmite muy poca información hacia delante. Cada token es una opción entre decenas de miles del vocabulario, mientras que un estado oculto incluso en un Transformer pequeño contiene cientos o miles de números que pueden codificar varios resultados parciales a la vez. Escribir los pasos también lleva tiempo: cada token de razonamiento requiere una pasada hacia delante completa, así que una cadena de pensamiento larga aumenta la latencia de inferencia y el coste del servicio. Los cálculos ocultos adicionales también ayudan sin necesidad de palabras. En 2023, investigadores de Google y Carnegie Mellon University descubrieron que entrenar un modelo de mil millones de parámetros con tokens «pause» aprendibles, que le permiten realizar pasadas hacia delante adicionales antes de responder, mejoró un 18 % la puntuación de coincidencia exacta en la prueba de respuesta a preguntas SQuAD.

Coconut: cadena de pensamiento continuo#

Investigadores de Meta y UC San Diego presentaron Coconut en Entrenar modelos de lenguaje grandes para razonar en un espacio latente continuo. Entre los tokens especiales de inicio y fin del pensamiento, el modelo introduce directamente su último estado oculto como siguiente representación de entrada, en vez de decodificarlo como palabra. Coconut utilizó GPT-2 de OpenAI, y el mismo bucle se ejecuta sobre el modelo preentrenado:

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("gpt2")
model = AutoModelForCausalLM.from_pretrained("gpt2")
ids = tokenizer("Question: 3 apples plus 4 apples is", return_tensors="pt").input_ids
embeds = model.get_input_embeddings()(ids)

# Continuous thoughts: the last hidden state becomes the next input embedding
with torch.no_grad():
    for _ in range(4):
        hidden = model(inputs_embeds=embeds, output_hidden_states=True).hidden_states[-1]
        thought = hidden[:, -1:]  # a vector that is never decoded into a token
        embeds = torch.cat([embeds, thought], dim=1)

print(f"Positions: {ids.shape[1]} prompt tokens + 4 thoughts = {embeds.shape[1]}")
print(f"Each thought: {thought.shape[-1]} floats; each written step: 1 of {tokenizer.vocab_size:,} tokens")

Cuatro pasos de razonamiento amplían la secuencia de 8 a 12 posiciones sin generar texto, y cada paso proporciona a la siguiente pasada hacia delante 768 números de coma flotante; un paso escrito, en cambio, proporcionaría uno de 50.257 tokens, unos 15,6 bits de información. Coconut ajusta GPT-2 mediante este bucle con un plan de aprendizaje que sustituye los pasos de razonamiento escritos por pensamientos continuos, una etapa cada vez. En ProsQA, una tarea de razonamiento lógico que requiere planificación, alcanzó una precisión del 97,0 % generando una media de 14,2 tokens, frente al 77,5 % y los 49,4 tokens de la generación de cadenas de pensamiento. En los problemas matemáticos GSM8K quedó por debajo de esta última, con un 34,1 % frente a un 42,9 %, aunque generó aproximadamente un tercio de los tokens. Los autores descubrieron que un único pensamiento continuo puede codificar varios pasos siguientes posibles a la vez, lo que permite al modelo explorar alternativas en anchura, algo que una cadena escrita, comprometida con un token cada vez, no puede hacer.

Otros enfoques#

Los modelos de profundidad recurrente reutilizan muchas veces el mismo bloque de capas. En 2025, Jonas Geiping y sus colegas entrenaron un modelo de 3.500 millones de parámetros con 800.000 millones de tokens; en inferencia, el modelo repite un bloque recurrente y sus puntuaciones en pruebas de razonamiento seguían aumentando con más iteraciones, hasta alcanzar un cómputo equivalente al de un modelo de 50.000 millones de parámetros, sin escribir ningún token adicional. La recurrencia permite ampliar el cómputo durante la inferencia, una dimensión de las leyes de escalado que normalmente se aprovecha generando cadenas de pensamiento más largas. Los métodos de cadena de pensamiento implícita entrenan un modelo con soluciones desarrolladas y luego eliminan gradualmente los pasos escritos: la internalización paso a paso de Yuntian Deng, Yejin Choi y Stuart Shieber enseñó a GPT-2 Small a resolver multiplicaciones de dígitos de hasta 9 por 9 con una precisión de hasta el 99 %, sin pasos intermedios.

La idea va más allá del texto. Los modelos de conceptos grandes (LCM) de Meta predicen la representación vectorial de la siguiente frase en vez del siguiente token; las arquitecturas predictivas de representación conjunta (JEPA) predicen las partes ausentes de imágenes y vídeos en el espacio latente en vez de hacerlo en píxeles; y los sistemas de IA corporizada, como Helix de Figure, pasan un vector latente, no texto, de un modelo de visión y lenguaje (VLM) a la política que mueve el robot. Los detectores mantienen el mismo tipo de estado oculto: en Ultralytics YOLO26, model.embed() ejecuta el modo predict solo hasta la capa anterior al cabezal de detección y calcula la media espacial del mapa de características para obtener un vector por imagen, en lugar de cuadros y etiquetas de clase.

Interpretabilidad y seguridad#

Una cadena de pensamiento escrita proporciona a las personas y a los sistemas de supervisión automatizados un registro que pueden leer, y los modelos de razonamiento que razonan mediante texto pueden revisarse para detectar indicios de manipulación de la recompensa o engaño antes de actuar. Un documento de posición de julio de 2025, firmado por investigadores de OpenAI, Google DeepMind, Anthropic, Meta y otros grupos, calificó esta capacidad de supervisar cadenas de pensamiento como una oportunidad frágil para la seguridad de la IA y advirtió de que las arquitecturas de razonamiento latente podrían eliminarla. Los pasos latentes solo pueden leerse indirectamente, mediante herramientas de interpretabilidad mecanicista, como sondas, el logit lens y los codificadores automáticos dispersos (SAE); en el artículo sobre Coconut, al decodificar un pensamiento continuo con el cabezal del modelo de lenguaje, la probabilidad se repartía entre varios valores intermedios posibles.