Reasoning Models
Los modelos de razonamiento son LLM entrenados con aprendizaje por refuerzo para generar una cadena de pensamiento larga antes de responder. Incluye o1, DeepSeek-R1 y sus limitaciones.
Un modelo de razonamiento es un modelo de lenguaje grande (LLM) entrenado para generar una larga cadena interna de pensamiento antes de dar su respuesta final, de modo que pueda dedicar más capacidad de cálculo a los problemas difíciles. OpenAI introdujo esta categoría con o1 el 12 de septiembre de 2024: en la competición matemática AIME de 2024, GPT-4o resolvió de media el 12 % de los problemas, mientras que o1 resolvió el 74 % con una muestra por problema, el 83 % mediante una votación por consenso sobre 64 muestras y el 93 % cuando una función de puntuación aprendida volvió a clasificar 1.000 muestras. o1 también superó la precisión de expertos humanos con doctorado en el referente científico GPQA. Después llegaron DeepSeek-R1, los modelos de razonamiento Gemini de Google, Claude de Anthropic con razonamiento ampliado y Qwen3 de Alibaba; muchos modelos actuales son híbridos que responden rápidamente o razonan durante más tiempo según la configuración.
Cómo se entrenan los modelos de razonamiento#
En 2022, la generación de cadenas de pensamiento mediante prompts demostró que pedirle a un modelo que escriba pasos intermedios mejora sus respuestas. Los modelos de razonamiento aprenden ese comportamiento mediante aprendizaje por refuerzo (RL) con problemas cuyas respuestas se pueden comprobar automáticamente, un enfoque llamado aprendizaje por refuerzo con recompensas verificables (RLVR). DeepSeek describió el método en su artículo sobre DeepSeek-R1 en enero de 2025. Su modelo R1-Zero partió del modelo base DeepSeek-V3 y se entrenó con optimización de políticas relativas por grupos (GRPO); solo recibía recompensas por una respuesta final correcta y por respetar el formato de salida:
No se proporcionaron ejemplos paso a paso, pero la precisión pass@1 de R1-Zero en AIME 2024 aumentó del 15,6 % al 71,0 %, y llegó al 86,7 % con votación por mayoría. Sus respuestas se alargaron durante el entrenamiento y el modelo empezó a volver a comprobar y revisar sus propios pasos, un momento que los autores llamaron «momento ajá». La versión publicada de DeepSeek-R1 se entrenó primero con unos pocos miles de ejemplos seleccionados de razonamiento extenso para mejorar la legibilidad y alcanzó un 79,8 % en AIME 2024; además, DeepSeek destiló sus trazas de razonamiento en modelos Qwen y Llama más pequeños. Un modelo de recompensa por proceso (PRM) que puntúa cada paso es la principal alternativa a estas recompensas por resultado, aunque DeepSeek informó de que los PRM y la búsqueda de árboles de Monte Carlo no resultaron rentables en su entrenamiento a gran escala.
Cómputo en tiempo de inferencia#
La precisión de un modelo de razonamiento aumenta con el número de tokens que dedica a pensar, un segundo eje de las leyes de escalado, junto al tamaño del modelo y los datos de entrenamiento. Las API lo exponen como un nivel de esfuerzo de razonamiento o un presupuesto de pensamiento, y la precisión puede aumentar aún más si se generan varias respuestas en paralelo y se vota entre ellas, o si se buscan soluciones parciales con un verificador. El coste es la latencia y los tokens: un problema difícil puede consumir miles de tokens de razonamiento ocultos antes de que aparezca la primera palabra de la respuesta. La interfaz LLM de Ultralytics reenvía los argumentos de la solicitud sin cambios al SDK de OpenAI, por lo que un flujo de trabajo de YOLO26 puede pasar reasoning={"effort": "high"} a un modelo de razonamiento a través de la API Responses cuando una escena detectada requiere una respuesta meditada.
o3 y o4-mini de OpenAI, publicados en abril de 2025, ampliaron la cadena de pensamiento a las imágenes: el modelo recorta, amplía y gira una foto mientras la analiza. Este razonamiento visual ayuda con la respuesta a preguntas visuales (VQA) sobre texto pequeño, gráficos y escenas abarrotadas.
Limitaciones#
Los modelos de razonamiento piensan demasiado las preguntas sencillas y gastan tokens cuando bastaría una respuesta directa; además, siguen fallando de forma imprevisible en algunas tareas fáciles, un patrón conocido como inteligencia irregular. El RL con respuestas verificables recompensa los resultados, por lo que un modelo puede aprender atajos que superen la comprobación, una forma de manipulación de recompensas. La cadena de pensamiento escrita también es un registro imperfecto del cómputo: en un estudio de Anthropic publicado en abril de 2025, los modelos que recibieron una pista que cambió su respuesta solo mencionaron la pista el 25 % de las veces en el caso de Claude 3.7 Sonnet y el 39 % en el de DeepSeek-R1.
Modelos de razonamiento y términos relacionados#
- Generación de cadenas de pensamiento mediante prompts: Pide a cualquier LLM que exponga sus pasos durante la inferencia; los modelos de razonamiento se entrenan para generar ese comportamiento sin que se les pida.
- Pensamiento del sistema 2: Término de la psicología para el razonamiento lento y deliberado que el campo toma prestado para describir lo que hacen los modelos de razonamiento.
- Razonamiento latente: Razonamiento que se lleva a cabo en vectores de estado oculto en lugar de en tokens escritos, por lo que no deja un rastro legible.
- Árbol de pensamientos: Búsqueda explícita entre cadenas de pensamiento ramificadas, guiada por la propia evaluación que hace el modelo de cada rama.
