Chain-of-Thought Prompting

El prompting de cadena de pensamiento (CoT) es una técnica de ingeniería de prompts en la que un modelo de lenguaje grande (LLM) escribe los pasos intermedios de su razonamiento antes de dar la respuesta final. En vez de saltar directamente de una pregunta a «9», el modelo escribe «23 - 20 = 3, y 3 + 6 = 9» y da la respuesta al final. Jason Wei y sus colaboradores de Google presentaron la técnica en el artículo de 2022 El prompting de cadena de pensamiento induce el razonamiento en modelos de lenguaje grandes. Con ocho ejemplos resueltos en el prompt, PaLM 540B pasó del 17,9 % al 56,9 % en GSM8K, una prueba de referencia de problemas matemáticos verbales de primaria; así superó el mejor resultado anterior, del 55 %, obtenido por GPT-3 ajustado con un verificador entrenado por separado (GPT-3).

Cómo funciona el prompting de cadena de pensamiento#

Un LLM genera texto token a token, y cada token pasa por el mismo número fijo de capas de red. Si la respuesta a una pregunta depende de varios pasos, el modelo debe realizar todo ese trabajo antes de escribir el primer token de la respuesta. Cuando el modelo escribe los pasos, cada resultado intermedio entra en la ventana de contexto y condiciona todos los tokens posteriores, así que los problemas más difíciles requieren más tokens y más cálculo antes de que aparezca la respuesta.

El CoT de pocos ejemplos incluye en el prompt unos cuantos ejemplos, cada uno con una pregunta seguida de una solución desarrollada; el modelo imita ese formato en la nueva pregunta. Es un caso de aprendizaje con pocos ejemplos a partir de ejemplos incluidos en el prompt. Este intercambio de la figura 1 del artículo de Wei et al. muestra el formato. La primera respuesta es el ejemplo incluido en el prompt y la segunda es la respuesta del modelo:

Q: Roger has 5 tennis balls. He buys 2 more cans of tennis balls. Each can has 3 tennis balls. How many tennis balls does he have now?
A: Roger started with 5 balls. 2 cans of 3 tennis balls each is 6 tennis balls. 5 + 6 = 11. The answer is 11.

Q: The cafeteria had 23 apples. If they used 20 to make lunch and bought 6 more, how many apples do they have?
A: The cafeteria had 23 apples originally. They used 20 to make lunch. So they had 23 - 20 = 3. They bought 6 more apples, so they have 3 + 6 = 9. The answer is 9.

Con el mismo ejemplo reducido a «La respuesta es 11», el modelo respondió «La respuesta es 27» a la pregunta sobre la cafetería.

El CoT de cero ejemplos no necesita ejemplos. Takeshi Kojima y sus colaboradores descubrieron que basta con añadir «Pensemos paso a paso» a una pregunta para activar una cadena de razonamiento escrita: con InstructGPT (text-davinci-002), la frase elevó la precisión de cero ejemplos en la prueba de referencia MultiArith del 17,7 % al 78,7 %, y en GSM8K del 10,4 % al 40,7 %, según el artículo Los modelos de lenguaje grandes razonan sin ejemplos.

Cuándo resulta útil la cadena de pensamiento#

Las mejoras dependen de la escala del modelo y de la tarea. Wei et al. describen el CoT como una capacidad emergente de la escala: las mejoras solo aparecieron en modelos de unos 100.000 millones de parámetros, mientras que los modelos más pequeños «producían cadenas de pensamiento fluidas pero ilógicas» y obtenían peores resultados que con el prompting estándar. Las mayores mejoras se dieron en problemas de varios pasos de aritmética, sentido común y razonamiento simbólico. En SingleOp, un conjunto de problemas aritméticos de un solo paso, el cambio fue negativo o muy pequeño.

Muestrear varias cadenas mejora los resultados frente a usar una sola. En la autoconsistencia, Xuezhi Wang y sus colaboradores muestrean distintas rutas de razonamiento mediante muestreo de núcleo o de temperatura y eligen la respuesta en la que coinciden más rutas; esto elevó la precisión en GSM8K en 17,9 puntos porcentuales respecto a una sola cadena voraz. Cada cadena adicional genera más tokens, así que el CoT y la autoconsistencia intercambian latencia de inferencia y coste por precisión.

Las canalizaciones de visión y lenguaje usan el mismo patrón con evidencias visuales. En Ultralytics Platform Agents, un bloque LLM recibe una imagen junto con detecciones anteriores de YOLO26, así que un prompt de cadena de pensamiento puede hacer que un modelo de visión y lenguaje analice los objetos detectados uno a uno antes de emitir su veredicto sobre la escena.

Modelos de razonamiento y fidelidad#

Los modelos de razonamiento, como o1 de OpenAI, publicado en septiembre de 2024, se entrenan con aprendizaje por refuerzo para generar una larga cadena de pensamiento antes de cada respuesta, por lo que este comportamiento ya no depende del prompt. Las prácticas recomendadas para el razonamiento de OpenAI indican a los desarrolladores que eviten dar instrucciones como «piensa paso a paso» a estos modelos, ya que quizá no ayuden e incluso puedan perjudicar.

Una cadena escrita también parece explicar la respuesta, lo que puede llevar a interpretarla como IA explicable. Miles Turpin y sus colaboradores demostraron que puede tergiversar la causa real en Los modelos de lenguaje no siempre dicen lo que piensan: al reordenar los ejemplos de pocos casos para que la opción correcta siempre fuera «(A)», GPT-3.5 y Claude 1.0 desplazaron sus respuestas hacia «(A)» y redactaron cadenas que las justificaban sin mencionar el orden. Características sesgadas como esta redujeron la precisión hasta un 36 % en 13 tareas de BIG-Bench Hard. Las cadenas plausibles pero erróneas son una fuente de alucinaciones en LLM.

Cadena de pensamiento frente a técnicas relacionadas#

• Encadenamiento de prompts: Divide una tarea entre varias llamadas al modelo; el código pasa cada resultado al prompt siguiente. El CoT ocurre dentro de una sola llamada.
• Árbol de pensamientos (ToT): Genera varios pasos candidatos en cada punto, los puntúa y explora el árbol resultante mediante retroceso, mientras que CoT sigue un único camino.
• Prompts ReAct: Intercala pasos de razonamiento con acciones, como búsquedas o llamadas a herramientas, y devuelve los resultados a la cadena.
• Cadena de verificación (CoVe): Hace que el modelo redacte una respuesta, se plantee preguntas de verificación, las responda de forma independiente y revise el borrador.
• Razonamiento latente: Realiza el razonamiento intermedio en los estados ocultos del modelo en lugar de expresarlo con tokens escritos, por lo que no se ve ninguna cadena.