Chain-of-Thought Prompting

O prompting de cadeia de raciocínio (CoT) é uma técnica de engenharia de prompts na qual um grande modelo de linguagem (LLM) apresenta etapas intermediárias de raciocínio antes de dar a resposta final. Em vez de saltar diretamente de uma pergunta para "9", o modelo escreve "23 - 20 = 3, e 3 + 6 = 9" e apresenta a resposta no final. Jason Wei e colegas do Google introduziram a técnica no artigo de 2022 O prompting de cadeia de raciocínio estimula o raciocínio em grandes modelos de linguagem. Com oito exemplos resolvidos no prompt, o PaLM 540B passou de 17,9% para 56,9% no GSM8K, um benchmark de problemas matemáticos em texto do ensino fundamental, superando o melhor resultado anterior, de 55%, obtido pelo GPT-3 ajustado em conjunto com um verificador treinado separadamente.

Como funciona o prompting de cadeia de raciocínio#

Um LLM gera texto um token por vez, e cada token passa pelo mesmo número fixo de camadas da rede. Quando a resposta depende de várias etapas, o modelo precisa fazer todo esse trabalho antes de escrever o primeiro token da resposta. Ao apresentar as etapas, cada resultado intermediário entra na janela de contexto e condiciona todos os tokens seguintes; assim, problemas mais difíceis recebem mais tokens — e mais computação — antes que a resposta apareça.

O CoT com poucos exemplos coloca alguns exemplos no prompt, cada um com uma pergunta seguida de uma solução detalhada, e o modelo imita esse formato na nova pergunta; trata-se de um caso de aprendizado com poucos exemplos a partir de exemplos no prompt. Este diálogo da Figura 1 do artigo de Wei et al. mostra o formato. A primeira resposta é o exemplo inserido no prompt, e a segunda é a resposta do modelo:

Q: Roger has 5 tennis balls. He buys 2 more cans of tennis balls. Each can has 3 tennis balls. How many tennis balls does he have now?
A: Roger started with 5 balls. 2 cans of 3 tennis balls each is 6 tennis balls. 5 + 6 = 11. The answer is 11.

Q: The cafeteria had 23 apples. If they used 20 to make lunch and bought 6 more, how many apples do they have?
A: The cafeteria had 23 apples originally. They used 20 to make lunch. So they had 23 - 20 = 3. They bought 6 more apples, so they have 3 + 6 = 9. The answer is 9.

Com o mesmo exemplo reduzido a "A resposta é 11.", o modelo respondeu "A resposta é 27." à pergunta sobre a cafeteria.

O CoT com zero exemplos não precisa de exemplos. Takeshi Kojima e colegas descobriram que acrescentar "Vamos pensar passo a passo" a uma pergunta basta para desencadear uma cadeia de raciocínio escrita: com o InstructGPT (text-davinci-002), a frase elevou a precisão zero-shot no benchmark MultiArith de 17,7% para 78,7% e no GSM8K de 10,4% para 40,7%, conforme relatado em Grandes modelos de linguagem são capazes de raciocinar com zero exemplos.

Quando a cadeia de raciocínio ajuda#

Os ganhos dependem da escala do modelo e da tarefa. Wei et al. descrevem o CoT como uma habilidade emergente da escala: as melhorias apareceram apenas em modelos com cerca de 100 bilhões de parâmetros, enquanto modelos menores "produziram cadeias de pensamento fluentes, mas ilógicas" e tiveram resultados inferiores aos do prompting padrão. Os maiores ganhos ocorreram em problemas de várias etapas de aritmética, senso comum e raciocínio simbólico. No SingleOp, um conjunto de problemas de aritmética de uma etapa, a mudança foi negativa ou muito pequena.

Amostragem de várias cadeias melhora os resultados em relação a uma só. Na autoconsistência, Xuezhi Wang e colegas amostram caminhos de raciocínio diversos com amostragem por núcleo ou temperatura e escolhem a resposta com a qual a maioria dos caminhos concorda; isso elevou a precisão no GSM8K em 17,9 pontos percentuais em relação a uma única cadeia gulosa. Cada cadeia adicional acrescenta tokens gerados, portanto CoT e autoconsistência trocam latência de inferência e custo por precisão.

Pipelines de visão e linguagem usam o mesmo padrão com evidências de imagem. Nos Agents da Ultralytics Platform, um bloco LLM recebe uma imagem junto com detecções anteriores do YOLO26, de modo que um prompt de cadeia de raciocínio pode fazer um modelo de visão e linguagem analisar os objetos detectados um por um antes de dar seu parecer sobre a cena.

Modelos de raciocínio e fidelidade#

Modelos de raciocínio, como o o1 da OpenAI, lançado em setembro de 2024, são treinados com aprendizado por reforço para produzir uma longa cadeia de raciocínio antes de cada resposta, de modo que esse comportamento já não depende do prompt. As práticas recomendadas de raciocínio da OpenAI orientam os desenvolvedores a evitar instruções como "pense passo a passo" com esses modelos, pois elas podem não ajudar e, às vezes, até atrapalhar.

Uma cadeia escrita também parece explicar a resposta, o que pode levar à tentação de interpretá-la como IA explicável. Miles Turpin e colegas mostraram que ela pode deturpar a causa real em Modelos de linguagem nem sempre dizem o que pensam: quando exemplos do tipo few-shot foram reordenados para que a opção correta fosse sempre "(A)", GPT-3.5 e Claude 1.0 passaram a escolher mais vezes "(A)" e escreveram cadeias que justificavam as respostas sem mencionar a ordenação. Recursos com viés desse tipo reduziram a precisão em até 36% em 13 tarefas do BIG-Bench Hard. Cadeias plausíveis, mas incorretas, são uma fonte de alucinação em LLMs.

Cadeia de raciocínio versus técnicas relacionadas#

• Encadeamento de prompts: Divide uma tarefa entre várias chamadas de modelo, com código passando cada saída ao prompt seguinte. O CoT ocorre dentro de uma única chamada.
• Árvore de Pensamentos (ToT): Gera várias etapas candidatas em cada ponto, atribui pontuações a elas e pesquisa a árvore resultante com retrocesso, enquanto o CoT segue um único caminho.
• Prompting ReAct: Intercala etapas de raciocínio com ações, como pesquisas ou chamadas de ferramentas, e devolve os resultados à cadeia.
• Cadeia de Verificação (CoVe): Faz o modelo elaborar uma resposta, fazer perguntas de verificação a si mesmo, respondê-las de forma independente e revisar o rascunho.
• Raciocínio latente: Realiza o raciocínio intermediário nos estados ocultos do modelo, em vez de usar tokens escritos, portanto nenhuma cadeia fica visível.