Reasoning Models

Um modelo de raciocínio é um modelo de linguagem de grande porte (LLM) treinado para gerar uma longa cadeia interna de pensamento antes da resposta final, podendo dedicar mais computação a problemas difíceis. A OpenAI introduziu a categoria com o o1 em 12 de setembro de 2024: na competição de matemática AIME de 2024, o GPT-4o resolveu, em média, 12% dos problemas, enquanto o o1 resolveu 74% com uma amostra por problema, 83% com uma votação por consenso entre 64 amostras e 93% quando uma função de pontuação aprendida reordenou 1.000 amostras. O o1 também superou a precisão de especialistas humanos com doutorado no benchmark científico GPQA. DeepSeek-R1, os modelos de raciocínio Gemini do Google, o Claude da Anthropic com raciocínio estendido e o Qwen3 da Alibaba vieram depois, e muitos modelos atuais são híbridos, respondendo rapidamente ou pensando por mais tempo conforme uma configuração.

Como os modelos de raciocínio são treinados#

O prompting de cadeia de pensamento mostrou em 2022 que pedir a um modelo que escreva etapas intermediárias melhora suas respostas. Os modelos de raciocínio aprendem esse comportamento por meio da aprendizagem por reforço (RL) em problemas cujas respostas podem ser verificadas automaticamente, uma abordagem chamada aprendizagem por reforço com recompensas verificáveis (RLVR). A DeepSeek descreveu a receita em seu artigo DeepSeek-R1, em janeiro de 2025. Seu modelo R1-Zero começou com o modelo-base DeepSeek-V3 e foi treinado com otimização de política relativa em grupo (GRPO), recebendo recompensa apenas por uma resposta final correta e pelo formato de saída adequado:

Não foram fornecidos exemplos passo a passo, mas a precisão pass@1 do R1-Zero na AIME 2024 subiu de 15,6% para 71,0%, e chegou a 86,7% com votação por maioria. As respostas ficaram mais longas durante o treinamento, e o modelo começou a rever e corrigir suas próprias etapas, um momento que os autores chamaram de "momento aha". O DeepSeek-R1 lançado foi treinado primeiro com alguns milhares de exemplos selecionados de raciocínio longo, para melhorar a legibilidade, e alcançou 79,8% na AIME 2024; a DeepSeek destilou seus rastros de raciocínio em modelos menores Qwen e Llama. Um modelo de recompensa de processo (PRM) que pontua cada etapa é a principal alternativa a essas recompensas por resultado, embora a DeepSeek tenha relatado que os PRMs e a busca em árvore de Monte Carlo não trouxeram benefícios em seu treinamento em larga escala.

Computação em tempo de teste#

A precisão de um modelo de raciocínio aumenta com o número de tokens que ele usa para pensar, um segundo eixo das leis de escala, além do tamanho do modelo e dos dados de treinamento. As APIs expõem isso como um esforço de raciocínio ou orçamento de pensamento, e a precisão pode aumentar ainda mais ao gerar várias respostas em paralelo e votar entre elas, ou ao pesquisar soluções parciais com um verificador. O custo é a latência e os tokens: um problema difícil pode consumir milhares de tokens de raciocínio ocultos antes da primeira palavra da resposta. A interface LLM da Ultralytics encaminha os argumentos da solicitação sem alterações para o SDK da OpenAI, permitindo que um pipeline YOLO26 passe reasoning={"effort": "high"} a um modelo de raciocínio pela API Responses quando uma cena detectada exigir uma resposta ponderada.

O o3 e o o4-mini da OpenAI, lançados em abril de 2025, estenderam a cadeia de pensamento às imagens, cortando, ampliando e girando uma foto enquanto raciocinavam sobre ela. Esse raciocínio visual ajuda na resposta a perguntas visuais (VQA) sobre textos pequenos, gráficos e cenas congestionadas.

Limitações#

Os modelos de raciocínio pensam demais em perguntas simples, gastando tokens quando bastaria uma resposta direta, e ainda falham de forma imprevisível em algumas tarefas fáceis, um padrão conhecido como inteligência irregular. A aprendizagem por reforço com respostas verificáveis recompensa os resultados, então um modelo pode aprender atalhos que passam pelo verificador, uma forma de manipulação de recompensas. A cadeia de pensamento escrita também é um registro imperfeito da computação: em um estudo da Anthropic publicado em abril de 2025, modelos que receberam uma dica que alterou sua resposta mencionaram a dica apenas 25% das vezes no Claude 3.7 Sonnet e 39% das vezes no DeepSeek-R1.

Modelos de raciocínio e termos relacionados#

• Prompting de cadeia de pensamento: pede a qualquer LLM que exponha suas etapas no momento da inferência, comportamento que os modelos de raciocínio são treinados para produzir sem que isso seja solicitado.
• Pensamento do Sistema 2: termo da psicologia para o raciocínio lento e deliberado, emprestado pela área para descrever o que os modelos de raciocínio fazem.
• Raciocínio latente: raciocínio realizado em vetores de estados ocultos, em vez de tokens escritos, sem deixar um registro legível.
• Árvore de pensamentos: busca explícita por cadeias de pensamento ramificadas, orientada pela avaliação que o próprio modelo faz de cada ramo.