Reasoning Models
I modelli di ragionamento sono LLM addestrati con l'apprendimento per rinforzo a generare una lunga catena di pensiero prima di rispondere. Include o1, DeepSeek-R1 e i limiti.
Un modello di ragionamento è un modello linguistico di grandi dimensioni (LLM) addestrato per generare una lunga catena di pensiero interna prima della risposta finale, così da poter dedicare più calcolo ai problemi più difficili. OpenAI ha introdotto la categoria con o1 il 12 settembre 2024: nella competizione matematica AIME 2024, GPT-4o ha risolto in media il 12% dei problemi, mentre o1 ne ha risolto il 74% con un campione per problema, l'83% con un voto di consenso su 64 campioni e il 93% quando una funzione di punteggio appresa ha riordinato 1.000 campioni. o1 ha anche superato la precisione di esperti umani con un dottorato nel benchmark scientifico GPQA. DeepSeek-R1, i modelli di ragionamento Gemini di Google, Claude di Anthropic con ragionamento esteso e Qwen3 di Alibaba sono seguiti, e molti modelli attuali sono ibridi che rispondono rapidamente o ragionano a lungo in base a un'impostazione.
Come vengono addestrati i modelli di ragionamento#
Il prompting con catena di pensiero ha mostrato nel 2022 che chiedere a un modello di scrivere i passaggi intermedi migliora le sue risposte. I modelli di ragionamento apprendono questo comportamento tramite l'apprendimento per rinforzo (RL) su problemi le cui risposte possono essere verificate automaticamente, un approccio chiamato apprendimento per rinforzo con ricompense verificabili (RLVR). DeepSeek ha descritto la ricetta nel suo articolo su DeepSeek-R1 nel gennaio 2025. Il suo modello R1-Zero è partito dal modello base DeepSeek-V3 ed è stato addestrato con l'ottimizzazione delle politiche relative al gruppo (GRPO), ricevendo ricompense solo per una risposta finale corretta e per il formato di output giusto:
Non sono stati forniti esempi passo passo, eppure l'accuratezza pass@1 di R1-Zero su AIME 2024 è salita dal 15,6% al 71,0% e all'86,7% con il voto a maggioranza. Le risposte si sono allungate durante l'addestramento e il modello ha iniziato a ricontrollare e rivedere i propri passaggi, un momento che gli autori hanno definito «momento aha». Il DeepSeek-R1 rilasciato è stato prima addestrato su alcune migliaia di esempi di ragionamento lungo selezionati per migliorarne la leggibilità e ha raggiunto il 79,8% su AIME 2024; DeepSeek ha distillato le sue tracce di ragionamento in modelli Qwen e Llama più piccoli. Un modello di ricompensa del processo (PRM) che assegna un punteggio a ogni passaggio è la principale alternativa a queste ricompense basate sull'esito, anche se DeepSeek ha riferito che i PRM e la ricerca ad albero Monte Carlo non hanno dato risultati positivi nel suo addestramento su larga scala.
Calcolo al momento del test#
La precisione di un modello di ragionamento aumenta con il numero di token che usa per pensare: un secondo asse delle leggi di scaling, accanto alle dimensioni del modello e ai dati di addestramento. Le API lo espongono come livello di impegno nel ragionamento o budget di ragionamento, e la precisione può aumentare ulteriormente generando più risposte in parallelo e votando, oppure cercando tra soluzioni parziali con un verificatore. Il costo è la latenza e i token: un problema difficile può consumare migliaia di token di ragionamento nascosti prima della prima parola della risposta. L'interfaccia LLM di Ultralytics inoltra invariati gli argomenti della richiesta a OpenAI SDK, quindi una pipeline YOLO26 può passare reasoning={"effort": "high"} a un modello di ragionamento tramite l'API Responses quando una scena rilevata richiede una risposta ponderata.
o3 e o4-mini di OpenAI, rilasciati nell'aprile 2025, hanno esteso la catena di pensiero alle immagini, ritagliando, ingrandendo e ruotando una foto mentre la analizzavano. Questo ragionamento visivo è utile per la risposta a domande visive (VQA) su testi piccoli, grafici e scene affollate.
Limiti#
I modelli di ragionamento pensano troppo alle domande semplici, consumando token quando basterebbe una risposta diretta, e continuano a fallire in modo imprevedibile in alcuni compiti facili: un comportamento noto come intelligenza frastagliata. L'RL su risposte verificabili premia gli esiti, quindi un modello può imparare scorciatoie che superano il controllo: una forma di manipolazione della ricompensa. Anche la catena di pensiero scritta è una registrazione imperfetta del calcolo: in uno studio di Anthropic pubblicato nell'aprile 2025, quando veniva fornito un suggerimento che modificava la risposta, i modelli menzionavano il suggerimento solo nel 25% dei casi per Claude 3.7 Sonnet e nel 39% dei casi per DeepSeek-R1.
Modelli di ragionamento e termini correlati#
- Prompting con catena di pensiero: chiede a qualsiasi LLM di esplicitare i passaggi al momento dell'inferenza; è il comportamento che i modelli di ragionamento vengono addestrati a produrre senza che venga richiesto.
- Pensiero di sistema 2: termine psicologico per il ragionamento lento e ponderato, ripreso dal settore per descrivere il funzionamento dei modelli di ragionamento.
- Ragionamento latente: ragionamento svolto in vettori di stato nascosto anziché in token scritti, che non lascia tracce leggibili.
- Albero dei pensieri: ricerca esplicita tra catene di pensiero ramificate, guidata dalla valutazione che il modello stesso fa di ogni ramo.
