Reasoning Models
Модели рассуждений — это LLM, обученные с помощью обучения с подкреплением формировать длинную цепочку рассуждений перед ответом. Рассматриваются o1, DeepSeek-R1 и ограничения.
Модель рассуждений — это большая языковая модель (LLM), обученная генерировать длинную внутреннюю цепочку рассуждений перед окончательным ответом, чтобы тратить больше вычислительных ресурсов на сложные задачи. OpenAI ввела эту категорию 12 сентября 2024 года вместе с o1: на математическом соревновании AIME 2024 GPT-4o в среднем решала 12% задач, тогда как o1 — 74% при одной выборке на задачу, 83% при голосовании по консенсусу среди 64 выборок и 93%, когда обученная функция оценки переупорядочила 1000 выборок. o1 также превзошла точность экспертов с докторской степенью в области науки на бенчмарке GPQA. Затем появились DeepSeek-R1, модели Google Gemini с режимом рассуждений, Claude от Anthropic с расширенным режимом рассуждений и Qwen3 от Alibaba; многие современные модели представляют собой гибриды, которые отвечают быстро или рассуждают дольше в зависимости от настройки.
Как обучают модели рассуждений#
В 2022 году подсказки с пошаговыми рассуждениями показали, что просьба записать промежуточные шаги улучшает ответы модели. Модели рассуждений обучаются такому поведению с помощью обучения с подкреплением (RL) на задачах, ответы на которые можно проверить автоматически; этот подход называют обучением с подкреплением на проверяемых вознаграждениях (RLVR). DeepSeek описала этот подход в статье о DeepSeek-R1 в январе 2025 года. Модель R1-Zero взяли за основу базовую модель DeepSeek-V3 и обучили с помощью групповой оптимизации относительной политики (GRPO), вознаграждая только за правильный окончательный ответ и верный формат вывода:
Пошаговые примеры не предоставлялись, однако точность R1-Zero по метрике pass@1 на AIME 2024 выросла с 15,6% до 71,0%, а при голосовании большинства — до 86,7%. Во время обучения ответы модели становились длиннее, и она начала перепроверять и исправлять собственные шаги — этот момент авторы назвали «ага-моментом». Выпущенную DeepSeek-R1 сначала обучили на нескольких тысячах отобранных длинных примеров рассуждений, чтобы сделать ответы понятнее; модель достигла результата 79,8% на AIME 2024. Затем DeepSeek дистиллировала цепочки рассуждений в более компактные модели Qwen и Llama. Основная альтернатива таким вознаграждениям за результат — модель вознаграждения за процесс (PRM), оценивающая каждый шаг, хотя DeepSeek сообщила, что PRM и поиск по дереву методом Монте-Карло не оправдали себя при крупномасштабном обучении.
Вычисления на этапе вывода#
Точность модели рассуждений растёт с количеством токенов, которые она тратит на размышления; это вторая ось законов масштабирования, наряду с размером модели и обучающими данными. API предоставляют для этого настройку интенсивности рассуждений или лимита на размышления, а точность можно дополнительно повысить, параллельно генерируя несколько ответов и выбирая наиболее популярный либо перебирая частичные решения с помощью верификатора. Цена этого — задержка и токены: на сложную задачу могут уйти тысячи скрытых токенов рассуждений, прежде чем появится первое слово ответа. Интерфейс LLM в Ultralytics передаёт аргументы запроса в OpenAI SDK без изменений, поэтому конвейер YOLO26 может передать reasoning={"effort": "high"} модели рассуждений через Responses API, когда обнаруженная сцена требует обдуманного ответа.
Выпущенные в апреле 2025 года o3 и o4-mini от OpenAI распространили цепочку рассуждений на изображения: модели обрезали, увеличивали и поворачивали фото, анализируя его. Такое визуальное рассуждение помогает решать задачи визуальных вопросов и ответов (VQA), связанные с мелким текстом, графиками и загромождёнными сценами.
Ограничения#
Модели рассуждений чрезмерно обдумывают простые вопросы и тратят токены там, где хватило бы прямого ответа; при этом они всё ещё непредсказуемо ошибаются в некоторых простых задачах. Этот феномен называют зубчатым интеллектом. Обучение с подкреплением на проверяемых ответах вознаграждает результат, поэтому модель может научиться обходным приёмам, которые проходят проверку, — это разновидность взлома вознаграждения. Записанная цепочка рассуждений также не полностью отражает ход вычислений: в исследовании Anthropic, опубликованном в апреле 2025 года, модели, которым давали подсказку, менявшую их ответ, упоминали эту подсказку лишь в 25% случаев для Claude 3.7 Sonnet и в 39% случаев для DeepSeek-R1.
Модели рассуждений и смежные понятия#
- Подсказки с пошаговыми рассуждениями: побуждают любую LLM записывать свои шаги во время вывода; модели рассуждений обучают выдавать такие рассуждения без соответствующей просьбы.
- Мышление системы 2: психологический термин для медленных, обдуманных рассуждений, которым исследователи описывают работу моделей рассуждений.
- Скрытые рассуждения: рассуждения, выполняемые в векторах скрытых состояний, а не в записанных токенах, поэтому от них не остаётся читаемого следа.
- Дерево рассуждений: явный поиск по ветвящимся цепочкам рассуждений, направляемый собственной оценкой моделью каждой ветви.
