Group Relative Policy Optimization (GRPO)
Оптимизация политики с относительной оценкой в группе (GRPO) обучает LLM с помощью RL: каждый сгенерированный ответ оценивается относительно ответов в той же группе, поэтому не нужна критическая модель, необходимая PPO.
Group Relative Policy Optimization (GRPO) — алгоритм обучения с подкреплением для дообучения больших языковых моделей (LLMs). Для каждого промпта он генерирует группу ответов, оценивает каждый с помощью проверяющей программы или модели вознаграждения и определяет, насколько каждый ответ лучше или хуже остальных в группе. Среднее значение по группе заменяет отдельную ценностную сеть, или критик, которую Proximal Policy Optimization (PPO) — алгоритм, лежащий в основе классического RLHF, — обучает параллельно с моделью. Это позволяет сэкономить память и вычислительные ресурсы, необходимые для второй сети, примерно равной по размеру обучаемой модели. DeepSeek представила GRPO в своей статье DeepSeekMath 2024 года, а его использование в DeepSeek-R1 в январе 2025 года сделало его стандартным алгоритмом обучения моделей рассуждения, которые прорабатывают длинную цепочку рассуждений перед ответом. Такие модели обучаются на проверяемых вознаграждениях, например за проверенный математический ответ или пройденный модульный тест.
Как работает GRPO#
На каждом шаге обучения для пакета промптов повторяется одна и та же процедура:
- Сэмплирование группы: Текущая модель генерирует несколько ответов на один и тот же промпт; в DeepSeekMath использовалось 64 ответа на вопрос.
- Оценка каждого ответа: Проверяющая программа, основанная на правилах, или обученная модель вознаграждения назначает каждому ответу вознаграждение.
- Вычисление относительных преимуществ в группе: Для каждого ответа его вознаграждение минус среднее вознаграждение группы делится на стандартное отклонение группы; полученное преимущество назначается каждому токену ответа.
- Обновление политики: Функция цели с отсечением, как в PPO, повышает вероятность токенов в ответах с результатом выше среднего и снижает её для ответов с результатом ниже среднего. Штраф за расхождение KL, добавленный непосредственно к функции потерь, не даёт модели слишком далеко отходить от замороженной эталонной копии.
Поскольку преимущества относительны, группа, в которой все ответы получают одинаковое вознаграждение, вообще не несёт сигнала для обучения. Это главный недостаток эффективности GRPO. Если модель всегда или никогда не справляется с промптом, вся группа пропадает зря, поэтому обучающие наборы часто фильтруют, оставляя задачи средней сложности для текущей модели.
GRPO в коде#
Библиотеки, например обучающий алгоритм GRPO в TRL от Hugging Face, реализуют полный алгоритм для языковых моделей. В этом примере на PyTorch выполняется такое же обновление для игрушечной политики, которая выбирает один из шести возможных ответов на единственный промпт. Проверяющая программа принимает только один из них:
import torch
torch.manual_seed(0)
# Toy policy over 6 candidate answers to one prompt; a verifier accepts only answer 4
logits = torch.zeros(6, requires_grad=True)
ref_log_probs = torch.log_softmax(torch.zeros(6), dim=0) # frozen reference policy
correct = torch.tensor([0.0, 0.0, 0.0, 0.0, 1.0, 0.0])
optimizer = torch.optim.Adam([logits], lr=0.05)
beta = 0.04 # KL weight used in DeepSeekMath
print(f"P(correct) before: {torch.softmax(logits, dim=0)[4]:.2f}")
for step in range(150):
answers = torch.distributions.Categorical(logits=logits).sample((8,)) # a group of 8 sampled answers
rewards = correct[answers]
advantages = (rewards - rewards.mean()) / (rewards.std() + 1e-4) # the group mean replaces a critic
log_probs = torch.log_softmax(logits, dim=0)[answers]
# Per-sample KL estimate to the reference policy, added to the loss: exp(d) - d - 1 with d = ref - new
d = ref_log_probs[answers] - log_probs
loss = -(advantages * log_probs - beta * (torch.exp(d) - d - 1)).mean()
optimizer.zero_grad()
loss.backward()
optimizer.step()
print(f"P(correct) after: {torch.softmax(logits, dim=0)[4]:.2f}")Он выводит P(correct) before: 0.17 и P(correct) after: 0.98. В начале около 23% групп по 8 не содержат правильного ответа — (5/6)⁸, — и эти группы дают только небольшую составляющую KL; каждая группа с правильным ответом повышает вероятность этого ответа без какой-либо ценностной сети.
GRPO, PPO и другие методы#
- Proximal Policy Optimization: PPO оценивает преимущество каждого токена с помощью обученного критика, обычно такой же крупной сети, как сама политика. В конвейерах RLHF этот алгоритм включает штраф за KL в вознаграждение. GRPO отказывается от критика и переносит член KL в функцию потерь, экономя память на критике ценой дополнительных генераций для наполнения каждой группы.
- REINFORCE с базовыми линиями: Такие методы, как REINFORCE Leave-One-Out (RLOO), также используют остальные сэмплированные ответы как базовую линию. GRPO добавляет отсечение из PPO и делит результат на стандартное отклонение группы.
- Direct Preference Optimization (DPO): DPO обучается офлайн на фиксированном наборе предпочтительных и отклонённых пар ответов. GRPO работает онлайн: модель генерирует новые ответы и получает новые вознаграждения на каждом шаге.
- Модели вознаграждения за процесс: Обычно GRPO назначает каждому ответу одно итоговое вознаграждение, но в статье DeepSeekMath также проверялся вариант с контролем процесса, при котором модель оценивает каждый шаг рассуждения, а токены каждого шага получают собственное преимущество.
Применение#
- Математические рассуждения: В DeepSeekMath GRPO повысил результат модели 7B с дообучением по инструкциям с 46.8% до 51.7% на тесте MATH и с 82.9% до 88.2% на GSM8K. DeepSeek-R1-Zero, обученная с GRPO и вознаграждениями на основе правил непосредственно на базовой модели, повысила результат pass@1 на AIME 2024 с 15.6% до 71.0% и научилась создавать длинные цепочки рассуждений с перепроверкой собственных вычислений.
- Генерация кода: Вознаграждения за запуск сгенерированных программ на модульных тестах естественным образом подходят для GRPO, поскольку каждая программа либо проходит тесты, либо нет.
- Агенты и использование инструментов: Многошаговые задачи, например поиск в интернете или разработка ПО, оцениваются по конечному результату, а сравнение внутри группы распределяет вклад между целыми траекториями.
GRPO применяется не только к тексту. В Flow-GRPO его использовали для моделей генерации изображений по тексту на основе сопоставления потоков, используя в качестве вознаграждения количество и расположение объектов, определённые детектором объектов. Детектор Ultralytics YOLO26 может предоставить такое вознаграждение: он подсчитывает объекты на каждом изображении группы, чтобы изображения с нужным количеством объектов получали положительные преимущества.
Варианты и известные проблемы#
У исходного алгоритма есть несколько известных недостатков, которые исправляют более новые варианты:
- DAPO: В методике ByteDance Seed 2025 года отбрасываются группы, в которых все ответы правильные или все неправильные, а пакет пополняется заново; верхняя граница отсечения ослабляется, чтобы редкие полезные токены могли быстрее набирать вес; функция потерь усредняется по токенам, а не по ответам. Метод достиг результата 50 баллов на AIME 2024 с базовой моделью Qwen2.5-32B.
- Dr. GRPO: Анализ 2025 года показал, что деление функции потерь каждого ответа на его длину позволяет неправильным ответам становиться длиннее без штрафа, а деление на стандартное отклонение группы чрезмерно взвешивает вопросы, которые почти всегда решаются или почти всегда остаются нерешёнными. Dr. GRPO устраняет оба способа нормализации.
- GSPO: Команда Qwen из Alibaba вычисляет коэффициент важности для всей последовательности, а не для каждого токена. Это стабилизирует обучение с подкреплением моделей типа «смесь экспертов», и команда связывает этот подход с улучшениями в моделях Qwen3.
Как и любой метод оптимизации вознаграждения, GRPO усиливает недостатки сигнала вознаграждения. Проверяющая программа, которая проверяет только формат итогового ответа, или модульные тесты, для которых можно подобрать частное решение, провоцируют взлом функции вознаграждения при тысячах сэмплированных ответов на каждом шаге.










