Group Relative Policy Optimization (GRPO)
그룹 상대 정책 최적화(GRPO)는 샘플링된 답변을 같은 그룹 내 답변과 비교해 점수를 매기는 강화 학습으로 LLM을 학습하며, PPO에 필요한 크리틱 모델을 제거합니다.
그룹 상대 정책 최적화(GRPO)는 대규모 언어 모델(LLMs)을 미세 조정하기 위한 강화 학습 알고리즘입니다. 각 프롬프트에 대해 여러 응답을 샘플링하고 검증기나 보상 모델로 각 응답을 채점한 다음, 같은 그룹의 나머지 응답보다 얼마나 더 잘하거나 못했는지를 기준으로 각 응답을 평가합니다. 그룹 평균은 고전적인 RLHF의 기반 알고리즘인 근접 정책 최적화(PPO)가 모델과 함께 학습하는 별도의 가치 네트워크, 즉 크리틱을 대체합니다. 이로써 학습 대상 모델만큼 큰 두 번째 네트워크에 필요한 메모리와 연산량을 절약합니다. DeepSeek은 2024년 DeepSeekMath 논문에서 GRPO를 소개했으며, 2025년 1월 DeepSeek-R1에 적용되면서 긴 사고 연쇄를 거쳐 답변하는 추론 모델 학습의 표준 알고리즘이 되었습니다. 이러한 모델은 정답 확인을 마친 수학 답변이나 통과한 단위 테스트와 같은 검증 가능한 보상으로 학습합니다.
GRPO의 작동 방식#
각 학습 단계에서는 프롬프트 배치에 대해 동일한 절차를 반복합니다.
- 그룹 샘플링: 현재 모델은 동일한 프롬프트에 대해 여러 응답을 생성합니다. DeepSeekMath에서는 질문당 64개의 응답을 사용했습니다.
- 각 응답 채점: 규칙 기반 검증기 또는 학습된 보상 모델이 각 응답에 보상을 부여합니다.
- 그룹 상대 어드밴티지 계산: 각 응답의 보상에서 그룹 평균을 뺀 값을 그룹 표준편차로 나누어 해당 응답의 어드밴티지로 삼으며, 이 값은 응답의 모든 토큰에 동일하게 적용됩니다.
- 정책 업데이트: PPO 방식의 클리핑 목적 함수는 평균보다 높은 응답에 포함된 토큰의 확률을 높이고 평균보다 낮은 응답의 토큰 확률을 낮춥니다. 손실에 직접 추가되는 KL 발산 페널티는 모델이 고정된 참조 사본과 가까운 상태를 유지하도록 합니다.
어드밴티지는 상대적이므로 모든 응답이 같은 보상을 받는 그룹에는 학습 신호가 전혀 없습니다. 이것이 GRPO의 주요 비효율성입니다. 모델이 항상 풀거나 전혀 풀지 못하는 프롬프트에서는 전체 그룹이 낭비되므로, 현재 모델 기준으로 난이도가 중간인 문제만 학습 세트에 포함하도록 필터링하는 경우가 많습니다.
코드에서의 GRPO#
Hugging Face의 TRL GRPO 트레이너와 같은 라이브러리는 언어 모델을 위한 전체 알고리즘을 구현합니다. 다음 PyTorch 예제는 단일 프롬프트에 대한 여섯 개의 후보 답변 중 하나를 선택하는 장난감 정책에 동일한 업데이트를 적용하며, 검증기는 후보 중 하나만 승인합니다.
import torch
torch.manual_seed(0)
# Toy policy over 6 candidate answers to one prompt; a verifier accepts only answer 4
logits = torch.zeros(6, requires_grad=True)
ref_log_probs = torch.log_softmax(torch.zeros(6), dim=0) # frozen reference policy
correct = torch.tensor([0.0, 0.0, 0.0, 0.0, 1.0, 0.0])
optimizer = torch.optim.Adam([logits], lr=0.05)
beta = 0.04 # KL weight used in DeepSeekMath
print(f"P(correct) before: {torch.softmax(logits, dim=0)[4]:.2f}")
for step in range(150):
answers = torch.distributions.Categorical(logits=logits).sample((8,)) # a group of 8 sampled answers
rewards = correct[answers]
advantages = (rewards - rewards.mean()) / (rewards.std() + 1e-4) # the group mean replaces a critic
log_probs = torch.log_softmax(logits, dim=0)[answers]
# Per-sample KL estimate to the reference policy, added to the loss: exp(d) - d - 1 with d = ref - new
d = ref_log_probs[answers] - log_probs
loss = -(advantages * log_probs - beta * (torch.exp(d) - d - 1)).mean()
optimizer.zero_grad()
loss.backward()
optimizer.step()
print(f"P(correct) after: {torch.softmax(logits, dim=0)[4]:.2f}")P(correct) before: 0.17과 P(correct) after: 0.98을 출력합니다. 시작 시에는 8개 그룹 중 약 23%에 정답이 없으며 (5/6)⁸, 이러한 그룹은 작은 KL 항만 기여합니다. 정답이 포함된 모든 그룹은 가치 네트워크 없이 정답 쪽으로 확률을 끌어올립니다.
GRPO와 PPO 및 기타 기법 비교#
- 근접 정책 최적화: PPO는 학습된 크리틱으로 각 토큰의 어드밴티지를 추정합니다. 크리틱은 일반적으로 정책 자체만큼 큰 네트워크이며, RLHF 파이프라인에서는 KL 페널티를 보상에 포함합니다. GRPO는 크리틱을 제거하고 KL 항을 손실로 옮기는 대신, 각 그룹을 구성하는 데 필요한 추가 생성 과정의 비용을 감수합니다.
- 베이스라인을 적용한 REINFORCE: REINFORCE Leave-One-Out(RLOO)과 같은 방법도 샘플링된 다른 응답을 베이스라인으로 사용합니다. GRPO는 PPO의 클리핑을 추가하고 그룹 표준편차로 나눕니다.
- 직접 선호도 최적화(DPO): DPO는 선호 응답과 거부 응답 쌍으로 구성된 고정 데이터 세트를 사용해 오프라인으로 학습합니다. GRPO는 온라인 방식으로, 모델이 새로운 응답을 생성하고 각 단계에서 새로운 보상을 받습니다.
- 프로세스 보상 모델: GRPO는 일반적으로 응답마다 하나의 결과 보상을 제공하지만, DeepSeekMath 논문에서는 모델이 추론 단계마다 점수를 매기고 각 단계의 토큰이 자체 어드밴티지를 얻는 프로세스 감독 방식도 테스트했습니다.
응용 분야#
- 수학적 추론: DeepSeekMath에서 GRPO를 적용하자 7B 지시 미세 조정 모델의 MATH 벤치마크 점수는 46.8%에서 51.7%로, GSM8K 점수는 82.9%에서 88.2%로 향상되었습니다. 기본 모델에서 직접 GRPO와 규칙 기반 보상을 사용해 학습한 DeepSeek-R1-Zero는 AIME 2024의 pass@1 점수를 15.6%에서 71.0%로 높였으며, 자체 작업을 재검토하는 긴 사고 연쇄를 작성하는 방법을 학습했습니다.
- 코드 생성: 생성된 프로그램을 단위 테스트로 실행해 얻는 보상은 GRPO에 자연스럽게 적용됩니다. 샘플링된 프로그램은 테스트를 통과하거나 실패하기 때문입니다.
- 에이전트 및 도구 사용: 웹 검색이나 소프트웨어 엔지니어링과 같은 다중 턴 작업은 최종 결과를 기준으로 채점하며, 그룹 비교를 통해 전체 작업 궤적에 걸쳐 공로를 배분합니다.
GRPO는 텍스트를 넘어 적용 범위를 넓히고 있습니다. Flow-GRPO는 플로 매칭을 기반으로 구축된 텍스트-이미지 모델에 GRPO를 적용하고, 객체 감지기에서 얻은 객체 수와 위치를 보상으로 사용했습니다. Ultralytics YOLO26 감지기는 이러한 보상을 제공할 수 있습니다. 생성된 이미지 그룹의 각 이미지에서 객체를 세어 요청된 개수와 일치하는 이미지에 양의 어드밴티지를 부여합니다.
변형 기법 및 알려진 문제#
기본 알고리즘에는 알려진 약점이 몇 가지 있으며, 최신 변형 기법은 이를 보완합니다.
- DAPO: ByteDance Seed가 2025년에 제안한 레시피는 모든 응답이 정답이거나 오답인 그룹을 버리고 배치를 다시 채우며, 드물지만 유용한 토큰의 확률이 더 빠르게 높아지도록 상한 클리핑을 완화하고, 응답 대신 토큰을 기준으로 손실을 평균냅니다. 이 방식은 Qwen2.5-32B 기본 모델로 AIME 2024에서 50점을 달성했습니다.
- Dr. GRPO: 2025년 분석에 따르면 각 응답의 손실을 길이로 나누면 오답의 길이가 페널티 없이 늘어날 수 있으며, 그룹 표준편차로 나누면 거의 항상 풀거나 거의 항상 틀리는 질문에 과도한 가중치가 부여됩니다. Dr. GRPO는 두 정규화를 모두 제거합니다.
- GSPO: Alibaba의 Qwen 팀은 토큰별이 아니라 전체 시퀀스별로 중요도 비율을 계산해 혼합 전문가 모델의 RL 학습을 안정화하며, 이를 Qwen3 모델의 성능 향상 요인으로 꼽습니다.
보상을 최적화하는 모든 방법과 마찬가지로 GRPO는 보상 신호의 결함을 증폭시킵니다. 최종 답변 형식만 확인하는 검증기나 특수한 경우에만 통과하는 단위 테스트는 단계마다 수천 개의 응답을 샘플링하는 과정에서 보상 해킹을 유발할 수 있습니다.










