Group Relative Policy Optimization (GRPO)
Tối ưu hóa chính sách tương đối theo nhóm (GRPO) huấn luyện LLM bằng RL, chấm điểm từng câu trả lời được lấy mẫu dựa trên nhóm của nó và loại bỏ model critic mà PPO cần.
Tối ưu hóa chính sách tương đối theo nhóm (GRPO) là một thuật toán học tăng cường dùng để tinh chỉnh mô hình ngôn ngữ lớn (LLMs). Với mỗi prompt, thuật toán lấy mẫu một nhóm câu trả lời, chấm điểm từng câu bằng bộ xác minh hoặc model phần thưởng, rồi đánh giá mỗi câu dựa trên mức độ tốt hoặc kém hơn so với phần còn lại trong nhóm. Điểm trung bình nhóm này thay thế mạng giá trị riêng biệt, hay critic, mà thuật toán Tối ưu hóa chính sách gần nhất (PPO) — nền tảng của RLHF truyền thống — huấn luyện song song với model; nhờ vậy, thuật toán tiết kiệm bộ nhớ và năng lực tính toán dành cho mạng thứ hai có kích thước gần bằng model đang được huấn luyện. DeepSeek giới thiệu GRPO trong bài báo DeepSeekMath năm 2024; việc sử dụng thuật toán này trong DeepSeek-R1 vào tháng 1 năm 2025 đã đưa GRPO trở thành thuật toán tiêu chuẩn để huấn luyện model suy luận, vốn xử lý một chuỗi suy nghĩ dài trước khi trả lời. Các model đó học từ phần thưởng có thể xác minh, chẳng hạn câu trả lời toán học đã được kiểm tra hoặc unit test chạy thành công.
Cách GRPO hoạt động#
Mỗi bước huấn luyện lặp lại cùng một quy trình cho một batch prompt:
- Lấy mẫu một nhóm: Model hiện tại tạo một số câu trả lời cho cùng một prompt; DeepSeekMath sử dụng 64 câu cho mỗi câu hỏi.
- Chấm điểm từng câu trả lời: Bộ xác minh dựa trên quy tắc hoặc model phần thưởng đã học gán điểm thưởng cho mỗi câu trả lời.
- Tính lợi thế tương đối theo nhóm: Lấy điểm thưởng trừ đi trung bình nhóm rồi chia cho độ lệch chuẩn của nhóm để tính lợi thế cho câu trả lời đó; mọi token trong câu trả lời đều dùng chung giá trị này.
- Cập nhật chính sách: Hàm mục tiêu có clipping kiểu PPO tăng xác suất của các token trong những câu trả lời có điểm trên trung bình và giảm xác suất của các token trong những câu có điểm dưới trung bình; trong khi đó, một hạng tử phạt độ phân kỳ KL được cộng trực tiếp vào loss để giữ model gần với bản tham chiếu đã đóng băng.
Vì lợi thế được tính tương đối, một nhóm mà mọi câu trả lời đều nhận cùng một điểm thưởng sẽ hoàn toàn không cung cấp tín hiệu học. Đây là điểm kém hiệu quả chính của GRPO. Với một prompt mà model luôn giải được hoặc không bao giờ giải được, toàn bộ nhóm sẽ bị lãng phí; vì vậy, tập huấn luyện thường được lọc để giữ lại các bài toán có độ khó trung bình đối với model hiện tại.
GRPO trong mã#
Các thư viện như bộ huấn luyện GRPO TRL của Hugging Face triển khai toàn bộ thuật toán cho model ngôn ngữ. Ví dụ PyTorch này thực hiện cùng bản cập nhật trên một policy đơn giản, chọn giữa sáu câu trả lời ứng viên cho một prompt duy nhất; bộ xác minh chỉ chấp nhận một câu trả lời:
import torch
torch.manual_seed(0)
# Toy policy over 6 candidate answers to one prompt; a verifier accepts only answer 4
logits = torch.zeros(6, requires_grad=True)
ref_log_probs = torch.log_softmax(torch.zeros(6), dim=0) # frozen reference policy
correct = torch.tensor([0.0, 0.0, 0.0, 0.0, 1.0, 0.0])
optimizer = torch.optim.Adam([logits], lr=0.05)
beta = 0.04 # KL weight used in DeepSeekMath
print(f"P(correct) before: {torch.softmax(logits, dim=0)[4]:.2f}")
for step in range(150):
answers = torch.distributions.Categorical(logits=logits).sample((8,)) # a group of 8 sampled answers
rewards = correct[answers]
advantages = (rewards - rewards.mean()) / (rewards.std() + 1e-4) # the group mean replaces a critic
log_probs = torch.log_softmax(logits, dim=0)[answers]
# Per-sample KL estimate to the reference policy, added to the loss: exp(d) - d - 1 with d = ref - new
d = ref_log_probs[answers] - log_probs
loss = -(advantages * log_probs - beta * (torch.exp(d) - d - 1)).mean()
optimizer.zero_grad()
loss.backward()
optimizer.step()
print(f"P(correct) after: {torch.softmax(logits, dim=0)[4]:.2f}")Lệnh này in P(correct) before: 0.17 và P(correct) after: 0.98. Ban đầu, khoảng 23% nhóm gồm 8 phần tử không có đáp án đúng, (5/6)⁸, và các nhóm đó chỉ đóng góp số hạng KL nhỏ; mọi nhóm có chứa đáp án đúng đều đẩy xác suất về phía đáp án đó mà không cần bất kỳ value network nào.
GRPO so với PPO và các phương pháp khác#
- Tối ưu hóa chính sách gần nhất: PPO ước tính lợi thế của từng token bằng critic đã học, thường là mạng có kích thước bằng chính policy; trong các pipeline RLHF, thuật toán này gộp hạng tử phạt KL vào phần thưởng. GRPO loại bỏ critic và chuyển hạng tử KL vào loss, đánh đổi bộ nhớ dành cho critic lấy lượng sinh bổ sung cần thiết để lấp đầy mỗi nhóm.
- REINFORCE với baseline: Các phương pháp như REINFORCE Leave-One-Out (RLOO) cũng dùng những câu trả lời được lấy mẫu khác làm baseline. GRPO bổ sung clipping của PPO và chia cho độ lệch chuẩn của nhóm.
- Tối ưu hóa ưu tiên trực tiếp (DPO): DPO học ngoại tuyến từ một tập dữ liệu cố định gồm các cặp câu trả lời được ưu tiên và bị từ chối. GRPO hoạt động trực tuyến: model tạo câu trả lời mới và nhận phần thưởng mới ở mỗi bước.
- Model phần thưởng theo quy trình: GRPO thường gán một phần thưởng kết quả cho mỗi câu trả lời, nhưng bài báo DeepSeekMath cũng thử nghiệm một biến thể giám sát theo quy trình, trong đó model chấm điểm từng bước suy luận và token ở mỗi bước có lợi thế riêng.
Ứng dụng#
- Suy luận toán học: Trong DeepSeekMath, GRPO nâng điểm của model 7B được tinh chỉnh theo chỉ dẫn từ 46.8% lên 51.7% trên benchmark MATH và từ 82.9% lên 88.2% trên GSM8K. DeepSeek-R1-Zero, được huấn luyện bằng GRPO và phần thưởng dựa trên quy tắc trực tiếp từ model nền, cải thiện điểm pass@1 trên AIME 2024 từ 15.6% lên 71.0% và học cách viết chuỗi suy nghĩ dài để tự kiểm tra lại kết quả.
- Sinh mã: Phần thưởng từ việc chạy chương trình được tạo và đối chiếu với unit test phù hợp tự nhiên với GRPO, vì mỗi chương trình được lấy mẫu sẽ vượt qua hoặc không vượt qua các bài kiểm thử.
- Agent và việc sử dụng công cụ: Các tác vụ nhiều lượt như tìm kiếm web hoặc kỹ thuật phần mềm được chấm điểm dựa trên kết quả cuối cùng; phép so sánh trong nhóm phân bổ mức đóng góp trên toàn bộ quỹ đạo.
GRPO còn được ứng dụng ngoài lĩnh vực văn bản. Flow-GRPO áp dụng thuật toán này cho model chuyển văn bản thành hình ảnh dựa trên flow matching, sử dụng số lượng và vị trí đối tượng do bộ phát hiện đối tượng cung cấp làm phần thưởng. Bộ phát hiện Ultralytics YOLO26 có thể cung cấp loại phần thưởng đó bằng cách đếm đối tượng trong từng ảnh được tạo thuộc một nhóm, để ảnh khớp với số lượng yêu cầu nhận lợi thế dương.
Các biến thể và vấn đề đã biết#
Thuật toán ban đầu có một số điểm yếu đã biết; các biến thể mới khắc phục những vấn đề này:
- DAPO: Công thức huấn luyện năm 2025 của ByteDance Seed loại bỏ các nhóm mà mọi câu trả lời đều đúng hoặc đều sai rồi bổ sung mẫu vào batch, nới lỏng giới hạn clipping trên để các token hữu ích nhưng hiếm gặp có thể tăng nhanh hơn, đồng thời tính trung bình loss trên token thay vì trên câu trả lời. Phương pháp này đạt 50 điểm trên AIME 2024 với model nền Qwen2.5-32B.
- Dr. GRPO: Một phân tích năm 2025 phát hiện rằng việc chia loss của mỗi câu trả lời cho độ dài cho phép câu trả lời sai dài hơn mà không bị phạt; đồng thời, việc chia cho độ lệch chuẩn của nhóm khiến các câu hỏi hầu như luôn được giải hoặc hầu như luôn thất bại bị tính trọng số quá cao. Dr. GRPO loại bỏ cả hai bước chuẩn hóa.
- GSPO: Nhóm Qwen của Alibaba tính tỷ lệ tầm quan trọng cho toàn bộ chuỗi thay vì từng token, giúp ổn định quá trình huấn luyện RL cho model mixture-of-experts; nhóm cho biết đây là nguyên nhân cải thiện các model Qwen3.
Giống mọi phương pháp tối ưu hóa phần thưởng, GRPO khuếch đại các khiếm khuyết trong tín hiệu phần thưởng. Bộ xác minh chỉ kiểm tra định dạng câu trả lời cuối cùng hoặc unit test có thể bị xử lý riêng theo trường hợp cụ thể sẽ tạo điều kiện cho tấn công khai thác phần thưởng ở quy mô hàng nghìn câu trả lời được lấy mẫu mỗi bước.










