Cấp phép YOLO
Quay lại Bảng thuật ngữ Ultralytics

Group Relative Policy Optimization (GRPO)

Tối ưu hóa chính sách tương đối theo nhóm (GRPO) huấn luyện LLM bằng RL, chấm điểm từng câu trả lời được lấy mẫu dựa trên nhóm của nó và loại bỏ model critic mà PPO cần.

Tối ưu hóa chính sách tương đối theo nhóm (GRPO) là một thuật toán học tăng cường dùng để tinh chỉnh mô hình ngôn ngữ lớn (LLMs). Với mỗi prompt, thuật toán lấy mẫu một nhóm câu trả lời, chấm điểm từng câu bằng bộ xác minh hoặc model phần thưởng, rồi đánh giá mỗi câu dựa trên mức độ tốt hoặc kém hơn so với phần còn lại trong nhóm. Điểm trung bình nhóm này thay thế mạng giá trị riêng biệt, hay critic, mà thuật toán Tối ưu hóa chính sách gần nhất (PPO) — nền tảng của RLHF truyền thống — huấn luyện song song với model; nhờ vậy, thuật toán tiết kiệm bộ nhớ và năng lực tính toán dành cho mạng thứ hai có kích thước gần bằng model đang được huấn luyện. DeepSeek giới thiệu GRPO trong bài báo DeepSeekMath năm 2024; việc sử dụng thuật toán này trong DeepSeek-R1 vào tháng 1 năm 2025 đã đưa GRPO trở thành thuật toán tiêu chuẩn để huấn luyện model suy luận, vốn xử lý một chuỗi suy nghĩ dài trước khi trả lời. Các model đó học từ phần thưởng có thể xác minh, chẳng hạn câu trả lời toán học đã được kiểm tra hoặc unit test chạy thành công.

Cách GRPO hoạt động#

Mỗi bước huấn luyện lặp lại cùng một quy trình cho một batch prompt:

  1. Lấy mẫu một nhóm: Model hiện tại tạo một số câu trả lời cho cùng một prompt; DeepSeekMath sử dụng 64 câu cho mỗi câu hỏi.
  2. Chấm điểm từng câu trả lời: Bộ xác minh dựa trên quy tắc hoặc model phần thưởng đã học gán điểm thưởng cho mỗi câu trả lời.
  3. Tính lợi thế tương đối theo nhóm: Lấy điểm thưởng trừ đi trung bình nhóm rồi chia cho độ lệch chuẩn của nhóm để tính lợi thế cho câu trả lời đó; mọi token trong câu trả lời đều dùng chung giá trị này.
  4. Cập nhật chính sách: Hàm mục tiêu có clipping kiểu PPO tăng xác suất của các token trong những câu trả lời có điểm trên trung bình và giảm xác suất của các token trong những câu có điểm dưới trung bình; trong khi đó, một hạng tử phạt độ phân kỳ KL được cộng trực tiếp vào loss để giữ model gần với bản tham chiếu đã đóng băng.

Vì lợi thế được tính tương đối, một nhóm mà mọi câu trả lời đều nhận cùng một điểm thưởng sẽ hoàn toàn không cung cấp tín hiệu học. Đây là điểm kém hiệu quả chính của GRPO. Với một prompt mà model luôn giải được hoặc không bao giờ giải được, toàn bộ nhóm sẽ bị lãng phí; vì vậy, tập huấn luyện thường được lọc để giữ lại các bài toán có độ khó trung bình đối với model hiện tại.

GRPO trong mã#

Các thư viện như bộ huấn luyện GRPO TRL của Hugging Face triển khai toàn bộ thuật toán cho model ngôn ngữ. Ví dụ PyTorch này thực hiện cùng bản cập nhật trên một policy đơn giản, chọn giữa sáu câu trả lời ứng viên cho một prompt duy nhất; bộ xác minh chỉ chấp nhận một câu trả lời:

import torch

torch.manual_seed(0)
# Toy policy over 6 candidate answers to one prompt; a verifier accepts only answer 4
logits = torch.zeros(6, requires_grad=True)
ref_log_probs = torch.log_softmax(torch.zeros(6), dim=0)  # frozen reference policy
correct = torch.tensor([0.0, 0.0, 0.0, 0.0, 1.0, 0.0])
optimizer = torch.optim.Adam([logits], lr=0.05)
beta = 0.04  # KL weight used in DeepSeekMath
print(f"P(correct) before: {torch.softmax(logits, dim=0)[4]:.2f}")

for step in range(150):
    answers = torch.distributions.Categorical(logits=logits).sample((8,))  # a group of 8 sampled answers
    rewards = correct[answers]
    advantages = (rewards - rewards.mean()) / (rewards.std() + 1e-4)  # the group mean replaces a critic
    log_probs = torch.log_softmax(logits, dim=0)[answers]
    # Per-sample KL estimate to the reference policy, added to the loss: exp(d) - d - 1 with d = ref - new
    d = ref_log_probs[answers] - log_probs
    loss = -(advantages * log_probs - beta * (torch.exp(d) - d - 1)).mean()
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

print(f"P(correct) after: {torch.softmax(logits, dim=0)[4]:.2f}")

Lệnh này in P(correct) before: 0.17 và P(correct) after: 0.98. Ban đầu, khoảng 23% nhóm gồm 8 phần tử không có đáp án đúng, (5/6)⁸, và các nhóm đó chỉ đóng góp số hạng KL nhỏ; mọi nhóm có chứa đáp án đúng đều đẩy xác suất về phía đáp án đó mà không cần bất kỳ value network nào.

GRPO so với PPO và các phương pháp khác#

  • Tối ưu hóa chính sách gần nhất: PPO ước tính lợi thế của từng token bằng critic đã học, thường là mạng có kích thước bằng chính policy; trong các pipeline RLHF, thuật toán này gộp hạng tử phạt KL vào phần thưởng. GRPO loại bỏ critic và chuyển hạng tử KL vào loss, đánh đổi bộ nhớ dành cho critic lấy lượng sinh bổ sung cần thiết để lấp đầy mỗi nhóm.
  • REINFORCE với baseline: Các phương pháp như REINFORCE Leave-One-Out (RLOO) cũng dùng những câu trả lời được lấy mẫu khác làm baseline. GRPO bổ sung clipping của PPO và chia cho độ lệch chuẩn của nhóm.
  • Tối ưu hóa ưu tiên trực tiếp (DPO): DPO học ngoại tuyến từ một tập dữ liệu cố định gồm các cặp câu trả lời được ưu tiên và bị từ chối. GRPO hoạt động trực tuyến: model tạo câu trả lời mới và nhận phần thưởng mới ở mỗi bước.
  • Model phần thưởng theo quy trình: GRPO thường gán một phần thưởng kết quả cho mỗi câu trả lời, nhưng bài báo DeepSeekMath cũng thử nghiệm một biến thể giám sát theo quy trình, trong đó model chấm điểm từng bước suy luận và token ở mỗi bước có lợi thế riêng.

Ứng dụng#

  • Suy luận toán học: Trong DeepSeekMath, GRPO nâng điểm của model 7B được tinh chỉnh theo chỉ dẫn từ 46.8% lên 51.7% trên benchmark MATH và từ 82.9% lên 88.2% trên GSM8K. DeepSeek-R1-Zero, được huấn luyện bằng GRPO và phần thưởng dựa trên quy tắc trực tiếp từ model nền, cải thiện điểm pass@1 trên AIME 2024 từ 15.6% lên 71.0% và học cách viết chuỗi suy nghĩ dài để tự kiểm tra lại kết quả.
  • Sinh mã: Phần thưởng từ việc chạy chương trình được tạo và đối chiếu với unit test phù hợp tự nhiên với GRPO, vì mỗi chương trình được lấy mẫu sẽ vượt qua hoặc không vượt qua các bài kiểm thử.
  • Agent và việc sử dụng công cụ: Các tác vụ nhiều lượt như tìm kiếm web hoặc kỹ thuật phần mềm được chấm điểm dựa trên kết quả cuối cùng; phép so sánh trong nhóm phân bổ mức đóng góp trên toàn bộ quỹ đạo.

GRPO còn được ứng dụng ngoài lĩnh vực văn bản. Flow-GRPO áp dụng thuật toán này cho model chuyển văn bản thành hình ảnh dựa trên flow matching, sử dụng số lượng và vị trí đối tượng do bộ phát hiện đối tượng cung cấp làm phần thưởng. Bộ phát hiện Ultralytics YOLO26 có thể cung cấp loại phần thưởng đó bằng cách đếm đối tượng trong từng ảnh được tạo thuộc một nhóm, để ảnh khớp với số lượng yêu cầu nhận lợi thế dương.

Các biến thể và vấn đề đã biết#

Thuật toán ban đầu có một số điểm yếu đã biết; các biến thể mới khắc phục những vấn đề này:

  • DAPO: Công thức huấn luyện năm 2025 của ByteDance Seed loại bỏ các nhóm mà mọi câu trả lời đều đúng hoặc đều sai rồi bổ sung mẫu vào batch, nới lỏng giới hạn clipping trên để các token hữu ích nhưng hiếm gặp có thể tăng nhanh hơn, đồng thời tính trung bình loss trên token thay vì trên câu trả lời. Phương pháp này đạt 50 điểm trên AIME 2024 với model nền Qwen2.5-32B.
  • Dr. GRPO: Một phân tích năm 2025 phát hiện rằng việc chia loss của mỗi câu trả lời cho độ dài cho phép câu trả lời sai dài hơn mà không bị phạt; đồng thời, việc chia cho độ lệch chuẩn của nhóm khiến các câu hỏi hầu như luôn được giải hoặc hầu như luôn thất bại bị tính trọng số quá cao. Dr. GRPO loại bỏ cả hai bước chuẩn hóa.
  • GSPO: Nhóm Qwen của Alibaba tính tỷ lệ tầm quan trọng cho toàn bộ chuỗi thay vì từng token, giúp ổn định quá trình huấn luyện RL cho model mixture-of-experts; nhóm cho biết đây là nguyên nhân cải thiện các model Qwen3.

Giống mọi phương pháp tối ưu hóa phần thưởng, GRPO khuếch đại các khiếm khuyết trong tín hiệu phần thưởng. Bộ xác minh chỉ kiểm tra định dạng câu trả lời cuối cùng hoặc unit test có thể bị xử lý riêng theo trường hợp cụ thể sẽ tạo điều kiện cho tấn công khai thác phần thưởng ở quy mô hàng nghìn câu trả lời được lấy mẫu mỗi bước.

Khám phá các giải pháp

Thị giác máy tính trong thể thao

Thị giác máy tính trong thể thao

Khám phá cách Ultralytics YOLO thúc đẩy thị giác máy tính trong thể thao với khả năng theo dõi cầu thủ và bóng, phân tích hiệu suất, cung cấp thông tin chuyên sâu cho huấn luyện và hỗ trợ phục hồi cho vận động viên.
Tìm hiểu thêm
Thị giác máy tính cho ảnh hàng không

Thị giác máy tính cho ảnh hàng không

Chuyển hình ảnh từ drone và ảnh hàng không thành thông tin chuyên sâu theo thời gian thực cho nông nghiệp, nuôi trồng thủy sản, bảo tồn và phân tích không gian địa lý với Ultralytics YOLO.
Tìm hiểu thêm
Thị giác máy tính trong hàng không vũ trụ

Thị giác máy tính trong hàng không vũ trụ

Ứng dụng computer vision trong ngành hàng không vũ trụ với Ultralytics YOLO cho kiểm tra máy bay, phát hiện dị vật trên đường băng (FOD), vận hành mặt đất tại sân bay và phát hiện lỗi vật liệu composite.
Tìm hiểu thêm
Computer vision trong lĩnh vực an ninh

Computer vision trong lĩnh vực an ninh

Bảo vệ mọi địa điểm bằng model Ultralytics YOLO. Vision AI hỗ trợ giám sát vành đai, phát hiện mối đe dọa, nhận dạng biển số và an toàn nơi làm việc.
Tìm hiểu thêm
Computer vision trong robotics

Computer vision trong robotics

Tăng cường năng lực cho máy móc thông minh bằng model Ultralytics YOLO. Vision AI trong lĩnh vực robotics hỗ trợ điều hướng tự động, nhận thức, theo dõi đối tượng và điều khiển theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong logistics

Thị giác máy tính trong logistics

Tinh giản hoạt động logistics với các model Ultralytics YOLO. Vision AI hỗ trợ kiểm tra kiện hàng, phân loại, theo dõi phương tiện và giám sát an toàn kho hàng theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong bán lẻ

Thị giác máy tính trong bán lẻ

Định hình lại hoạt động bán lẻ với các model Ultralytics YOLO. Vision AI hỗ trợ theo dõi hàng tồn kho, giám sát kệ hàng, quản lý hàng chờ và phân tích khách hàng thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong chăm sóc sức khỏe

Thị giác máy tính trong chăm sóc sức khỏe

Xây dựng các giải pháp chăm sóc sức khỏe với model Ultralytics YOLO. Vision AI trong chăm sóc sức khỏe hỗ trợ xử lý hình ảnh y tế nhanh hơn, chẩn đoán thông minh hơn và theo dõi bệnh nhân.
Tìm hiểu thêm
Thị giác máy tính trong sản xuất

Thị giác máy tính trong sản xuất

Tối ưu hóa sản xuất bằng các model Ultralytics YOLO. Vision AI thúc đẩy kiểm soát chất lượng, phát hiện lỗi, tuân thủ PPE và tự động hóa dây chuyền lắp ráp.
Tìm hiểu thêm
Thị giác máy tính trong ngành ô tô

Thị giác máy tính trong ngành ô tô

Ứng dụng thị giác máy tính trong ngành ô tô với các model Ultralytics YOLO. Vision AI nâng cao an toàn giao thông, hỗ trợ người lái và tự động hóa phương tiện để tạo nên những tuyến đường thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong nông nghiệp

Thị giác máy tính trong nông nghiệp

Ứng dụng AI thị giác vào nông nghiệp thông minh với các model Ultralytics YOLO. Hỗ trợ giám sát cây trồng, theo dõi vật nuôi và canh tác chính xác để nâng cao năng suất một cách thông minh hơn.
Tìm hiểu thêm

Hãy cùng nhau kiến tạo tương lai của AI!

Bắt đầu hành trình hướng đến tương lai của machine learning