Cấp phép YOLO
Quay lại Bảng thuật ngữ Ultralytics

Reinforcement Learning with Verifiable Rewards (RLVR)

Học tăng cường với phần thưởng có thể kiểm chứng (RLVR) huấn luyện model bằng các phép kiểm tra tự động, chẳng hạn như vượt qua unit test hoặc khớp với đáp án toán học đã biết.

Học tăng cường với phần thưởng có thể kiểm chứng (RLVR) là phương pháp huấn luyện mô hình ngôn ngữ lớn (LLM) và các model tạo sinh khác bằng học tăng cường, trong đó chương trình kiểm tra từng đầu ra dựa trên kết quả đúng đã biết sẽ cung cấp phần thưởng. Một đáp án toán học hoặc khớp với đáp án tham chiếu, hoặc không; mã được tạo ra hoặc vượt qua các unit test, hoặc không. Các phép kiểm tra này rẻ và khách quan, vì vậy RLVR có thể chạy hàng nghìn bước huấn luyện; đây cũng là kỹ thuật cốt lõi đằng sau các model suy luận, vốn xử lý một chuỗi suy nghĩ dài trước khi trả lời. AI2 đặt tên cho phương pháp này trong báo cáo Tülu 3 vào tháng 11 năm 2024; DeepSeek-R1 giúp phương pháp thu hút sự chú ý rộng rãi vào tháng 1 năm 2025, khi model R1-Zero học được khả năng suy luận từng bước mạnh mẽ chỉ từ phần thưởng về độ chính xác và định dạng dựa trên quy tắc, mà không cần tinh chỉnh có giám sát trước đó.

RLVR hoạt động như thế nào#

Quá trình huấn luyện bắt đầu từ một model đã tiền huấn luyện, thường là model đã được tinh chỉnh theo chỉ dẫn, cùng một tập prompt có câu trả lời mà chương trình có thể kiểm tra. Với mỗi prompt, model lấy mẫu một số câu trả lời, bộ xác minh chấm điểm từng câu, rồi một thuật toán policy gradient như Tối ưu hóa chính sách gần nhất (PPO) hoặc Tối ưu hóa chính sách tương đối theo nhóm (GRPO) tăng xác suất của những câu trả lời có điểm cao hơn kỳ vọng — trong GRPO, tức là cao hơn mức trung bình của nhóm — và giảm xác suất của các câu còn lại. Cắt ngưỡng và, trong nhiều công thức huấn luyện, một thành phần phạt KL giúp giữ model sau cập nhật gần với trạng thái ban đầu. Model không bao giờ được xem lời giải mẫu; model chỉ học được lần thử nào của chính mình thành công, vì vậy mọi kiểu suy luận mà model củng cố đều do chính model tạo ra.

Bộ xác minh và phép so sánh trong nhóm chỉ cần vài dòng mã. Ví dụ minh họa này chấm điểm bốn câu trả lời được lấy mẫu cho một prompt toán học bằng cách trích đáp án cuối cùng từ thẻ \boxed{}, định dạng câu trả lời mà DeepSeek-R1 yêu cầu cho bài toán toán học, rồi tính lợi thế tương đối theo nhóm của GRPO:

import re

import numpy as np

reference = "42"  # đáp án đã biết cho prompt huấn luyện
completions = [  # một nhóm câu trả lời được lấy mẫu cho cùng prompt
    "6 * 7 = 42, so the answer is \\boxed{42}",
    "Adding the terms gives \\boxed{41}",
    "The product is 42.",  # đúng con số, nhưng không có đáp án cuối cùng theo định dạng yêu cầu
    "Check: 7 * 6 = 42. \\boxed{42}",
]

# Bộ xác minh: trích đáp án cuối cùng trong khung và so sánh với đáp án tham chiếu
rewards = []
for text in completions:
    match = re.search(r"\\boxed\{([^}]*)\}", text)
    rewards.append(1.0 if match and match.group(1).strip() == reference else 0.0)

# Lợi thế kiểu GRPO: mỗi phần thưởng tính tương đối so với trung bình nhóm, rồi chuẩn hóa theo độ lệch chuẩn của nhóm
rewards = np.array(rewards)
advantages = (rewards - rewards.mean()) / (rewards.std() + 1e-6)
print("Rewards:", rewards)
print("Advantages:", advantages.round(2))

Kết quả in ra phần thưởng [1. 0. 0. 1.] và lợi thế [ 1. -1. -1. 1.]. Hai câu trả lời đúng được củng cố, còn câu thứ ba bị giảm trọng số dù có chứa 42, vì câu trả lời không nêu đáp án cuối cùng theo định dạng yêu cầu.

Điều gì khiến phần thưởng có thể kiểm chứng#

Một phần thưởng có thể kiểm chứng cần có đáp án đúng và chương trình để so sánh đầu ra với đáp án đó. Các bộ xác minh phổ biến gồm:

  • Đáp án toán học: Phân tích đáp án cuối cùng và so sánh với đáp án tham chiếu sau khi chuẩn hóa các dạng tương đương như 1/2 và 0.5; các thư viện như Math-Verify có thể xử lý việc này.
  • Mã: Chạy chương trình được tạo trong sandbox với các unit test; phần thưởng phụ thuộc vào việc các bài kiểm thử có vượt qua hay không, hoặc tỷ lệ bài kiểm thử vượt qua.
  • Tuân thủ chỉ dẫn: Các ràng buộc mà chương trình có thể kiểm tra, chẳng hạn giới hạn số từ, từ khóa bắt buộc hoặc JSON hợp lệ. Tülu 3 áp dụng RLVR cho kiểu tuân thủ chỉ dẫn chính xác này, bên cạnh các bài toán toán học.
  • Định dạng: Thưởng một lượng nhỏ khi đặt phần suy luận và đáp án cuối cùng vào các thẻ theo yêu cầu; DeepSeek-R1 kết hợp phần thưởng này với phần thưởng về độ chính xác.
  • Tác vụ thị giác: Giao của hai vùng trên hợp của chúng (IoU) giữa các hộp được gán nhãn dùng để chấm điểm câu trả lời định vị đối tượng, còn các bộ phát hiện vật thể kiểm tra ảnh được tạo.

GenEval sử dụng bộ phát hiện vật thể để kiểm tra xem ảnh được tạo có chứa đúng vật thể, số lượng, màu sắc và vị trí mà prompt yêu cầu hay không; Flow-GRPO dùng các điểm số dựa trên quy tắc đó làm phần thưởng để nâng độ chính xác GenEval của Stable Diffusion 3.5 Medium từ 63% lên 95%. Bộ phát hiện Ultralytics YOLO26 có thể đóng vai trò bộ kiểm tra tương tự, biến một prompt như "bốn người ở trạm xe buýt" thành phần thưởng đếm:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# Prompt: "four people at a bus stop"; the image stands in for a generated sample
results = model("https://ultralytics.com/images/bus.jpg", classes=[0])  # class 0 = person
n_found, n_requested = len(results[0].boxes), 4

# Flow-GRPO's counting reward: full credit for the exact count, less for each missing or extra object
reward = 1 - abs(n_found - n_requested) / n_requested
print(f"People found: {n_found}, reward: {reward:.2f}")

RLVR so với RLHF và phần thưởng theo quá trình#

RLVR là một trong số các phương pháp chuyển phản hồi thành tín hiệu huấn luyện:

  • Học tăng cường từ phản hồi của con người (RLHF): Một model phần thưởng được huấn luyện từ các so sánh lựa chọn của con người sẽ chấm điểm đầu ra. Phương pháp này xử lý các phẩm chất chủ quan như giọng điệu và mức độ hữu ích, nhưng bộ chấm điểm đã học có những điểm mù mà chính sách có thể khai thác. Vì lý do đó, DeepSeek-R1 tránh dùng model phần thưởng mạng nơ-ron cho tác vụ suy luận; giai đoạn huấn luyện cuối cùng của model kết hợp phần thưởng dựa trên quy tắc cho prompt suy luận với model phần thưởng đã học cho các prompt tổng quát.
  • Model phần thưởng theo quá trình (PRM): Các model này chấm điểm từng bước suy luận trung gian. RLVR thường chỉ thưởng cho kết quả cuối cùng; cách này ít tốn kém hơn và khó bị khai thác hơn.
  • Tối ưu hóa sở thích trực tiếp (DPO): DPO học ngoại tuyến từ các cặp câu trả lời cố định được ưa thích và bị từ chối, không cần lấy mẫu hay dùng bộ xác minh trong quá trình huấn luyện.

Các pipeline huấn luyện thường chọn nguồn phần thưởng riêng cho từng prompt, chuyển sang phản hồi AI theo cách tiếp cận AI Hiến pháp khi không có bộ kiểm tra hoặc nhãn của con người:

Ưu điểm và giới hạn#

Vì phần thưởng không cần con người tham gia vào vòng lặp, RLVR có thể mở rộng theo năng lực tính toán và nguồn bài toán kiểm chứng được, đồng thời tạo ra những hành vi chưa ai viết sẵn: câu trả lời của DeepSeek-R1-Zero ngày càng dài hơn trong quá trình huấn luyện khi model học cách tự kiểm tra và sửa lại kết quả. Các thư viện như bộ huấn luyện TRL GRPO của Hugging Face chấp nhận hàm phần thưởng tùy chỉnh, vì vậy có thể tích hợp trực tiếp bất kỳ bộ xác minh nào như các ví dụ trên.

Phương pháp này chỉ áp dụng được cho các tác vụ có đáp án kiểm chứng được; bộ xác minh yếu dễ dẫn đến khai thác phần thưởng: model lập trình được thưởng khi vượt qua kiểm thử có thể học cách xử lý riêng từng trường hợp hoặc chỉnh sửa các bài kiểm thử thay vì sửa mã. Các nhà nghiên cứu cũng chưa thống nhất về những gì RLVR bổ sung. Một nghiên cứu năm 2025 về các model được huấn luyện bằng RLVR nhận thấy chúng vượt trội hơn model nền khi mỗi bài toán chỉ được thử một lần, trong khi model nền giải được nhiều bài hơn khi được phép thử nhiều lần; điều này gợi ý rằng RLVR chủ yếu tập trung xác suất vào các lời giải mà model nền vốn đã có thể tạo ra. Một bài báo tiếp theo chỉ tính mẫu là đúng khi cả đáp án lẫn chuỗi suy luận đều chính xác; theo thước đo CoT-Pass@K này, Qwen2.5-32B được huấn luyện bằng RLVR vẫn vượt model nền ở mọi K đến 1.024 trên AIME 2024 và AIME 2025.

Khám phá các giải pháp

Thị giác máy tính trong thể thao

Thị giác máy tính trong thể thao

Khám phá cách Ultralytics YOLO thúc đẩy thị giác máy tính trong thể thao với khả năng theo dõi cầu thủ và bóng, phân tích hiệu suất, cung cấp thông tin chuyên sâu cho huấn luyện và hỗ trợ phục hồi cho vận động viên.
Tìm hiểu thêm
Thị giác máy tính cho ảnh hàng không

Thị giác máy tính cho ảnh hàng không

Chuyển hình ảnh từ drone và ảnh hàng không thành thông tin chuyên sâu theo thời gian thực cho nông nghiệp, nuôi trồng thủy sản, bảo tồn và phân tích không gian địa lý với Ultralytics YOLO.
Tìm hiểu thêm
Thị giác máy tính trong hàng không vũ trụ

Thị giác máy tính trong hàng không vũ trụ

Ứng dụng computer vision trong ngành hàng không vũ trụ với Ultralytics YOLO cho kiểm tra máy bay, phát hiện dị vật trên đường băng (FOD), vận hành mặt đất tại sân bay và phát hiện lỗi vật liệu composite.
Tìm hiểu thêm
Computer vision trong lĩnh vực an ninh

Computer vision trong lĩnh vực an ninh

Bảo vệ mọi địa điểm bằng model Ultralytics YOLO. Vision AI hỗ trợ giám sát vành đai, phát hiện mối đe dọa, nhận dạng biển số và an toàn nơi làm việc.
Tìm hiểu thêm
Computer vision trong robotics

Computer vision trong robotics

Tăng cường năng lực cho máy móc thông minh bằng model Ultralytics YOLO. Vision AI trong lĩnh vực robotics hỗ trợ điều hướng tự động, nhận thức, theo dõi đối tượng và điều khiển theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong logistics

Thị giác máy tính trong logistics

Tinh giản hoạt động logistics với các model Ultralytics YOLO. Vision AI hỗ trợ kiểm tra kiện hàng, phân loại, theo dõi phương tiện và giám sát an toàn kho hàng theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong bán lẻ

Thị giác máy tính trong bán lẻ

Định hình lại hoạt động bán lẻ với các model Ultralytics YOLO. Vision AI hỗ trợ theo dõi hàng tồn kho, giám sát kệ hàng, quản lý hàng chờ và phân tích khách hàng thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong chăm sóc sức khỏe

Thị giác máy tính trong chăm sóc sức khỏe

Xây dựng các giải pháp chăm sóc sức khỏe với model Ultralytics YOLO. Vision AI trong chăm sóc sức khỏe hỗ trợ xử lý hình ảnh y tế nhanh hơn, chẩn đoán thông minh hơn và theo dõi bệnh nhân.
Tìm hiểu thêm
Thị giác máy tính trong sản xuất

Thị giác máy tính trong sản xuất

Tối ưu hóa sản xuất bằng các model Ultralytics YOLO. Vision AI thúc đẩy kiểm soát chất lượng, phát hiện lỗi, tuân thủ PPE và tự động hóa dây chuyền lắp ráp.
Tìm hiểu thêm
Thị giác máy tính trong ngành ô tô

Thị giác máy tính trong ngành ô tô

Ứng dụng thị giác máy tính trong ngành ô tô với các model Ultralytics YOLO. Vision AI nâng cao an toàn giao thông, hỗ trợ người lái và tự động hóa phương tiện để tạo nên những tuyến đường thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong nông nghiệp

Thị giác máy tính trong nông nghiệp

Ứng dụng AI thị giác vào nông nghiệp thông minh với các model Ultralytics YOLO. Hỗ trợ giám sát cây trồng, theo dõi vật nuôi và canh tác chính xác để nâng cao năng suất một cách thông minh hơn.
Tìm hiểu thêm

Hãy cùng nhau kiến tạo tương lai của AI!

Bắt đầu hành trình hướng đến tương lai của machine learning