Reinforcement Learning with Verifiable Rewards (RLVR)

Học tăng cường với phần thưởng kiểm chứng được (RLVR) là một mô hình đào tạo nâng cao được sử dụng để nâng cao khả năng lập luận và giải quyết vấn đề của các mô hình trí tuệ nhân tạo (AI). Khác với các phương pháp đào tạo truyền thống dựa vào dữ liệu ưu tiên do con người chú thích, RLVR sử dụng các hệ thống dựa trên quy tắc mang tính xác định để đánh giá đầu ra của mô hình. Bằng cách cung cấp phần thưởng nhị phân khách quan—chẳng hạn như việc đoạn mã được tạo ra có biên dịch thành công hay một phương trình toán học có được giải đúng hay không—RLVR cho phép các mô hình học thông qua khám phá không giới hạn. Vòng lặp phản hồi khách quan này là động lực chính đằng sau những đột phá gần đây trong các mô hình lập luận có khả năng cao, cho phép chúng khám phá các lộ trình logic tối ưu và phức tạp mà không cần sự can thiệp liên tục của con người.

Link to this sectionCác nguyên tắc cốt lõi của RLVR#

Trong các môi trường học máy (ML) tiêu chuẩn, một tác nhân AI học bằng cách tối đa hóa tín hiệu phần thưởng. Trong RLVR, tín hiệu phần thưởng này được tạo ra bởi một hệ thống lập trình cứng nhắc thay vì sự phán đoán chủ quan của con người. Quá trình học tập dựa trên một vài bước cơ bản:

• Chiến lược khám phá: Mô hình tạo ra nhiều giải pháp tiềm năng hoặc các lộ trình lập luận cho một prompt nhất định, thường sử dụng kỹ thuật chuỗi suy nghĩ (chain-of-thought prompting) để phân tách các nhiệm vụ phức tạp.
• Kiểm chứng xác định: Một công cụ bên ngoài—chẳng hạn như trình biên dịch Python, máy tính, hoặc hệ thống nhận thức thị giác máy tính (CV)—kiểm tra đầu ra cuối cùng dựa trên các tiêu chí thành công khách quan.
• Tối ưu hóa chính sách: Nếu đầu ra hoàn toàn chính xác, mô hình sẽ nhận được phần thưởng tích cực. Chính sách của mô hình sau đó được cập nhật bằng cách sử dụng các thuật toán tối ưu hóa như Group Relative Policy Optimization (GRPO) hoặc Proximal Policy Optimization (PPO) để ưu tiên các lộ trình lập luận thành công.

Phương pháp này cải thiện đáng kể hiệu suất độ trễ suy luận của mô hình tại thời điểm đào tạo và khuyến khích các khả năng lập luận mới nổi, một kỹ thuật gần đây đã được sử dụng để đào tạo các mô hình có năng lực cao như DeepSeek-R1.

Link to this sectionRLVR so với RLHF và PRMs#

Việc phân biệt RLVR với các mô hình căn chỉnh và đào tạo khác trong hệ sinh thái AI là rất quan trọng:

• vs. Học tăng cường từ phản hồi của con người (RLHF): RLHF dựa trên một hệ thống mô hình hóa phần thưởng được đào tạo dựa trên các ưu tiên chủ quan của con người. RLVR loại bỏ nút thắt con người trong vòng lặp bằng cách dựa hoàn toàn vào các sự thật khách quan, có tính lập trình, khiến nó có khả năng mở rộng cao cho các tác vụ có câu trả lời đúng hoặc sai xác định.
• vs. Mô hình phần thưởng quy trình (PRM): Trong khi các PRM cung cấp phản hồi chi tiết, từng bước trong suốt quá trình lập luận của mô hình, RLVR thường tập trung vào kết quả có thể kiểm chứng được ở cuối quá trình. Tuy nhiên, nghiên cứu gần đây năm 2025 cho thấy rằng việc tối ưu hóa cho một phần thưởng có thể kiểm chứng cuối cùng trong RLVR cũng ngầm khuyến khích các bước lập luận trung gian chính xác.

Link to this sectionCác ứng dụng trong thực tế#

RLVR đang thay đổi cách các hệ thống AI phức tạp được đào tạo trên nhiều lĩnh vực có tính xác định khác nhau:

• Lập luận toán học: Các mô hình lập luận lớn như o-series của OpenAI tận dụng RLVR để giải quyết các định lý toán học phức tạp. Bộ kiểm chứng đóng vai trò như một động cơ chứng minh một cách xác định liệu câu trả lời được mô hình suy ra có chính xác hay không, giúp cải thiện đáng kể hiệu suất trên tập dữ liệu chuẩn.
• Kỹ thuật phần mềm và tạo mã: Các trợ lý lập trình AI sử dụng RLVR để viết, gỡ lỗi và tối ưu hóa mã. Phần thưởng có thể kiểm chứng đạt được khi mã được tạo ra biên dịch thành công và vượt qua một bộ kiểm thử đơn vị tự động.
• Tác nhân thị giác tự hành: Trong các môi trường vật lý, các tác nhân tự hành nhận được phần thưởng có thể kiểm chứng khi đến đích hoặc thao tác thành công với một vật thể. Các mô hình thị giác đóng vai trò là trình kiểm tra điều kiện xác thực trong các không gian này.

Link to this sectionTriển khai phần thưởng có thể kiểm chứng trong AI thị giác#

Trong các môi trường vật lý và thị giác, các mô hình nhận thức như Ultralytics YOLO26 có thể đóng vai trò là bộ kiểm chứng theo chương trình trong vòng lặp RLVR. Ví dụ, nếu mục tiêu của tác nhân AI là di chuyển một vật thể vào một khu vực cụ thể, mô hình YOLO có thể xác minh thành công bằng cách phát hiện sự hiện diện của vật thể đó trong khu vực đó.

Đoạn mã Python sau đây minh họa một bộ kiểm chứng theo chương trình khái niệm sử dụng gói ultralytics.

from ultralytics import YOLO

# Load a YOLO26 model to act as the programmatic verifier
verifier_model = YOLO("yolo26n.pt")


def get_verifiable_reward(image_path: str, target_class: int) -> float:
    """Returns a verifiable reward of 1.0 if the target object is detected."""
    results = verifier_model(image_path)

    # Check if the desired class (e.g., 0 for 'person') exists in the detections
    detected_classes = results[0].boxes.cls.tolist()
    if target_class in detected_classes:
        return 1.0  # Verifiable success
    return 0.0  # Verifiable failure


# Simulate an agent's environment state check
reward = get_verifiable_reward("https://ultralytics.com/images/bus.jpg", target_class=0)
print(f"RLVR Reward Signal: {reward}")

Bằng cách tận dụng các nền tảng đám mây như Ultralytics Platform để triển khai các bộ kiểm chứng nhận thức này, các nhà phát triển có thể xây dựng các đường ống RLVR mạnh mẽ, có khả năng mở rộng để đào tạo thế hệ tiếp theo của các tác nhân tự hành và lập luận.