Reward Modeling

Reward modeling là một kỹ thuật machine learning được sử dụng để dạy các hệ thống AI cách đánh giá và ưu tiên hành vi của chính chúng dựa trên sở thích của con người. Trong các môi trường reinforcement learning truyền thống, một AI agent học bằng cách tối đa hóa một hàm thưởng cứng nhắc về mặt toán học đã được xác định trước, chẳng hạn như điểm số trong một trò chơi điện tử. Tuy nhiên, đối với các tác vụ phức tạp trong thế giới thực nơi hành vi "tốt" mang tính chủ quan hoặc sắc thái—ví dụ như viết một email lịch sự hoặc điều hướng qua giao lộ một cách an toàn—việc viết một hàm thưởng hoàn hảo bằng tay là gần như không thể. Reward modeling giải quyết vấn đề này bằng cách huấn luyện một neural network phụ (reward model) đóng vai trò là đại diện cho đánh giá của con người. Mô hình này đánh giá các kết quả đầu ra của AI chính và gán các điểm số vô hướng, hướng dẫn mô hình chính một cách linh hoạt theo hướng các hành vi an toàn, hữu ích và chính xác.

Link to this sectionCách thức hoạt động của Reward Modeling#

Quy trình xây dựng reward model phụ thuộc rất lớn vào việc thu thập phản hồi chất lượng cao từ con người.

• Data Labeling và Sở thích: Các chuyên gia gán nhãn được cung cấp các prompt cùng với nhiều phản hồi do mô hình AI tạo ra. Những người đánh giá xếp hạng các phản hồi này từ tốt nhất đến tệ nhất dựa trên các tiêu chí như tính hữu ích, tính an toàn và tính chính xác. Việc quản lý các quy trình gán nhãn quy mô lớn này có thể được xử lý một cách liền mạch bằng Ultralytics Platform.
• Huấn luyện Proxy Network: Một neural network chuyên biệt được huấn luyện trên tập dữ liệu so sánh của con người. Thông qua quá trình tối ưu hóa, nó học cách dự đoán phản hồi nào mà con người sẽ ưu tiên, ánh xạ các embeddings của một hành động hoặc phản hồi văn bản thành một giá trị thưởng vô hướng duy nhất. Bạn có thể đọc thêm về cách xây dựng kiến trúc neural network trong PyTorch API documentation.
• Tối ưu hóa chính sách (Policy Optimization): Mô hình chính sử dụng phản hồi liên tục từ reward model để tinh chỉnh các hành động của mình, thường sử dụng các thuật toán như Proximal Policy Optimization (PPO). Bước này lặp đi lặp lại việc căn chỉnh chính sách của mô hình với ý định đã học được từ con người.

Link to this sectionReward Modeling so với RLHF#

Việc phân biệt reward modeling với Reinforcement Learning from Human Feedback (RLHF) là rất quan trọng. Mặc dù hai thuật ngữ này thường được thảo luận cùng nhau, chúng không đồng nghĩa. RLHF là quy trình end-to-end toàn diện được sử dụng để căn chỉnh các mô hình, bao gồm fine-tuning có giám sát, thu thập dữ liệu và cập nhật chính sách. Reward modeling là một thành phần cụ thể, quan trọng trong quy trình RLHF. Nó đóng vai trò là cầu nối chuyển đổi các xếp hạng rời rạc của con người thành một tín hiệu toán học liên tục mà thuật toán reinforcement learning có thể tối ưu hóa.

Link to this sectionCác ứng dụng trong thực tế#

Reward modeling đóng vai trò quan trọng trong việc phát triển các hệ thống AI hiện đại tương tác trực tiếp với con người và thế giới vật lý.

• Large Language Models (LLMs): Các trợ lý AI đàm thoại dựa vào reward model để đảm bảo câu trả lời của chúng không chỉ chính xác về mặt thực tế mà còn lịch sự, phù hợp và không chứa ngôn ngữ độc hại. Các tổ chức nghiên cứu về AI safety liên tục thúc đẩy reward modeling để xây dựng các hệ thống phản ánh helpful and harmless AI alignment.
• Autonomous Vehicles và Robotics: Trong tự động hóa vật lý, reward model giúp robot hiểu các quy tắc lái xe phức tạp hoặc các chiến lược thao tác đối tượng. Hệ thống nhận diện được hỗ trợ bởi Ultralytics YOLO26 có thể phát hiện người đi bộ và biển báo giao thông, trong khi reward model đánh giá quỹ đạo dự kiến của phương tiện, đảm bảo AI ưu tiên sự thoải mái và an toàn của hành khách thay vì chỉ điều hướng từ điểm này đến điểm khác một cách quá quyết liệt.

Link to this sectionTriển khai khái niệm Reward Model cơ bản#

Ví dụ Python dưới đây sử dụng torch để minh họa cấu trúc nền tảng của một reward model. Trên thực tế, mạng này học cách gán điểm số vô hướng cao hơn cho một kết quả đầu ra phù hợp với sở thích của con người.

import torch
import torch.nn as nn


# Define a simplified reward model architecture
class SimpleRewardModel(nn.Module):
    def __init__(self):
        super().__init__()
        # Maps the AI's output embedding to a single reward score
        self.fc = nn.Linear(768, 1)

    def forward(self, embeddings):
        return self.fc(embeddings)


# Initialize the model
reward_model = SimpleRewardModel()

# Simulated embeddings for a human-preferred action and a rejected action
chosen_action = torch.randn(1, 768)
rejected_action = torch.randn(1, 768)

# The model predicts scalar scores to guide the primary agent
print(f"Chosen Action Reward: {reward_model(chosen_action).item():.4f}")
print(f"Rejected Action Reward: {reward_model(rejected_action).item():.4f}")

Để tìm hiểu sâu hơn về cách sự căn chỉnh tác động đến các mô hình nền tảng mã nguồn mở, hãy khám phá các nghiên cứu nền tảng về việc căn chỉnh các mô hình ngôn ngữ với ý định của con người và tìm hiểu cách các hệ thống computer vision (CV) tận dụng các vòng phản hồi nâng cao để tương tác an toàn với các môi trường động.