Reward Modeling

Mô hình hóa phần thưởng là quá trình huấn luyện một mạng nơ-ron, gọi là model phần thưởng, để chấm điểm đầu ra của một hệ thống AI theo cách con người đánh giá. Trong học tăng cường tiêu chuẩn, môi trường cung cấp phần thưởng, chẳng hạn điểm số trong trò chơi. Nhiều mục tiêu không có điểm số như vậy: một câu trả lời hữu ích, một hình ảnh được bố cục đẹp hoặc một robot đưa cốc nhẹ nhàng đều dễ đánh giá nhưng khó định nghĩa bằng code. Model phần thưởng học cách đánh giá đó từ phản hồi của con người, thường là các so sánh giữa hai đầu ra, sau đó tự động chấm điểm các đầu ra mới nhanh và nhất quán hơn nhiều so với con người. Model phần thưởng là thành phần giúp học tăng cường từ phản hồi của con người (RLHF) hoạt động; chúng cũng được dùng để xếp hạng lại các phản hồi ứng viên, lọc dữ liệu huấn luyện và đánh giá model.

Cách huấn luyện model phần thưởng#

Dữ liệu huấn luyện gồm các phép so sánh. Người đánh giá xem một prompt cùng hai hoặc nhiều phản hồi từ model rồi chọn phản hồi tốt hơn; trong nghiên cứu InstructGPT của OpenAI, người gán nhãn xếp hạng từ 4 đến 9 phản hồi cho mỗi prompt, và mỗi cặp trong bảng xếp hạng trở thành một mẫu so sánh dùng để huấn luyện. Xếp hạng được dùng thay cho điểm số tuyệt đối vì mọi người đồng thuận nhiều hơn về việc câu trả lời nào trong hai câu tốt hơn, so với việc câu trả lời có xứng đáng nhận 6 hay 7 điểm trên 10 hay không.

Model phần thưởng thường là một mô hình ngôn ngữ lớn (LLM) được tiền huấn luyện, thường là chính model đang được căn chỉnh, với lớp đầu ra được thay bằng một head tuyến tính ánh xạ embedding cuối cùng thành một số. Quá trình huấn luyện sử dụng mô hình Bradley-Terry cho phép so sánh theo cặp, cho biết xác suất người đánh giá thích phản hồi A hơn phản hồi B bằng sigmoid của hiệu giữa phần thưởng của chúng. Hàm loss là log âm của xác suất đó đối với phản hồi mà người đánh giá thực sự chọn. Ví dụ PyTorch này huấn luyện một head phần thưởng tuyến tính trên 2,000 phép so sánh mô phỏng:

import torch
import torch.nn.functional as F

torch.manual_seed(0)
# 2,000 preference pairs: embeddings of two responses to the same prompt
# Simulated raters prefer the response with higher hidden quality, with some noise
hidden_quality = torch.randn(64)
a, b = torch.randn(2000, 64), torch.randn(2000, 64)
a_wins = (a @ hidden_quality + torch.randn(2000) * 2 > b @ hidden_quality).unsqueeze(1)
chosen, rejected = torch.where(a_wins, a, b), torch.where(a_wins, b, a)

# Reward model: a linear head mapping a response embedding to one scalar score
reward_model = torch.nn.Linear(64, 1)
optimizer = torch.optim.Adam(reward_model.parameters(), lr=0.01)
train, test = slice(0, 1500), slice(1500, 2000)
for step in range(300):
    # Bradley-Terry loss: maximize the probability that the chosen response scores higher
    margin = reward_model(chosen[train]) - reward_model(rejected[train])
    loss = -F.logsigmoid(margin).mean()
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

accuracy = (reward_model(chosen[test]) > reward_model(rejected[test])).float().mean()
print(f"Held-out pairs ranked like the raters: {accuracy:.1%}")

Kết quả in ra là 94.8%. Bản thân những người chấm mô phỏng có nhiễu mâu thuẫn với thứ hạng chất lượng không nhiễu trong khoảng 5% số cặp được giữ lại để kiểm tra; do đó, model phần thưởng đã học sở thích tốt nhất có thể theo nhãn được cung cấp, dù chưa từng thấy một điểm số tuyệt đối nào. Độ chính xác theo cặp trên các phép so sánh được giữ lại cũng là cách đánh giá các model phần thưởng thực tế, chẳng hạn trên benchmark RewardBench. Vì hàm loss chỉ phụ thuộc vào hiệu giữa các phần thưởng nên thang điểm không cố định, và các pipeline thường chuẩn hóa điểm trước khi chạy RL.

Các loại model phần thưởng#

• Model phần thưởng kết quả: Chấm điểm toàn bộ phản hồi hoặc tập tương tác; đây là lựa chọn tiêu chuẩn trong RLHF.
• Model phần thưởng quá trình: Chấm điểm từng bước trung gian của một lời giải. Bộ dữ liệu PRM800K của OpenAI có 800,000 nhãn cấp bước do con người gán cho các lời giải toán.
• Model phần thưởng sinh: Một LLM đóng vai trò giám khảo viết lời phê bình hoặc kết luận, nhờ đó một model có thể chấm điểm nhiều loại tác vụ và giải thích điểm số.
• Model phần thưởng ẩn: Tối ưu hóa trực tiếp theo sở thích (DPO) huấn luyện trực tiếp policy trên các cặp lựa chọn, còn tỷ số log-probability giữa policy và model tham chiếu đóng vai trò phần thưởng.
• Model phần thưởng hình ảnh: ImageReward được huấn luyện trên 137,000 phép so sánh hình ảnh được tạo do chuyên gia thực hiện và được dùng để tinh chỉnh các model chuyển văn bản thành hình ảnh nhằm tạo ra kết quả hấp dẫn, bám sát prompt.

Học robot áp dụng cùng ý tưởng với các model thị giác. Một bộ phân loại hình ảnh được huấn luyện trên các khung hình từ camera, do con người gán nhãn là lần thử thành công hoặc thất bại, chẳng hạn cốc được đặt thẳng đứng hay bị làm đổ, sẽ đưa ra xác suất thành công làm phần thưởng cho policy học tập. Một model Ultralytics YOLO26 được huấn luyện trên các khung hình như vậy bằng tác vụ classify đảm nhiệm vai trò đó, chấm điểm từng khung hình của một lần thử chỉ trong vài mili giây.

Duy trì độ chính xác của model phần thưởng#

Model phần thưởng chỉ chính xác với những đầu ra giống dữ liệu huấn luyện. Khi policy được cải thiện, policy tạo ra các phản hồi mà model phần thưởng chưa từng thấy; vì vậy, nhóm Llama 2 của Meta đã thu thập các phép so sánh mới trên đầu ra của model mới nhất rồi huấn luyện lại model phần thưởng trước mỗi vòng RL mới:

Tối ưu hóa quá mức theo bất kỳ phần thưởng đã học nào đều dẫn đến tấn công phần thưởng. Nghiên cứu về việc tối ưu hóa quá mức model phần thưởng của OpenAI đã dùng một model phần thưởng "chuẩn vàng" lớn thay cho người chấm và nhận thấy rằng khi policy được tối ưu hóa theo model phần thưởng thay thế nhỏ hơn, điểm chuẩn vàng ban đầu tăng rồi giảm trong khi điểm của model thay thế tiếp tục tăng; mức độ ảnh hưởng giảm dần khi model thay thế lớn hơn. Model phần thưởng cũng tiếp thu thiên kiến của người chấm, chẳng hạn ưu tiên câu trả lời dài hơn hoặc dễ đồng tình hơn, rồi RL khuếch đại những thiên kiến đó thành lối diễn đạt dài dòng và nịnh hót. Hệ số phạt KL hướng về model gốc, các ensemble model phần thưởng và việc thường xuyên huấn luyện lại trên các phép so sánh mới đều giúp hạn chế tác hại.

Mô hình hóa phần thưởng và các thuật ngữ liên quan#

• RLHF: Toàn bộ pipeline gồm tinh chỉnh có giám sát, mô hình hóa phần thưởng từ các phép so sánh của con người và tối ưu hóa RL. Mô hình hóa phần thưởng là giai đoạn thứ hai.
• Hàm phần thưởng: Phần thưởng được viết thủ công, chẳng hạn +1 khi đạt mục tiêu. Model phần thưởng được học từ dữ liệu vì không ai có thể viết ra hàm đó.
• Phần thưởng có thể xác minh: Một chương trình kiểm tra câu trả lời bằng lời giải đã biết, chẳng hạn unit test hoặc kết quả toán học tham chiếu; cách này khó bị khai thác hơn model học được nhưng chỉ áp dụng ở nơi có thể kiểm tra câu trả lời.
• Học tăng cường ngược: Suy ra hàm phần thưởng từ các phần trình diễn tác vụ của chuyên gia, trong khi mô hình hóa phần thưởng cho RLHF học từ các phép so sánh của con người đối với chính đầu ra của hệ thống.