Reinforcement Learning from Human Feedback (RLHF)

Học tăng cường từ phản hồi của con người (RLHF) là một phương pháp huấn luyện cải thiện model AI bằng cách sử dụng đánh giá của con người về đầu ra của model, thay vì một mục tiêu được viết thủ công. Người đánh giá so sánh các cặp hoặc tập hợp phản hồi của model; một reward model học cách dự đoán phản hồi nào họ sẽ thích hơn, sau đó học tăng cường sẽ tinh chỉnh model ban đầu để tạo ra các phản hồi được reward model chấm điểm cao. RLHF tồn tại vì những phẩm chất như tính hữu ích, sự trung thực và giọng điệu dễ được con người nhận ra nhưng gần như không thể biểu diễn thành một hàm mất mát. Năm 2017, Christiano và cộng sự đã dùng phương pháp này để dạy các agent những hành vi mới trong trò chơi Atari và trình mô phỏng robot dựa trên khoảng một giờ so sánh do con người thực hiện; sau đó, phương pháp này trở thành giai đoạn cuối tiêu chuẩn trong quy trình huấn luyện các mô hình ngôn ngữ lớn (LLMs) và các hệ thống AI tạo sinh khác sau khi OpenAI ra mắt InstructGPT cùng ChatGPT vào năm 2022.

Cách RLHF hoạt động#

Quy trình kinh điển được mô tả trong bài báo InstructGPT gồm ba giai đoạn:

1. Fine-tuning có giám sát (SFT): Model nền đã được pretrain được fine-tune trên các bản trình diễn do con người viết, chẳng hạn câu trả lời tốt cho prompt mẫu; việc này dạy model định dạng và giọng điệu mong đợi.
2. Huấn luyện reward model: Model SFT tạo một số phản hồi cho mỗi prompt, sau đó người gắn nhãn xếp hạng chúng. Khoảng 40 nhà thầu của InstructGPT đã xếp hạng từ 4 đến 9 phản hồi cho mỗi prompt. Một bản sao của model với đầu ra vô hướng duy nhất được huấn luyện để chấm điểm phản hồi được ưu tiên cao hơn phản hồi bị loại.
3. Học tăng cường: Model SFT trở thành policy và được tối ưu bằng Proximal Policy Optimization (PPO) để tối đa hóa điểm của reward model, trừ đi một khoản phạt tỷ lệ thuận với độ phân kỳ KL so với model SFT. Khoản phạt giữ policy gần với văn bản trôi chảy mà reward model đã thấy, đồng thời ngăn policy lệch sang các đầu ra kỳ lạ mà reward model tình cờ đánh giá quá cao.

Hệ số KL, thường ký hiệu là β, quyết định policy được phép thay đổi đến mức nào. Hàm mục tiêu có điều chuẩn KL có nghiệm tối ưu chính xác: xác suất tham chiếu được tái trọng số theo hàm mũ của phần thưởng chia cho β; ví dụ NumPy này tính nghiệm cho bốn phản hồi ứng viên:

import numpy as np

# Four candidate responses: probability under the fine-tuned reference model and reward-model score
reference = np.array([0.50, 0.30, 0.15, 0.05])
reward = np.array([0.0, 1.0, 2.0, 4.0])

for beta in [10.0, 1.0, 0.1]:
    # Optimal policy for "maximize expected reward - beta * KL(policy || reference)"
    policy = reference * np.exp(reward / beta)
    policy /= policy.sum()
    kl = (policy * np.log(policy / reference)).sum()
    print(f"beta={beta:>4}: policy={policy.round(2)}, expected reward={policy @ reward:.2f}, KL={kl:.2f}")

Kết quả in ra policy [0.46 0.3 0.17 0.07] tại β = 10, gần như trùng với phân phối tham chiếu, và [0. 0. 0. 1.] tại β = 0.1, khi toàn bộ xác suất chuyển sang phản hồi mà model tham chiếu chỉ gán xác suất 5%, với KL bằng 3.00. β nhỏ giúp đạt điểm reward model cao nhất; nếu reward model đánh giá quá cao phản hồi hiếm đó, policy đã học cách khai thác lỗi thay vì làm hài lòng con người. Direct Preference Optimization (DPO) dùng chính nghiệm tối ưu dạng đóng này để huấn luyện trực tiếp trên các cặp sở thích, không cần reward model riêng hay vòng lặp RL.

RLHF được sử dụng ở đâu#

• Chat assistant: Người gắn nhãn của InstructGPT thích đầu ra từ model RLHF có 1,3 tỷ tham số hơn đầu ra từ GPT-3 có 175 tỷ tham số. Các model chat Llama 2 của Meta được tinh chỉnh dựa trên hai reward model riêng biệt, một cho tính hữu ích và một cho tính an toàn.
• Tóm tắt: Các model tóm tắt năm 2020 của OpenAI được huấn luyện bằng phản hồi của con người đã tạo ra bản tóm tắt được người đánh giá ưu tiên hơn các bản tóm tắt tham chiếu do con người viết trong tập dữ liệu.
• Tạo ảnh: Reward model được huấn luyện từ đánh giá của con người về ảnh tạo ra được dùng để fine-tune model chuyển văn bản thành ảnh, hướng đến việc bám sát prompt và tạo ra ảnh hấp dẫn với mọi người.
• Robotics và điều khiển: Với các tác vụ dễ đánh giá thành công nhưng khó định nghĩa, chẳng hạn dáng đi tự nhiên hoặc quỹ đạo an toàn khi di chuyển giữa đám đông, con người so sánh các đoạn video ngắn về những lần robot thử thực hiện thay vì viết hàm phần thưởng.

Model thị giác-ngôn ngữ từ các nhà cung cấp lớn được tinh chỉnh theo sở thích giống như chatbot văn bản. Trong Ultralytics Platform Agents, một bộ phát hiện Ultralytics YOLO26 quyết định ảnh nào cần được xem xét kỹ hơn, còn một model trong danh sách model của Platform, chẳng hạn Google Gemini, làm theo prompt của workflow để mô tả ảnh.

Hạn chế#

Gắn nhãn dữ liệu dựa trên sở thích con người chậm và tốn kém, còn người đánh giá thường bất đồng với nhau, vì vậy reward model học giá trị trung bình trong sở thích của họ cùng những điểm mù. Người đánh giá cũng ưu tiên câu trả lời tự tin và dễ đồng tình: một nghiên cứu của Anthropic trên năm assistant cho thấy dữ liệu sở thích của con người thiên về phản hồi phù hợp với quan điểm người dùng đã nêu, đây là một trong những nguồn gốc của AI xu nịnh. Tối ưu quá mức dựa trên bất kỳ phần thưởng nào được học cuối cùng đều dẫn đến reward hacking, trong đó điểm của reward model tiếp tục tăng trong khi chất lượng thực giảm.

RLHF và các phương pháp liên quan#

• Học tăng cường tiêu chuẩn: Môi trường cung cấp phần thưởng cố định, chẳng hạn điểm trò chơi. RLHF học phần thưởng từ đánh giá của con người vì không có phần thưởng cố định nào thể hiện đầy đủ mục tiêu.
• Mô hình hóa phần thưởng: Reward model là một thành phần của RLHF, tức mạng chuyển thứ hạng do con người đưa ra thành điểm mà thuật toán RL có thể tối ưu.
• AI theo hiến chương: Model AI, được định hướng bởi các nguyên tắc thành văn, tạo nhãn sở thích thay cho con người; đây là một biến thể gọi là học tăng cường từ phản hồi của AI (RLAIF).
• Học tăng cường với phần thưởng có thể xác minh (RLVR): Một chương trình kiểm tra từng câu trả lời, chẳng hạn kết quả toán hoặc unit test, rồi cung cấp phần thưởng. RLVR, thường kết hợp với Group Relative Policy Optimization (GRPO), huấn luyện các model suy luận; pipeline hậu huấn luyện hiện đại sử dụng cả hai: phần thưởng có thể xác minh khi có bộ kiểm tra và reward model kiểu RLHF cho prompt mở.