Reinforcement Learning from Human Feedback (RLHF)

인간 피드백 기반 강화 학습(RLHF)은 직접 작성한 목적 함수 대신 사람들이 AI 모델의 출력에 내린 평가를 사용해 모델을 개선하는 학습 방법입니다. 평가자는 모델 응답을 쌍이나 묶음으로 비교하고, 보상 모델은 어떤 응답을 더 선호할지 예측하도록 학습합니다. 그런 다음 강화 학습을 통해 원래 모델을 미세 조정하여 보상 모델에서 높은 점수를 받는 응답을 생성하도록 합니다. 유용성, 정직성, 어조와 같은 특성은 사람이 쉽게 알아볼 수 있지만 손실 함수로 표현하기는 거의 불가능하기 때문에 RLHF가 등장했습니다. 2017년 Christiano 외 연구진은 약 한 시간 동안의 사람 간 비교 데이터로 Atari 게임과 로봇 시뮬레이터에서 에이전트가 새로운 행동을 학습하도록 했습니다. 2022년 OpenAI의 InstructGPT와 ChatGPT 이후 RLHF는 대규모 언어 모델(LLM) 및 기타 생성형 AI 시스템의 표준 최종 학습 단계가 되었습니다.

RLHF 작동 방식#

InstructGPT 논문에서 설명한 전형적인 절차는 세 단계로 구성됩니다:

1. 지도 미세 조정(SFT): 사전 학습된 기본 모델을 예시 프롬프트에 대한 좋은 답변과 같이 사람이 작성한 시연 데이터로 미세 조정하여, 기대되는 형식과 어조를 학습시킵니다.
2. 보상 모델 학습: SFT 모델은 프롬프트마다 여러 응답을 생성하고, 레이블러가 응답의 순위를 매깁니다. InstructGPT에서는 약 40명의 계약직 작업자가 프롬프트마다 4~9개의 응답을 평가했습니다. 모델을 복사하고 스칼라 출력 하나를 추가한 뒤, 선호된 응답에 거부된 응답보다 높은 점수를 주도록 학습합니다.
3. 강화 학습: SFT 모델을 정책으로 사용하고, 근접 정책 최적화(PPO)로 최적화하여 보상 모델의 점수를 최대화하되 SFT 모델과의 KL 발산에 비례하는 페널티를 차감합니다. 이 페널티는 보상 모델이 학습한 유창한 텍스트에 정책을 가깝게 유지하고, 보상 모델이 우연히 과대평가하는 이상한 출력 쪽으로 정책이 벗어나는 것을 막습니다.

일반적으로 β로 표기하는 KL 계수는 정책이 얼마나 크게 변경될 수 있는지를 결정합니다. KL 정규화 목적 함수에는 정확한 최적해가 있습니다. 이는 보상을 β로 나눈 값의 지수 함수에 따라 재가중한 참조 확률이며, 다음 NumPy 예제에서는 후보 응답 네 개에 대해 이를 계산합니다:

import numpy as np

# Four candidate responses: probability under the fine-tuned reference model and reward-model score
reference = np.array([0.50, 0.30, 0.15, 0.05])
reward = np.array([0.0, 1.0, 2.0, 4.0])

for beta in [10.0, 1.0, 0.1]:
    # Optimal policy for "maximize expected reward - beta * KL(policy || reference)"
    policy = reference * np.exp(reward / beta)
    policy /= policy.sum()
    kl = (policy * np.log(policy / reference)).sum()
    print(f"beta={beta:>4}: policy={policy.round(2)}, expected reward={policy @ reward:.2f}, KL={kl:.2f}")

β = 10에서는 참조 정책과 거의 같은 [0.46 0.3 0.17 0.07] 정책을 출력하고, β = 0.1에서는 [0. 0. 0. 1.] 정책을 출력합니다. 이때 확률 전체가 참조 모델이 5%의 확률만 부여했던 응답으로 이동하며, KL 값은 3.00입니다. 작은 β에서는 보상 모델 점수가 가장 높아지지만, 보상 모델이 그 희귀 응답을 과대평가하면 정책은 사람들을 만족시키는 대신 오류를 악용하도록 학습한 것입니다. 직접 선호 최적화(DPO)는 별도의 보상 모델이나 RL 루프 없이 이와 동일한 폐형식 최적해를 사용해 선호도 쌍으로 직접 학습합니다.

RLHF 활용 분야#

• 채팅 어시스턴트: InstructGPT의 레이블러는 1,300억이 아닌 13억 매개변수의 RLHF 모델이 생성한 출력을 1,750억 매개변수 GPT-3의 출력보다 선호했습니다. Meta의 Llama 2 채팅 모델은 유용성과 안전성을 각각 평가하는 두 개의 보상 모델을 기준으로 조정되었습니다.
• 요약: OpenAI의 2020년 요약 모델은 인간 피드백을 사용해 학습했으며, 평가자는 모델이 생성한 요약을 데이터셋의 사람이 작성한 참조 요약보다 선호했습니다.
• 이미지 생성: 생성된 이미지에 대한 사람의 평가로 학습한 보상 모델을 사용해 텍스트-이미지 모델을 미세 조정하면 프롬프트를 충실히 따르고 사람들이 매력적이라고 느끼는 이미지를 생성하도록 유도할 수 있습니다.
• 로보틱스 및 제어: 자연스러운 보행이나 군중 속에서 안전한 경로와 같이 성공 여부를 판단하기는 쉽지만 정의하기 어려운 작업에서는 보상 함수를 작성하는 대신 로봇 시도의 짧은 동영상을 사람들이 비교합니다.

주요 공급업체의 비전-언어 모델은 텍스트 챗봇과 동일한 선호도 튜닝을 거칩니다. Ultralytics Platform 에이전트에서는 Ultralytics YOLO26 탐지기가 자세히 살펴볼 이미지를 결정하고, Google Gemini와 같은 Platform 모델 목록의 모델 하나가 워크플로 프롬프트를 따라 해당 이미지를 설명합니다.

한계#

사람의 선호도를 반영하는 데이터 라벨링은 느리고 비용이 많이 들며, 평가자 간 의견도 일치하지 않습니다. 따라서 보상 모델은 평가자의 맹점과 함께 선호도의 평균을 학습합니다. 평가자는 자신감 있고 동조적인 답변에도 높은 점수를 주는 경향이 있습니다. 다섯 개 어시스턴트를 대상으로 한 Anthropic 연구에서는 사람의 선호도 데이터가 사용자가 밝힌 견해와 일치하는 응답을 선호하는 것으로 나타났으며, 이는 AI 아첨 현상의 한 원인입니다. 학습된 보상을 지나치게 최적화하면 결국 보상 해킹이 발생하여 보상 모델의 점수는 계속 상승하지만 실제 품질은 떨어집니다.

RLHF와 관련 방법 비교#

• 일반적인 강화 학습: 환경은 게임 점수와 같은 고정된 보상을 제공합니다. 고정된 보상만으로는 목표를 포착할 수 없기 때문에 RLHF는 사람의 평가를 바탕으로 보상을 학습합니다.
• 보상 모델링: 보상 모델은 RLHF를 구성하는 요소 중 하나로, 사람의 순위 평가를 강화 학습 알고리즘이 최적화할 수 있는 점수로 변환하는 신경망입니다.
• 헌법적 AI: 사람 대신 서면 원칙에 따라 AI 모델이 선호도 레이블을 생성하는 방식으로, AI 피드백 기반 강화 학습(RLAIF)이라고 하는 변형입니다.
• 검증 가능한 보상 기반 강화 학습(RLVR): 프로그램이 수학 문제의 답이나 단위 테스트와 같은 각 응답을 확인하고 보상을 제공합니다. 일반적으로 그룹 상대 정책 최적화(GRPO)를 사용하는 RLVR은 추론 모델을 학습하며, 최신 후속 학습 파이프라인은 검사기가 있는 경우 검증 가능한 보상을, 개방형 프롬프트에는 RLHF 방식의 보상 모델을 함께 사용합니다.