Reward Modeling

보상 모델링은 인공지능 시스템이 인간의 선호도를 바탕으로 자신의 행동을 평가하고 우선순위를 정하는 방법을 학습시키기 위해 사용하는 머신 러닝 기술입니다. 기존의 강화 학습 환경에서 AI 에이전트는 비디오 게임의 점수와 같이 미리 정의되고 수학적으로 엄격한 보상 함수를 최대화하는 방식으로 학습합니다. 하지만 정중한 이메일 작성이나 안전하게 교차로 주행하기와 같이 "좋은" 행동이 주관적이거나 미묘한 복잡한 실제 작업의 경우, 완벽한 보상 함수를 직접 작성하는 것은 거의 불가능합니다. 보상 모델링은 보조 신경망(보상 모델)을 학습시켜 인간의 판단을 대신하도록 함으로써 이 문제를 해결합니다. 이 모델은 기본 AI의 출력을 평가하고 스칼라 점수를 할당하여 메인 모델이 안전하고 유익하며 정확한 행동을 하도록 동적으로 유도합니다.

Link to this section보상 모델링의 작동 방식#

보상 모델을 구축하기 위한 파이프라인은 고품질의 인간 피드백을 수집하는 데 크게 의존합니다.

• 데이터 라벨링 및 선호도: 인간 평가자에게 프롬프트와 함께 AI 모델이 생성한 여러 응답이 제공됩니다. 평가자는 유익함, 무해함, 정확성과 같은 기준에 따라 이러한 응답의 순위를 최상에서 최악까지 매깁니다. 이러한 대규모 어노테이션 워크플로우 관리는 Ultralytics Platform을 사용하여 원활하게 처리할 수 있습니다.
• 프록시 네트워크 학습: 특수 신경망이 이러한 인간 비교 데이터셋으로 학습됩니다. 최적화 과정을 통해 이 신경망은 인간이 어떤 출력을 선호할지 예측하는 법을 배우며, 행동이나 텍스트 응답의 임베딩을 단일 스칼라 보상 값으로 매핑합니다. 신경망 아키텍처 구축에 대한 자세한 내용은 PyTorch API 문서에서 확인할 수 있습니다.
• 정책 최적화: 기본 모델은 보상 모델로부터 제공되는 지속적인 피드백을 사용하여 행동을 개선하며, 일반적으로 PPO(Proximal Policy Optimization)와 같은 알고리즘을 활용합니다. 이 단계는 모델의 정책을 학습된 인간의 의도에 반복적으로 정렬합니다.

Link to this section보상 모델링과 RLHF의 차이#

보상 모델링과 인간 피드백 기반 강화 학습(RLHF)을 구분하는 것은 중요합니다. 두 용어는 자주 함께 언급되지만 동의어는 아닙니다. RLHF는 모델을 정렬하기 위해 사용되는 포괄적인 엔드투엔드 파이프라인으로, 지도 미세 조정(Supervised Fine-tuning), 데이터 수집, 정책 업데이트를 포함합니다. 보상 모델링은 RLHF 파이프라인 내의 구체적이고 중요한 구성 요소입니다. 이는 개별적인 인간의 순위를 강화 학습 알고리즘이 최적화할 수 있는 연속적인 수학적 신호로 변환하는 가교 역할을 합니다.

Link to this section실제 애플리케이션 사례#

보상 모델링은 인간 및 물리적 세계와 직접 상호작용하는 현대적인 AI 시스템을 개발하는 데 필수적인 역할을 합니다.

• 거대 언어 모델(LLM): 대화형 AI 비서는 보상 모델에 의존하여 답변이 사실적으로 정확할 뿐만 아니라 정중하고 관련성이 높으며 독성 언어가 포함되지 않도록 보장합니다. AI 안전을 탐구하는 조직들은 유익하고 무해한 AI 정렬을 반영하는 시스템을 구축하기 위해 보상 모델링을 지속적으로 발전시키고 있습니다.
• 자율 주행 차량 및 로봇 공학: 물리적 자동화 분야에서 보상 모델은 로봇이 복잡한 주행 에티켓이나 물체 조작 전략을 이해하도록 돕습니다. Ultralytics YOLO26 기반의 인식 시스템은 보행자와 교통 표지판을 감지할 수 있으며, 보상 모델은 차량의 계획된 궤적을 평가하여 AI가 단순히 공격적인 지점 간 이동보다 승객의 편안함과 안전을 우선시하도록 보장합니다.

Link to this section기본적인 보상 모델 개념 구현#

다음 Python 예제는 torch를 사용하여 보상 모델의 기본 구조를 보여줍니다. 실제 환경에서 이 신경망은 인간의 선호도와 일치하는 출력에 더 높은 스칼라 점수를 할당하는 법을 학습합니다.

import torch
import torch.nn as nn


# Define a simplified reward model architecture
class SimpleRewardModel(nn.Module):
    def __init__(self):
        super().__init__()
        # Maps the AI's output embedding to a single reward score
        self.fc = nn.Linear(768, 1)

    def forward(self, embeddings):
        return self.fc(embeddings)


# Initialize the model
reward_model = SimpleRewardModel()

# Simulated embeddings for a human-preferred action and a rejected action
chosen_action = torch.randn(1, 768)
rejected_action = torch.randn(1, 768)

# The model predicts scalar scores to guide the primary agent
print(f"Chosen Action Reward: {reward_model(chosen_action).item():.4f}")
print(f"Rejected Action Reward: {reward_model(rejected_action).item():.4f}")

정렬(Alignment)이 오픈 소스 기반 모델에 미치는 영향에 대해 더 깊이 알고 싶다면 언어 모델을 인간의 의도와 정렬하는 것에 대한 기초 연구를 살펴보고, 컴퓨터 비전(CV) 시스템이 동적 환경과 안전하게 상호작용하기 위해 고급 피드백 루프를 어떻게 활용하는지 확인해 보십시오.