Reinforcement Learning with Verifiable Rewards (RLVR)

검증 가능한 보상을 활용한 강화 학습(RLVR)은 인공지능(AI) 모델의 추론 및 문제 해결 능력을 향상시키는 고급 학습 패러다임입니다. 인간이 주석을 단 선호도 데이터에 의존하는 기존 학습 방법과 달리, RLVR은 모델 출력을 평가하기 위해 결정론적인 규칙 기반 시스템을 사용합니다. 생성된 코드가 컴파일되는지 또는 수학 방정식이 올바르게 풀렸는지와 같은 객관적인 이진 보상을 제공하면 RLVR을 통해 모델은 제한 없는 탐색을 통해 학습할 수 있습니다. 이러한 객관적인 피드백 루프는 최근 고성능 추론 모델의 획기적인 발전을 이끄는 핵심 요인으로, 지속적인 인간의 개입 없이도 모델이 최적의 복잡한 논리 경로를 발견하도록 합니다.

RLVR의 핵심 원칙#

일반적인 머신러닝(ML) 환경에서 AI 에이전트는 보상 신호를 최대화하며 학습합니다. RLVR에서는 주관적인 인간 판단이 아니라 엄격한 프로그래밍 시스템이 보상 신호를 생성합니다. 학습 과정은 몇 가지 기본 단계로 이루어집니다.

• 탐색 전략: 모델은 주어진 프롬프트에 대해 여러 가지 잠재적인 해결책이나 추론 경로를 생성하며, 복잡한 작업을 세분화하기 위해 연쇄적 사고 프롬프팅을 사용하는 경우가 많습니다.
• 결정론적 검증: Python 컴파일러, 계산기 또는 컴퓨터 비전(CV) 인지 시스템과 같은 외부 도구가 최종 출력을 객관적인 성공 기준에 따라 확인합니다.
• 정책 최적화: 출력이 검증 가능한 정답이면 모델은 긍정적인 보상을 받습니다. 그런 다음 Group Relative Policy Optimization(GRPO)이나 근접 정책 최적화(PPO)와 같은 최적화 알고리즘을 사용해 모델의 정책을 업데이트하고 성공적인 추론 경로를 선호하도록 합니다.

이 접근법은 학습 시 모델의 추론 지연 시간 효율성을 크게 개선하고 창발적 추론 능력을 촉진합니다. 최근에는 이 기법을 사용해 DeepSeek-R1과 같은 고성능 모델을 학습시켰습니다.

RLVR, RLHF 및 PRM 비교#

AI 생태계의 다른 정렬 및 학습 패러다임과 RLVR을 구분하는 것이 중요합니다.

• 인간 피드백 기반 강화 학습(RLHF)과 비교: RLHF는 주관적인 인간 선호도로 학습된 보상 모델링 시스템에 의존합니다. RLVR은 객관적이고 프로그램으로 판별할 수 있는 사실에만 의존하여 인간 참여로 인한 병목 현상을 없애므로, 명확한 정답과 오답이 있는 작업에서 높은 확장성을 제공합니다.
• 프로세스 보상 모델(PRM)과 비교: PRM은 모델의 추론 과정 전반에 걸쳐 단계별로 세밀한 피드백을 제공하는 반면, RLVR은 일반적으로 프로세스 마지막의 검증 가능한 결과에 초점을 맞춥니다. 그러나 2025년의 최신 연구는 RLVR에서 최종 검증 가능 보상을 최적화하면 중간 추론 단계의 정확성도 암묵적으로 장려된다는 점을 보여줍니다.

실제 적용 사례#

RLVR은 다양한 결정론적 도메인에서 복잡한 AI 시스템의 학습 방식을 바꾸고 있습니다.

• 수학적 추론: OpenAI o 시리즈와 같은 대규모 추론 모델은 RLVR을 활용해 복잡한 수학 정리를 풉니다. 검증기는 모델이 도출한 답이 맞는지 확실하게 증명하는 엔진 역할을 하여 벤치마크 데이터셋 성능을 크게 높입니다.
• 소프트웨어 엔지니어링 및 코드 생성: AI 코딩 어시스턴트는 RLVR을 사용해 코드를 작성하고 디버깅하며 최적화합니다. 생성된 코드가 성공적으로 컴파일되고 자동화된 단위 테스트 모음을 통과하면 검증 가능한 보상이 주어집니다.
• 자율 비전 에이전트: 물리적 환경에서 자율 에이전트는 목표 지점에 도달하거나 물체를 성공적으로 조작하면 검증 가능한 보상을 받습니다. 이러한 환경에서 비전 모델은 검증 조건을 확인하는 역할을 합니다.

비전 AI에서 검증 가능한 보상 구현하기#

물리적·시각적 환경에서 Ultralytics YOLO26과 같은 인지 모델은 RLVR 루프에서 프로그램 기반 검증기 역할을 할 수 있습니다. 예를 들어 AI 에이전트의 목표가 물체를 특정 구역으로 옮기는 것이라면, YOLO 모델은 해당 구역에 물체가 있는지 탐지해 성공 여부를 검증할 수 있습니다.

다음 Python 코드 조각은 ultralytics 패키지를 사용한 개념적인 프로그램 기반 검증기를 보여줍니다.

from ultralytics import YOLO

# Load a YOLO26 model to act as the programmatic verifier
verifier_model = YOLO("yolo26n.pt")


def get_verifiable_reward(image_path: str, target_class: int) -> float:
    """Returns a verifiable reward of 1.0 if the target object is detected."""
    results = verifier_model(image_path)

    # Check if the desired class (e.g., 0 for 'person') exists in the detections
    detected_classes = results[0].boxes.cls.tolist()
    if target_class in detected_classes:
        return 1.0  # Verifiable success
    return 0.0  # Verifiable failure


# Simulate an agent's environment state check
reward = get_verifiable_reward("https://ultralytics.com/images/bus.jpg", target_class=0)
print(f"RLVR Reward Signal: {reward}")

이러한 인지 검증기를 배포할 때 Ultralytics Platform과 같은 클라우드 플랫폼을 활용하면 개발자는 차세대 자율 에이전트와 추론 에이전트를 학습시키는 견고하고 확장 가능한 RLVR 파이프라인을 구축할 수 있습니다.