YOLO 라이선스 받기
Ultralytics 용어집으로 돌아가기

Reinforcement Learning with Verifiable Rewards (RLVR)

검증 가능한 보상 기반 강화 학습(RLVR)은 단위 테스트 통과나 알려진 수학 답변과의 일치처럼 자동화된 검사를 통해 모델을 학습시킵니다.

검증 가능한 보상을 활용한 강화 학습 (RLVR)은 대규모 언어 모델 (LLM)과 기타 생성 모델을 강화 학습으로 학습하는 방법입니다. 보상은 각 출력을 정답으로 알려진 결과와 대조하는 프로그램에서 제공됩니다. 수학 답변은 기준 답과 일치하거나 일치하지 않으며, 생성된 코드는 단위 테스트를 통과하거나 실패합니다. 이런 검사는 비용이 저렴하고 객관적이므로 RLVR은 수천 번의 학습 스텝을 수행할 수 있으며, 답변 전에 긴 사고 연쇄를 거치는 추론 모델의 핵심 기법입니다. AI2는 2024년 11월 Tülu 3 보고서에서 이 방법의 이름을 제시했고, 2025년 1월 DeepSeek-R1이 널리 주목받게 했습니다. R1-Zero 모델은 사전 지도 미세 조정 없이 규칙 기반 정확도 및 형식 보상만으로 강력한 단계별 추론을 학습했습니다.

RLVR 작동 방식#

학습은 사전 학습된, 대개 명령어 튜닝된 모델과 프로그램으로 답을 검증할 수 있는 프롬프트 집합에서 시작합니다. 각 프롬프트에 대해 모델이 여러 응답을 샘플링하면 검증기가 각 응답에 점수를 매깁니다. 이어서 근위 정책 최적화 (PPO) 또는 그룹 상대 정책 최적화 (GRPO)와 같은 정책 경사 알고리즘이 기대보다 높은 점수를 받은 응답의 확률을 높이고 나머지 응답의 확률을 낮춥니다. GRPO에서는 그룹 평균보다 높은 점수를 의미합니다. 클리핑과 많은 학습 설정에서 사용하는 KL 페널티는 업데이트된 모델이 초기 모델에서 너무 멀어지지 않게 합니다. 모델은 풀이 과정을 제공받지 않고 자신이 시도한 답 중 무엇이 성공했는지만 학습하므로, 강화되는 모든 추론 패턴은 모델 스스로 생성한 것입니다.

검증기와 그룹 비교는 몇 줄의 코드로 구현할 수 있습니다. 다음 예시는 \boxed{} 태그에서 최종 답을 추출해 하나의 수학 프롬프트에 대해 샘플링한 답변 네 개를 채점합니다. 이 답 형식은 DeepSeek-R1이 수학 문제에 요구한 형식이며, 이어서 GRPO의 그룹 상대 어드밴티지를 계산합니다:

import re

import numpy as np

reference = "42"  # 학습 프롬프트의 정답
completions = [  # 동일한 프롬프트에서 샘플링한 응답 그룹
    "6 * 7 = 42, so the answer is \\boxed{42}",
    "Adding the terms gives \\boxed{41}",
    "The product is 42.",  # 숫자는 맞지만 요구된 형식으로 최종 답을 제시하지 않음
    "Check: 7 * 6 = 42. \\boxed{42}",
]

# 검증기: 최종 박스 표시 답을 추출해 기준 답과 비교합니다
rewards = []
for text in completions:
    match = re.search(r"\\boxed\{([^}]*)\}", text)
    rewards.append(1.0 if match and match.group(1).strip() == reference else 0.0)

# GRPO 방식 어드밴티지: 각 보상을 그룹 평균 대비로 계산하고 그룹 표준 편차로 스케일링합니다
rewards = np.array(rewards)
advantages = (rewards - rewards.mean()) / (rewards.std() + 1e-6)
print("Rewards:", rewards)
print("Advantages:", advantages.round(2))

실행 결과는 보상 [1. 0. 0. 1.]과 어드밴티지 [ 1. -1. -1. 1.]을 출력합니다. 정답인 두 응답은 강화되며, 세 번째 응답은 42를 포함하지만 요구된 형식으로 최종 답을 명시하지 않아 점수가 낮아집니다.

검증 가능한 보상의 조건#

검증 가능한 보상에는 정답과 출력을 정답과 비교하는 프로그램이 필요합니다. 일반적인 검증기는 다음과 같습니다:

  • 수학 답변: 최종 답을 파싱한 뒤 1/2 및 0.5과 같은 동치 형식을 정규화하여 기준 답과 비교합니다. Math-Verify와 같은 라이브러리가 이 작업을 처리합니다.
  • 코드: 생성된 프로그램을 샌드박스에서 단위 테스트로 실행하고, 테스트 통과 여부 또는 통과한 테스트의 비율을 보상으로 사용합니다.
  • 지시 이행: 단어 수 제한, 필수 키워드, 유효한 JSON 등 프로그램으로 검사할 수 있는 제약 조건입니다. Tülu 3는 수학과 함께 이러한 정밀한 지시 이행에도 RLVR을 적용했습니다.
  • 형식: 추론과 최종 답을 예상된 태그 안에 넣으면 소량의 보상을 제공하며, DeepSeek-R1은 이를 정확도 보상과 결합했습니다.
  • 비전 작업: 레이블이 지정된 박스와의 교집합 대 합집합으로 그라운딩 답변을 평가하고, 객체 탐지기로 생성된 이미지를 검사합니다.

GenEval은 객체 탐지기를 사용해 생성된 이미지에 프롬프트에서 요청한 객체와 개수, 색상, 위치가 포함되어 있는지 확인합니다. Flow-GRPO는 이러한 규칙 기반 점수를 보상으로 사용해 Stable Diffusion 3.5 Medium의 GenEval 정확도를 63%에서 95%로 높였습니다. Ultralytics YOLO26 탐지기도 같은 방식의 검증기로 사용할 수 있습니다. 예를 들어 "버스 정류장에 있는 사람 네 명"과 같은 프롬프트를 카운팅 보상으로 변환할 수 있습니다:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# Prompt: "four people at a bus stop"; the image stands in for a generated sample
results = model("https://ultralytics.com/images/bus.jpg", classes=[0])  # class 0 = person
n_found, n_requested = len(results[0].boxes), 4

# Flow-GRPO's counting reward: full credit for the exact count, less for each missing or extra object
reward = 1 - abs(n_found - n_requested) / n_requested
print(f"People found: {n_found}, reward: {reward:.2f}")

RLVR과 RLHF 및 프로세스 보상 비교#

RLVR은 피드백을 학습 신호로 변환하는 다른 방법과 함께 사용됩니다:

  • 인간 피드백 기반 강화 학습 (RLHF): 사람의 선호도 비교를 바탕으로 학습한 보상 모델이 출력을 평가합니다. 어조나 유용성과 같은 주관적인 품질을 다룰 수 있지만, 학습된 평가기에는 정책이 악용할 수 있는 사각지대가 있습니다. DeepSeek-R1은 이러한 이유로 추론에 신경망 보상 모델을 사용하지 않았으며, 최종 학습 단계에서는 추론 프롬프트에 규칙 기반 보상을, 일반 프롬프트에는 학습된 보상 모델을 적용했습니다.
  • 프로세스 보상 모델 (PRM): 각 중간 추론 단계에 점수를 부여합니다. RLVR은 보통 최종 결과에만 보상을 주며, 이 방식은 비용이 더 저렴하고 악용하기도 더 어렵습니다.
  • 직접 선호 최적화 (DPO): DPO는 학습 중 샘플링이나 검증기를 사용하지 않고 선호된 응답과 거부된 응답의 고정된 쌍으로 오프라인 학습을 수행합니다.

학습 파이프라인은 프롬프트별로 보상 소스를 선택하는 경우가 많으며, 검사기나 사람의 레이블이 없는 경우 헌법적 AI 방식의 AI 피드백을 대안으로 사용합니다:

장점과 한계#

보상에 휴먼 인 더 루프가 필요하지 않으므로 RLVR은 연산 자원과 검증 가능한 문제의 공급에 따라 확장됩니다. 또한 명시적으로 작성된 적 없는 동작을 만들어 냅니다. DeepSeek-R1-Zero의 응답은 학습이 진행되면서 꾸준히 길어졌으며, 모델은 자신의 작업을 다시 확인하고 수정하는 방법을 배웠습니다. Hugging Face의 TRL GRPO 트레이너와 같은 라이브러리는 사용자 정의 보상 함수를 지원하므로, 위와 같은 검증기를 바로 연결할 수 있습니다.

이 방법은 답을 검증할 수 있는 작업에만 적용되며, 검증기가 약하면 보상 해킹이 발생할 수 있습니다. 테스트 통과를 보상받는 코딩 모델은 코드를 수정하는 대신 특정 사례만 처리하거나 테스트 자체를 수정하는 방법을 학습할 수 있습니다. RLVR이 실제로 무엇을 더하는지에 대해서도 연구자 간 의견이 엇갈립니다. 2025년 RLVR 학습 모델 연구에서는 문제당 한 번만 시도할 경우 모델이 기반 모델보다 우수했지만, 여러 번 시도할 수 있게 하면 기반 모델이 더 많은 문제를 풀었습니다. 이는 RLVR이 대체로 기반 모델이 이미 생성할 수 있었던 해답에 확률을 집중시킨다는 것을 시사합니다. 후속 논문은 답변과 추론 연쇄가 모두 정확한 경우에만 샘플을 정답으로 계산했습니다. 이 CoT-Pass@K 측정에서 RLVR로 학습한 Qwen2.5-32B는 AIME 2024와 AIME 2025에서 K가 1,024 이하인 모든 경우에 기반 모델보다 앞섰습니다.

솔루션 살펴보기

스포츠 분야의 컴퓨터 비전

스포츠 분야의 컴퓨터 비전

Ultralytics YOLO가 선수 및 공 추적, 경기력 분석, 코칭 인사이트, 선수 재활을 통해 스포츠 비전을 구현하는 방법을 알아보세요.
자세히 알아보기
항공 이미지 컴퓨터 비전

항공 이미지 컴퓨터 비전

Ultralytics YOLO를 활용해 드론 및 항공 이미지를 농업, 양식업, 보전, 지리 공간 분석을 위한 실시간 인사이트로 전환하세요.
자세히 알아보기
항공우주 분야의 컴퓨터 비전

항공우주 분야의 컴퓨터 비전

Ultralytics YOLO를 활용해 항공기 검사, 활주로 FOD 감지, 공항 지상 운영, 복합재 결함 감지 등 항공우주 분야에 컴퓨터 비전을 적용하세요.
자세히 알아보기
보안 분야의 컴퓨터 비전

보안 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 모든 시설을 보호하세요. Vision AI는 경계 모니터링, 위협 감지, 번호판 인식, 작업장 안전을 지원합니다.
자세히 알아보기
로보틱스 분야의 컴퓨터 비전

로보틱스 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 더 스마트한 머신을 구현하세요. 로보틱스 분야의 Vision AI는 자율 주행, 인식, 객체 추적, 실시간 제어를 지원합니다.
자세히 알아보기
물류 분야의 컴퓨터 비전

물류 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 물류를 간소화하세요. 비전 AI는 화물 검사, 분류, 차량 추적, 실시간 창고 안전 모니터링을 지원합니다.
자세히 알아보기
리테일 분야의 컴퓨터 비전

리테일 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 리테일의 새로운 가능성을 열어 보세요. 비전 AI는 재고 추적, 선반 모니터링, 대기열 관리, 더욱 심층적인 고객 인사이트를 지원합니다.
자세히 알아보기
의료 분야의 컴퓨터 비전

의료 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 의료 솔루션을 구축하세요. 의료 분야의 비전 AI는 의료 영상 판독을 가속화하고, 진단을 개선하며, 환자 모니터링을 지원합니다.
자세히 알아보기
제조 분야의 컴퓨터 비전

제조 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 제조 공정을 최적화하세요. 비전 AI는 품질 관리, 결함 탐지, PPE 규정 준수, 조립 라인 자동화를 지원합니다.
자세히 알아보기
자동차 분야의 컴퓨터 비전

자동차 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 자동차 분야에 컴퓨터 비전을 적용하세요. 비전 AI는 도로 안전, 운전자 지원, 차량 자동화를 개선해 더 스마트한 도로를 구현합니다.
자세히 알아보기
농업 분야의 컴퓨터 비전

농업 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 스마트 농업에 비전 AI를 도입하세요. 작물 모니터링, 가축 추적, 정밀 농업을 지원하여 더 높은 수확량과 더 스마트한 농업을 실현합니다.
자세히 알아보기

함께 AI의 미래를 만들어 가세요!

머신러닝의 미래와 함께 여정을 시작하세요