Reinforcement Learning

강화 학습(RL)은 머신러닝(ML)의 한 분야로, 에이전트가 환경에서 행동을 시도하고 보상이나 페널티를 받으면서 일련의 의사결정을 학습합니다. 목표는 시간이 지남에 따라 가능한 한 많은 보상을 얻는 것입니다. 에이전트에게 어떤 행동이 옳은지 알려주는 사람은 없습니다. 에이전트는 여러 단계 뒤에 보상이 주어지는 행동도 포함해 어떤 행동이 이득을 주는지 스스로 찾아냅니다. 예를 들어 체스에서 열 수 뒤에 기물을 얻는 수가 이에 해당합니다. 따라서 강화 학습은 게임 플레이, 로봇 조종, 사람들이 선호하거나 프로그램으로 검증할 수 있는 답변을 생성하도록 대규모 언어 모델(LLMs)을 학습시키는 등 순차적 제어 문제의 표준적인 접근 방식입니다. 현대 분야의 토대를 마련한 교재를 집필한 Richard Sutton과 Andrew Barto는 강화 학습에 대한 기초 연구를 인정받아 2024년 ACM A.M. 튜링상을 수상했습니다.

강화 학습의 작동 방식#

강화 학습 문제는 마르코프 결정 과정(MDP)으로 정식화됩니다. 각 시간 단계에서 에이전트는 현재 상태를 관측하고 행동 공간에서 행동을 선택한 다음, 보상과 다음 상태를 받습니다. 에이전트의 목표는 미래 보상의 합인 리턴입니다. 0과 1 사이의 할인 계수는 먼 미래의 보상이 즉각적인 보상보다 적게 반영되도록 합니다. 보상은 에이전트가 받는 유일한 작업 설명이므로 부주의하게 설계하면 보상 해킹이 발생해, 에이전트가 설계자가 의도한 행동을 하지 않고도 높은 점수를 얻을 수 있습니다.

• 에이전트: 로봇 제어기나 게임 플레이 프로그램과 같이 학습하고 의사결정을 내리는 주체입니다.
• 환경: 물리 시뮬레이터부터 실제 창고 바닥까지 에이전트가 상호작용하는 모든 대상입니다.
• 상태: 관절 각도, 보드 위치 또는 카메라 프레임에서 추출한 특성처럼 에이전트가 행동을 결정할 때 사용하는 정보입니다.
• 행동: 좌우 이동과 같은 이산 선택 또는 조향 각도와 같은 연속 값 등 에이전트가 선택할 수 있는 항목입니다.
• 보상: 각 행동 후 환경이 반환하는 수치로, 진행에는 양수, 실수나 시간 낭비에는 음수를 부여합니다.
• 정책: 각 상태에서 행동을 선택하는 에이전트의 규칙으로, 학습을 통해 개선되는 대상입니다.
• 가치 함수: 상태에서 얻을 것으로 예상되는 리턴 또는 상태에서 특정 행동을 취했을 때의 예상 리턴으로, 에이전트가 장기적인 결과를 기준으로 행동을 평가하도록 합니다.

에이전트는 시도한 행동에 대해서만 학습하므로, 가치가 불확실한 행동을 시도하는 탐색과 현재 가장 좋아 보이는 행동을 선택하는 활용 사이에서 균형을 맞춰야 합니다. 일반적인 규칙은 입실론-그리디입니다. 작은 확률로 무작위 행동을 선택하고, 그 외에는 탐욕적으로 행동합니다. 다음 NumPy 예제에서는 모든 상태-행동 쌍의 가치를 학습하는 고전적인 알고리즘인 Q-learning을 사용하여 에이전트가 여섯 칸짜리 복도를 걸어 끝에 있는 보상에 도달하도록 학습합니다:

import numpy as np

rng = np.random.default_rng(0)
# 6칸 복도: 0번 칸에서 시작하고, 5번 칸에 도달하면 +1 보상을 받습니다. 행동 0 = 왼쪽, 1 = 오른쪽
n_states, goal = 6, 5
Q = np.zeros((n_states, 2))  # 각 (상태, 행동)의 추정 수익
alpha, gamma, epsilon = 0.5, 0.9, 0.2  # 학습률, 할인율, 탐색률

for episode in range(200):
    state = 0
    while state != goal:
        # 확률 입실론으로 탐색하고, 그렇지 않으면 가장 잘 알려진 행동을 활용합니다
        action = rng.integers(2) if rng.random() < epsilon else Q[state].argmax()
        next_state = max(0, state - 1) if action == 0 else state + 1
        reward = 1.0 if next_state == goal else 0.0
        # Q-learning 업데이트: 보상과 다음 상태의 최선의 가치에 할인율을 적용한 값 쪽으로 이동합니다
        Q[state, action] += alpha * (reward + gamma * Q[next_state].max() - Q[state, action])
        state = next_state

print("Greedy policy:", ["left" if a == 0 else "right" for a in Q[:goal].argmax(axis=1)])
print("Value of moving right:", Q[:goal, 1].round(2))

모든 칸에서 right 정책과 [0.66 0.73 0.81 0.9 1. ] 값을 출력합니다. 보상은 마지막 칸에서만 주어졌지만, 업데이트 과정에서 보상이 역방향으로 전파됩니다. 목표 지점에서 한 단계 멀어질 때마다 가치는 그다음 단계의 0.9배이며, 이는 할인율이 작동한 결과입니다.

강화 학습 알고리즘 계열#

앞서 살펴본 표 형식 방법은 각 상태의 값을 저장하지만, 상태가 카메라 이미지나 연속적인 관절 각도가 되면 더 이상 작동하지 않습니다. 심층 강화 학습은 표를 신경망으로 대체하여 비슷한 상태 전반에 걸쳐 일반화하며, 주요 알고리즘 계열은 신경망이 학습하는 대상에 따라 달라집니다:

모델 비기반 에이전트는 실제 또는 시뮬레이션된 경험만으로 학습하는 반면, 모델 기반 에이전트는 환경이 어떻게 반응하는지 예측하는 월드 모델을 학습한 다음, 모델 예측 제어나 몬테카를로 트리 탐색처럼 이를 활용해 계획을 세웁니다. 각 업데이트가 정책을 얼마나 변경할 수 있는지 제한하는 근접 정책 최적화(PPO)는 로보틱스와 언어 모델 학습의 기본 정책 경사법이 되었으며, 그룹 상대 정책 최적화(GRPO)는 학습된 크리틱을 제거하여 이를 LLM 추론에 적용했습니다. OpenAI의 Spinning Up에서는 참조 구현과 함께 이러한 알고리즘을 설명합니다.

실제 적용 사례#

• 게임: DeepMind의 AlphaGo는 심층 신경망과 트리 탐색, 강화 학습 자기 대국을 결합해 2016년 3월 바둑 챔피언 이세돌을 4대 1로 꺾었습니다.
• 로보틱스: 사족 보행 및 휴머노이드 보행 제어기는 수천 대의 로봇을 병렬로 시뮬레이션하며 강화 학습으로 학습합니다. 정책이 실제 하드웨어에 잘 전이되도록 마찰, 질량, 지형을 무작위화하는 경우가 많습니다.
• 언어 모델 정렬: 채팅 어시스턴트는 사람의 선호도 비교 데이터로 학습한 보상 모델을 기준으로 강화 학습 미세 조정을 거치며, 추론 모델은 수학 답을 검증하거나 단위 테스트를 실행하는 자동 검사기를 보상 기준으로 강화 학습을 통해 학습합니다.
• 추천 시스템: 추천의 연속을 의사 결정으로 간주하면 시스템은 다음 클릭이 아니라 장기적인 참여도를 최적화할 수 있습니다.

대부분의 로봇 정책은 시뮬레이션에서 학습합니다. 에이전트가 수백만 번의 시도를 필요로 할 수 있고 실제 하드웨어는 고장 날 수 있기 때문입니다. NVIDIA Isaac Lab과 같은 프레임워크는 하나의 GPU에서 수천 개 환경을 실행하며, 도메인 무작위화는 시뮬레이션과 실제 물리 환경의 차이를 줄입니다. 카메라 기반 강화 학습 시스템은 일반적으로 원시 픽셀 대신 인식 모델의 출력을 바탕으로 동작합니다. 로봇에서 ROS 통합을 통해 실행되는 Ultralytics YOLO26은 각 카메라 프레임의 객체 클래스를 게시하며, 깊이 카메라가 있으면 각 객체의 거리도 정책이 상태로 사용할 수 있는 경량 메시지로 게시합니다.

강화 학습과 관련 패러다임 비교#

• 지도 학습: 각 학습 예제에는 정답이 포함됩니다. 강화 학습 에이전트는 대개 지연되어 주어지는 스칼라 보상만 받으며, 에이전트가 취한 행동에 따라 다음에 보게 될 데이터가 결정됩니다.
• 비지도 학습: 모델은 레이블이 없는 데이터에서 군집과 같은 구조를 찾으며, 취할 행동도 최대화할 보상도 없습니다.
• 마르코프 의사결정 과정: MDP는 문제를 정의하고, 강화 학습은 전이 확률을 제공받지 않고 경험을 통해 문제를 해결하는 방법의 계열입니다.
• 모방 학습: 에이전트는 전문가의 시연을 따라 하므로 교사를 능가하기 어렵지만, 강화 학습은 시연자가 보여 주지 않은 전략을 발견할 수 있습니다. 두 방법은 자주 결합됩니다. AlphaGo는 먼저 인간 대국에서 얻은 3천만 개의 기보를 학습한 다음 자기 대국을 통해 성능을 높였으며, 후속 모델인 AlphaGo Zero는 인간 데이터를 완전히 생략하고 AlphaGo를 100대 0으로 이겼습니다.