Reinforcement Learning

강화학습(RL)은 에이전트로 알려진 자율 시스템이 환경으로부터 행동을 수행하고 피드백을 받으며 의사결정을 학습하는 기계 학습(ML)의 목표 지향적 하위 집합입니다. 정답이 레이블된 정적 데이터셋에 의존하는 지도 학습과 달리, RL 알고리즘은 시행착오의 동적 과정을 통해 학습합니다. 에이전트는 시뮬레이션 또는 현실 세계와 상호 작용하며 자신의 행동 결과를 관찰하여 어떤 전략이 가장 높은 장기적 보상을 산출하는지 결정합니다. 이 접근 방식은 시간이 지남에 따라 긍정적 강화(보상)와 부정적 강화(벌)에 의해 행동이 형성되는 작동적 조건화의 심리학적 개념을 밀접하게 모방합니다.

RL 루프의 핵심 개념#

RL이 작동하는 방식을 이해하기 위해, 이를 지속적인 상호 작용의 순환 과정으로 시각화하는 것이 도움이 됩니다. 이 프레임워크는 결과가 부분적으로는 무작위이고 부분적으로는 의사결정자에 의해 제어되는 상황에서의 의사결정을 체계화하는 마르코프 결정 과정(MDP)으로 수학적으로 자주 공식화됩니다.

이 학습 루프의 주요 구성 요소는 다음과 같습니다.

• AI 에이전트: 학습과 의사결정을 담당하는 주체입니다. 환경을 지각하고 누적 성공을 극대화하기 위해 행동을 취합니다.
• 환경: 에이전트가 작동하는 외부 세계입니다. 이는 복잡한 비디오 게임, 금융 시장 시뮬레이션, 또는 물류 분야의 AI에서의 물리적 창고가 될 수 있습니다.
• 상태: 현재 상황의 스냅샷 또는 표현입니다. 시각적 응용 분야에서는 컴퓨터 비전(CV)을 사용하여 카메라 피드를 처리하고 객체와 장애물을 감지하는 과정이 이에 해당합니다.
• 행동: 에이전트가 취하는 특정 움직임이나 선택입니다. 가능한 모든 움직임의 완전한 집합을 행동 공간이라고 합니다.
• 보상: 행동 후 환경에서 에이전트로 전송되는 수치 신호입니다. 잘 설계된 보상 함수는 유익한 행동에는 양수 값을, 해로운 행동에는 벌점을 부여합니다.
• 정책: 현재 상태를 바탕으로 에이전트가 다음 행동을 결정하는 데 사용하는 전략 또는 규칙 세트입니다. Q-learning과 같은 알고리즘은 이 정책이 어떻게 업데이트되고 최적화되는지 정의합니다.

실제 애플리케이션 사례#

강화 학습은 이론적 연구를 넘어 다양한 산업 분야에서 실질적이고 영향력 있는 배치 단계로 나아갔습니다.

• 고급 로보틱스: 로보틱스 분야의 AI 분야에서 RL은 기계가 하드코딩하기 어려운 복잡한 운동 기술을 마스터할 수 있도록 지원합니다. 로봇은 NVIDIA Isaac Sim과 같은 물리 엔진 내에서 훈련을 거쳐 현실 세계에 배치됨으로써 불규칙한 물체를 잡거나 고르지 않은 지형을 탐색하는 방법을 배울 수 있습니다.
• 자율 시스템: 자율 주행차는 예측할 수 없는 교통 시나리오에서 실시간 의사결정을 내리기 위해 RL을 활용합니다. 객체 검출 모델이 보행자와 표지판을 식별하는 동안, RL 알고리즘은 차선 합류 및 교차로 주행을 위한 안전한 주행 정책을 결정하는 데 도움을 줍니다.
• 전략적 최적화: Google DeepMind의 AlphaGo 같은 시스템이 복잡한 보드게임에서 인간 세계 챔피언을 꺾었을 때 RL은 전 세계적인 주목을 받았습니다. 게임을 넘어, 이러한 에이전트는 데이터 센터의 냉각 시스템을 제어하여 에너지 소비를 줄이는 등의 산업 물류를 최적화합니다.

비전과 RL의 통합#

많은 현대 응용 분야에서 에이전트가 관찰하는 "상태"는 시각적입니다. YOLO26과 같은 고성능 모델은 RL 에이전트의 인지 레이어 역할을 하여 원시 이미지를 구조화된 데이터로 변환합니다. 객체의 위치 및 클래스와 같은 처리된 정보는 RL 정책이 행동을 선택하는 데 사용하는 상태가 됩니다.

다음 예제는 ultralytics 패키지를 사용하여 환경 프레임을 처리하고, 이론적 RL 루프를 위한 상태 표현(예: 객체 수)을 생성하는 방법을 보여줍니다.

from ultralytics import YOLO

# Load the YOLO26 model to serve as the agent's vision system
model = YOLO("yolo26n.pt")

# Simulate the agent observing the environment (an image frame)
observation_frame = "https://ultralytics.com/images/bus.jpg"

# Process the frame to extract the current 'state'
results = model(observation_frame)

# The agent uses detection data to inform its next action
# For example, an autonomous delivery robot might stop if it sees people
num_objects = len(results[0].boxes)
print(f"Agent Observation: {num_objects} objects detected. Calculating next move...")

관련 용어 차별화#

강화 학습을 다른 머신러닝 패러다임과 구분하는 것은 중요합니다.

• vs. 지도 학습: 지도 학습은 레이블된 훈련 데이터(예: "이 이미지에는 고양이가 포함되어 있습니다")를 제공하기 위해 지식을 갖춘 외부 감독자가 필요합니다. 대조적으로, RL은 명시적인 레이블 없이 자신의 행동 결과로부터 학습하며 탐색을 통해 최적의 경로를 찾아냅니다.
• vs. 비지도 학습: 비지도 학습은 레이블이 없는 데이터 내에서 숨겨진 구조나 패턴을 찾는 것(고객 군집화 등)에 초점을 맞춥니다. RL은 데이터 구조를 설명하는 것뿐만 아니라 보상 신호를 최대화하는 데 명시적으로 목표를 둔다는 점에서 다릅니다.

컴퓨팅 성능이 증가함에 따라, 인간 피드백 기반 강화학습(RLHF)과 같은 기술은 에이전트의 학습 방식을 더욱 개선하여 그들의 목표를 복잡한 인간의 가치 및 안전 기준에 더 가깝게 일치시키고 있습니다. 연구원들은 이러한 알고리즘을 벤치마킹하고 개선하기 위해 Gymnasium과 같은 표준화된 환경을 자주 사용합니다. 이러한 에이전트의 인지 레이어에 필요한 데이터셋을 관리하고자 하는 팀을 위해, Ultralytics Platform은 주석 및 모델 관리를 위한 종합적인 도구를 제공합니다.