Reinforcement Learning

강화 학습 (RL)은 자율 시스템이 환경에서 행동을 수행하고 피드백을 받으면서 의사 결정을 학습하는 에이전트 기반의 목표 지향적 머신 러닝 (ML) 하위 분야입니다. 정답이 레이블로 지정된 정적 데이터셋에 의존하는 지도 학습과 달리, RL 알고리즘은 시행착오의 동적 과정을 통해 학습합니다. 에이전트는 시뮬레이션 또는 실제 세계와 상호 작용하고, 행동의 결과를 관찰하여 장기적으로 가장 높은 보상을 제공하는 전략을 판단합니다. 이러한 접근 방식은 시간이 지남에 따라 긍정적 강화(보상)와 부정적 강화(처벌)를 통해 행동이 형성되는 조작적 조건화의 심리학적 개념을 밀접하게 모방합니다.

RL 루프의 핵심 개념#

RL의 작동 방식을 이해하려면 이를 지속적인 상호 작용 주기로 시각화하는 것이 도움이 됩니다. 이 프레임워크는 결과가 부분적으로 무작위이고 부분적으로 의사 결정자에 의해 제어되는 상황에서 의사 결정을 구조화하는 마르코프 의사결정 프로세스 (MDP)로 수학적으로 정형화되는 경우가 많습니다.

이 학습 루프의 주요 구성 요소는 다음과 같습니다.

• AI 에이전트: 학습하고 의사 결정을 내리는 주체입니다. 환경을 인식하고 누적 성과를 극대화하기 위한 행동을 수행합니다.
• 환경: 에이전트가 작동하는 외부 세계입니다. 복잡한 비디오 게임, 금융 시장 시뮬레이션 또는 물류 분야의 AI가 적용되는 실제 창고일 수 있습니다.
• 상태: 현재 상황을 보여주는 스냅샷 또는 표현입니다. 비전 애플리케이션에서는 객체와 장애물을 감지하기 위해 컴퓨터 비전 (CV)을 사용하여 카메라 피드를 처리하는 작업이 포함되는 경우가 많습니다.
• 행동: 에이전트가 수행하는 특정 동작 또는 선택입니다. 가능한 모든 동작의 전체 집합을 행동 공간이라고 합니다.
• 보상: 행동 후 환경에서 에이전트로 전송되는 수치 신호입니다. 잘 설계된 보상 함수는 유익한 행동에 양의 값을 할당하고 해로운 행동에는 페널티를 부여합니다.
• 정책: 에이전트가 현재 상태를 기반으로 다음 행동을 결정하는 데 사용하는 전략 또는 규칙 집합입니다. Q-learning과 같은 알고리즘은 이 정책을 업데이트하고 최적화하는 방법을 정의합니다.

실제 적용 사례#

강화 학습은 이론적 연구를 넘어 다양한 산업 분야에서 실용적이고 큰 영향력을 발휘하는 배포 사례로 확장되었습니다.

• 고급 로보틱스: 로보틱스 분야의 AI에서 RL은 하드코딩하기 어려운 복잡한 운동 기술을 기계가 습득하도록 합니다. 로봇은 실제 세계에 배포하기 전에 NVIDIA Isaac Sim과 같은 물리 엔진에서 학습하여 불규칙한 물체를 잡거나 고르지 않은 지형을 탐색하는 방법을 익힐 수 있습니다.
• 자율 시스템: 자율주행 차량은 예측하기 어려운 교통 상황에서 실시간 의사 결정을 내리기 위해 RL을 활용합니다. 객체 감지 모델이 보행자와 표지판을 식별하는 동안, RL 알고리즘은 차선 합류와 교차로 통과를 위한 안전한 주행 정책을 결정하는 데 도움을 줍니다.
• 전략적 최적화: RL은 Google DeepMind의 AlphaGo와 같은 시스템이 복잡한 보드 게임에서 인간 세계 챔피언을 물리치면서 전 세계적인 주목을 받았습니다. 게임을 넘어 이러한 에이전트는 데이터 센터의 냉각 시스템을 제어하여 에너지 소비를 줄이는 등 산업 물류를 최적화합니다.

비전과 RL의 통합#

많은 현대 애플리케이션에서 에이전트가 관찰하는 "상태"는 시각적입니다. YOLO26과 같은 고성능 모델은 RL 에이전트의 인식 계층으로 작동하여 원시 이미지를 구조화된 데이터로 변환합니다. 이렇게 처리된 정보(예: 객체의 위치와 클래스)는 RL 정책이 행동을 선택하는 데 사용하는 상태가 됩니다.

다음 예제에서는 ultralytics 패키지를 사용하여 환경 프레임을 처리하고, 이론적 RL 루프를 위한 상태 표현(예: 객체 수)을 생성하는 방법을 보여줍니다.

from ultralytics import YOLO

# Load the YOLO26 model to serve as the agent's vision system
model = YOLO("yolo26n.pt")

# Simulate the agent observing the environment (an image frame)
observation_frame = "https://ultralytics.com/images/bus.jpg"

# Process the frame to extract the current 'state'
results = model(observation_frame)

# The agent uses detection data to inform its next action
# For example, an autonomous delivery robot might stop if it sees people
num_objects = len(results[0].boxes)
print(f"Agent Observation: {num_objects} objects detected. Calculating next move...")

관련 용어 구분#

강화 학습을 다른 머신 러닝 패러다임과 구분하는 것이 중요합니다.

• 지도 학습과 비교: 지도 학습에서는 숙련된 외부 감독자가 레이블이 지정된 학습 데이터(예: "이 이미지에는 고양이가 있습니다")를 제공해야 합니다. 반면 RL은 명시적인 레이블 없이 자체 행동의 결과로부터 학습하며, 탐색을 통해 최적의 경로를 발견합니다.
• 비지도 학습과 비교: 비지도 학습은 레이블이 지정되지 않은 데이터에서 숨겨진 구조나 패턴(예: 고객 클러스터링)을 찾는 데 중점을 둡니다. RL은 단순히 데이터 구조를 설명하는 것이 아니라 보상 신호를 최대화하는 데 초점을 맞추는 명확한 목표 지향적 학습이라는 점에서 다릅니다.

컴퓨팅 성능이 향상됨에 따라 인간 피드백을 통한 강화 학습 (RLHF)과 같은 기법은 에이전트의 학습 방식을 더욱 개선하여 에이전트의 목표를 복잡한 인간의 가치와 안전 표준에 더욱 긴밀하게 맞추고 있습니다. 연구자들은 이러한 알고리즘을 벤치마킹하고 개선하기 위해 Gymnasium과 같은 표준화된 환경을 자주 사용합니다. 이러한 에이전트의 인식 계층에 필요한 데이터셋을 관리하려는 팀을 위해 Ultralytics Platform은 주석 처리와 모델 관리를 위한 종합적인 도구를 제공합니다.