심층 강화 학습

심층 강화 학습(DRL)은 강화 학습(RL) 의 원리와 딥 러닝(DL)의 성능을 결합한 머신 러닝(ML) 의 하위 분야입니다. 이를 통해 AI 에이전트는 복잡한 고차원 환경에서 시행착오를 통해 최적의 의사 결정 전략을 학습할 수 있습니다. 딥 뉴럴 네트워크를 사용하여 DRL 모델은 수동 피처 엔지니어링 없이도 이미지의 픽셀이나 센서 데이터와 같은 원시 감각 입력을 처리할 수 있습니다. 이를 통해 기존 RL 방식으로는 해결하기 어려웠던 문제를 해결할 수 있습니다.

심층 강화 학습의 작동 원리

일반적인 DRL 설정에서 에이전트는 일련의 시간 단계에 걸쳐 환경과 상호 작용합니다. 각 단계에서 에이전트는 환경의 상태를 관찰하고 조치를 취한 후 보상 또는 페널티를 받습니다. 목표는 시간 경과에 따른 총 누적 보상을 극대화하는 정책(행동 선택 전략)을 학습하는 것입니다. DRL의 "심층" 부분은 심층 신경망을 사용하여 정책 자체 또는 상태 또는 행동의 바람직성을 추정하는 가치 함수를 근사화하는 데서 비롯됩니다. 이 네트워크는 경사 하강과 같은 알고리즘을 사용하여 훈련되어 받은 보상에 따라 모델 가중치를 조정합니다. 이 전체 프로세스는 순차적 의사 결정을 모델링하기 위한 수학적 토대를 제공하는 마르코프 의사 결정 프로세스(MDP)를 사용하여 공식화됩니다.

다른 개념과의 차이점

DRL을 관련 용어와 구별하는 것이 중요합니다:

• 강화 학습(RL): DRL은 현대적이고 발전된 형태의 RL입니다. 기존의 RL은 테이블이나 선형 함수에 의존하여 상태를 동작에 매핑하는 경우가 많지만, 큰 상태 공간(예: 화면에서 가능한 모든 픽셀 조합)에서는 어려움을 겪습니다. DRL은 강력한 함수 근사치로 심층 신경망을 사용하여 이러한 한계를 극복합니다.
• 딥러닝(DL): DL은 복잡한 입력을 처리하는 DRL의 기능을 강화하는 기술입니다. DL은 모델이 레이블이 지정된 데이터 세트에서 학습하는 지도 학습과 가장 일반적으로 연관되어 있지만, DRL은 보상의 희소 피드백을 통해 학습하므로 최적화 및 제어 작업에 적합합니다.
• 지도 학습: 이 학습 패러다임은 예측을 위해 모델을 훈련시키기 위해 레이블이 지정된 데이터 세트가 필요합니다. 반면, DRL은 레이블이 지정된 데이터가 필요하지 않고 보상 신호에 따라 환경과의 상호 작용을 통해 자체 데이터를 생성합니다. 따라서 레이블이 지정된 데이터가 부족하거나 사용할 수 없는 문제에 매우 효과적입니다.

실제 애플리케이션

DRL은 다양하고 복잡한 영역에서 혁신을 주도해 왔습니다:

• 게임 플레이: 가장 유명한 사례 중 하나는 세계 최고의 바둑 기사를 꺾은 딥마인드의 알파고입니다. 알파고는 수백만 번의 대국을 통해 스스로 학습했으며, 바둑판의 시각적 상태를 이용해 전략적 결정을 내렸습니다. 마찬가지로 OpenAI Five는 복잡한 비디오 게임인 도타 2를 초인적인 수준으로 플레이하는 법을 배 웠습니다.
• 로봇 공학: DRL은 로봇이 물체 조작, 이동, 조립과 같은 복잡한 작업을 수행하도록 훈련하는 데 사용됩니다. 예를 들어, 로봇은 카메라의 입력을 직접 처리하고 성공적으로 물체를 잡을 경우 긍정적인 보상을 받음으로써 낯선 물체를 집는 법을 배울 수 있으며, 이는 로봇 공학에서 AI의 역할에 대한 논의에서 살펴본 주제입니다.
• 자율주행 차량: 자율 주행 차량의 AI에 대한 기사에서 자세히 설명한 대로 DRL은 동적 교통 시나리오에서 내비게이션, 경로 계획 및 의사 결정을 위한 정교한 제어 정책을 개발하는 데 도움이 됩니다.
• 리소스 관리: DRL은 에너지 그리드, 교통 신호 제어, 화학 반응 최적화와 같은 복잡한 시스템을 최적화할 수 있습니다. 예를 들어 스마트 시티의 교통 흐름을 관리하기 위해 DRL을 사용할 수 있습니다.
• 추천 시스템: DRL은 사용자에게 표시되는 추천 순서를 최적화하여 장기적인 참여도 또는 만족도를 극대화할 수 있습니다.
• 헬스케어: 환자 상태에 따른 최적의 치료 정책과 약물 용량을 발견하기 위해 DRL이 연구되고 있으며, 의료 분야에서 더 광범위한 AI 분야에 기여하고 있습니다.

AI 생태계에서의 관련성

심층 강화 학습은 기계 자율성의 경계를 넓히는 AI 연구의 최전선에 서 있습니다. Ultralytics와 같은 회사는 주로 물체 감지 및 이미지 분할과 같은 작업을 위해 Ultralytics YOLO와 같은 최첨단 비전 모델에 중점을 두지만, 이러한 인식 시스템의 출력은 종종 DRL 에이전트의 중요한 입력이 되기도 합니다. 예를 들어, 로봇은 DRL 정책이 다음 작업을 결정하기 전에 Ultralytics HUB를 통해 배포된 Ultralytics YOLO 모델을 사용하여 환경(상태 표현)을 인식할 수 있습니다. DRL을 이해하면 고급 인식이 더 광범위한 자율 시스템에 어떻게 적용되는지에 대한 컨텍스트를 얻을 수 있습니다. 이러한 개발은 PyTorch(PyTorch 홈페이지) 및 TensorFlow(TensorFlow 홈페이지)와 같은 프레임워크에 의해 촉진되고 Gymnasium과 같은 시뮬레이션 환경에서 테스트되는 경우가 많습니다. 딥마인드와 같은 선도적인 연구 기관과 인공 지능 발전 협회(AAAI) 와 같은 학술 단체는 이 흥미로운 분야의 발전을 계속 주도하고 있습니다.