Глубокое обучение с подкреплением

Глубокое обучение с подкреплением (DRL) — это подобласть машинного обучения (ML), которая сочетает в себе принципы обучения с подкреплением (RL) с мощью глубокого обучения (DL). Оно позволяет AI-агенту изучать оптимальные стратегии принятия решений путем проб и ошибок в сложных многомерных средах. Используя глубокие нейронные сети, модели DRL могут обрабатывать необработанные сенсорные входные данные, такие как пиксели изображения или данные датчиков, без необходимости ручной разработки признаков. Это позволяет им решать проблемы, которые ранее были неразрешимы для традиционных методов RL.

Как работает глубокое обучение с подкреплением

В типичной конфигурации DRL агент взаимодействует со средой в течение ряда временных шагов. На каждом шаге агент наблюдает за состоянием среды, предпринимает действие и получает вознаграждение или штраф. Цель состоит в том, чтобы выучить политику — стратегию выбора действий, которая максимизирует общее совокупное вознаграждение с течением времени. «Глубокая» часть DRL происходит от использования глубокой нейронной сети для аппроксимации либо самой политики, либо функции ценности, которая оценивает желательность состояний или действий. Эта сеть обучается с использованием таких алгоритмов, как градиентный спуск, для корректировки весов модели на основе полученных вознаграждений. Весь этот процесс формализован с использованием марковского процесса принятия решений (MDP), который обеспечивает математическую основу для моделирования последовательного принятия решений.

Отличия от других концепций

Важно отличать DRL от связанных терминов:

• Обучение с подкреплением (RL): DRL — это современная и продвинутая форма RL. В то время как традиционное RL часто полагается на таблицы или линейные функции для сопоставления состояний с действиями, оно сталкивается с трудностями при работе с большими пространствами состояний (например, все возможные комбинации пикселей на экране). DRL преодолевает это ограничение, используя глубокие нейронные сети в качестве мощных аппроксиматоров функций.
• Глубокое обучение (DL): DL — это технология, лежащая в основе способности DRL обрабатывать сложные входные данные. Хотя DL чаще всего ассоциируется с обучением с учителем, где модели обучаются на размеченных наборах данных, DRL обучается на основе нечастой обратной связи в виде вознаграждений, что делает его подходящим для задач оптимизации и управления.
• Обучение с учителем: Эта парадигма обучения требует размеченного набора данных для обучения модели прогнозированию. В отличие от этого, DRL не нуждается в размеченных данных; вместо этого он генерирует свои собственные данные посредством взаимодействия с окружающей средой, руководствуясь сигналом вознаграждения. Это делает его очень эффективным для решения проблем, где размеченные данные встречаются редко или недоступны.

Применение в реальном мире

DRL совершил прорывы в различных сложных областях:

• Игра в игры: Одним из самых известных примеров является AlphaGo от DeepMind, которая победила лучшего в мире игрока в го. Агент DRL обучался, играя миллионы игр против самого себя, используя визуальное состояние доски для принятия стратегических решений. Точно так же OpenAI Five научилась играть в сложную видеоигру Dota 2 на сверхчеловеческом уровне.
• Робототехника: DRL используется для обучения роботов выполнению сложных задач, таких как манипулирование объектами, передвижение и сборка. Например, робот может научиться поднимать незнакомые объекты, напрямую обрабатывая входные данные со своей камеры и получая положительное вознаграждение за успешные захваты. Эта тема рассматривается в обсуждениях о роли ИИ в робототехнике.
• Автономные транспортные средства: DRL помогает разрабатывать сложные стратегии управления для навигации, планирования маршрута и принятия решений в динамических условиях дорожного движения, как подробно описано в статьях об использовании ИИ в самоуправляемых автомобилях.
• Управление ресурсами: DRL может оптимизировать сложные системы, такие как энергосети, управление светофорами и оптимизацию химических реакций. Примером является использование DRL для управления транспортным потоком в умных городах.
• Системы рекомендаций: DRL может оптимизировать последовательность рекомендаций, показываемых пользователю, чтобы максимизировать долгосрочное вовлечение или удовлетворение.
• Здравоохранение: DRL изучается для выявления оптимальных стратегий лечения и дозировок лекарств на основе состояния пациента, что вносит вклад в более широкую область ИИ в здравоохранении.

Актуальность в экосистеме ИИ

Глубокое обучение с подкреплением находится в авангарде исследований в области ИИ, расширяя границы машинной автономии. В то время как такие компании, как Ultralytics, в основном сосредоточены на современных моделях машинного зрения, таких как Ultralytics YOLO, для таких задач, как обнаружение объектов и сегментация изображений, результаты этих систем восприятия часто являются важными входными данными для агентов DRL. Например, робот может использовать модель Ultralytics YOLO, развернутую через Ultralytics HUB, для восприятия окружающей среды (представление состояния), прежде чем политика DRL примет решение о следующем действии. Понимание DRL дает представление о том, как расширенное восприятие вписывается в более широкие автономные системы. Эта разработка часто облегчается такими фреймворками, как PyTorch (домашняя страница PyTorch) и TensorFlow (домашняя страница TensorFlow), и тестируется в средах моделирования, таких как Gymnasium. Ведущие исследовательские организации, такие как DeepMind, и академические органы, такие как Ассоциация по развитию искусственного интеллекта (AAAI), продолжают стимулировать прогресс в этой захватывающей области.