Deep Reinforcement Learning

El aprendizaje por refuerzo profundo (DRL) combina el aprendizaje por refuerzo (RL), en el que un agente aprende por ensayo y error a maximizar la recompensa, con redes neuronales profundas que representan lo que aprende el agente. El aprendizaje por refuerzo clásico almacena un valor para cada estado en una tabla, algo imposible cuando un estado es una imagen de cámara o los ángulos articulares continuos de un robot. En su lugar, una red neuronal transforma observaciones sin procesar y de alta dimensionalidad, como píxeles, escaneos lidar o texto, en valores o probabilidades de acción, y generaliza a estados que nunca ha visto. DQN de DeepMind popularizó el enfoque en 2015 al aprender a jugar a 49 juegos de Atari 2600 usando solo los píxeles de la pantalla y la puntuación del juego, con una arquitectura de red y un conjunto de hiperparámetros, y alcanzando un nivel comparable al de un probador profesional de videojuegos.

Cómo funciona el aprendizaje por refuerzo profundo#

El agente sigue el ciclo del aprendizaje por refuerzo de un proceso de decisión de Markov: observa un estado, actúa, recibe una recompensa y actualiza el modelo. Lo que cambia es que ahora una red con millones de parámetros representa uno o varios de los siguientes elementos:

• Función de valor: La red predice la recompensa acumulada esperada de cada acción y el agente elige la mayor. La red de DQN recibía los cuatro últimos fotogramas del juego, reducidos a 84 × 84 píxeles, para poder detectar el movimiento.
• Política: La red genera una probabilidad para cada acción o la media y la dispersión de una acción continua, como el ángulo de giro; los métodos de gradiente de política la ajustan directamente para favorecer las acciones que han obtenido una recompensa acumulada alta.
• Actor y crítico: Una red actor elige las acciones y una red crítico estima sus valores para indicar al actor cuánto mejor de lo esperado ha sido cada acción, lo que reduce el ruido de las actualizaciones.
• Modelo del mundo: Los agentes basados en modelos, como Dreamer, entrenan una red para predecir observaciones y recompensas futuras y, después, aprenden una política dentro de ese simulador aprendido.

Entrenar una red con datos que el propio agente genera resulta inestable, porque los fotogramas consecutivos están muy correlacionados y los objetivos cambian a medida que se actualiza la red. DQN resolvió este problema con dos ideas que conservaron algoritmos posteriores: un búfer de repetición de experiencias que entrena con minib lotes aleatorios de transiciones anteriores y una red objetivo independiente que solo se actualiza periódicamente:

Gradientes de política en código#

Los métodos de gradiente de política prescinden por completo de las tablas de valores: muestrean acciones de la red y luego aumentan la probabilidad de las acciones a las que siguió una recompensa acumulada alta. Este ejemplo de PyTorch entrena una pequeña red de política con REINFORCE, el algoritmo original de gradiente de política, para mantener una vara en equilibrio sobre un carro en movimiento en el entorno CartPole de Gymnasium:

import gymnasium as gym
import torch
from torch import nn

torch.manual_seed(0)
env = gym.make("CartPole-v1")
policy = nn.Sequential(nn.Linear(4, 64), nn.ReLU(), nn.Linear(64, 2))  # cart and pole state -> logits for left/right
optimizer = torch.optim.Adam(policy.parameters(), lr=0.02)
lengths = []

for episode in range(500):
    obs, _ = env.reset(seed=episode)
    log_probs, rewards, done = [], [], False
    while not done:  # play one episode with the current policy, earning +1 per step the pole stays up
        dist = torch.distributions.Categorical(logits=policy(torch.as_tensor(obs)))
        action = dist.sample()
        obs, reward, terminated, truncated, _ = env.step(action.item())
        log_probs.append(dist.log_prob(action))
        rewards.append(reward)
        done = terminated or truncated
    # REINFORCE: raise the log-probability of actions followed by above-average discounted return
    returns = torch.tensor([sum(0.99**k * r for k, r in enumerate(rewards[t:])) for t in range(len(rewards))])
    loss = -(torch.stack(log_probs) * (returns - returns.mean()) / (returns.std() + 1e-8)).sum()
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()
    lengths.append(len(rewards))

print(f"Average episode length: first 20 = {sum(lengths[:20]) / 20:.0f}, last 20 = {sum(lengths[-20:]) / 20:.0f}")

Imprime first 20 = 14, last 20 = 500: la red sin entrenar deja caer la vara en unos 14 pasos, mientras que, tras 500 episodios, la mantiene en equilibrio durante el límite completo de 500 pasos de cada episodio. Con otras semillas aleatorias, el mismo script puede atascarse o perder el rendimiento a mitad del entrenamiento; se trata de una gran varianza que los críticos y las actualizaciones recortadas de la optimización de política proximal (PPO) pretenden reducir. Bibliotecas como Stable-Baselines3 ofrecen implementaciones probadas de PPO, DQN y actor-crítico suave (SAC).

Aplicaciones destacadas#

• Juegos: Después de Atari, los agentes de aprendizaje por refuerzo profundo derrotaron a campeones mundiales de Go con AlphaGo y alcanzaron el nivel de gran maestro en StarCraft II con AlphaStar, combinando el aprendizaje a partir de partidas humanas con el autojuego mediante aprendizaje por refuerzo.
• Carreras de drones: El dron Swift de la Universidad de Zúrich, entrenado con aprendizaje por refuerzo profundo en simulación y ajustado con datos de vuelos reales, ganó varias carreras directas contra cada uno de tres pilotos campeones en 2023 y marcó el tiempo de carrera más rápido registrado.
• Energía de fusión: DeepMind y el Swiss Plasma Center de EPFL utilizaron una política de aprendizaje por refuerzo profundo para controlar las bobinas magnéticas de un tokamak y dar forma al plasma en varias configuraciones, incluidos dos «glóbulos» de plasma separados al mismo tiempo.
• Robótica: Los robots con patas aprenden a caminar por terrenos irregulares mediante políticas entrenadas en miles de robots simulados, con la fricción y la masa aleatorizadas para que la política siga funcionando al trasladarse al hardware real.
• Modelos de lenguaje: El ajuste fino mediante aprendizaje por refuerzo de políticas Transformer, con recompensas basadas en preferencias o verificadas automáticamente, ha dado lugar a los asistentes conversacionales y los modelos de razonamiento actuales.

La percepción como observación#

La red neuronal convolucional de DQN tuvo que aprender a ver únicamente a partir de las recompensas, procesando 84×84×4 = 28,224 valores de píxel en cada paso. En cambio, muchos sistemas robóticos y de conducción proporcionan a la política la salida de un modelo de visión artificial preentrenado, lo que reduce el tamaño de la observación y permite que el algoritmo de RL dedique sus muestras a tomar decisiones. Ultralytics YOLO26, en modo de seguimiento, convierte cada fotograma de cámara en una clase, una caja y un ID persistente para cada objeto, creando un estado centrado en los objetos del que una política también puede extraer el movimiento de cada objeto entre fotogramas.

Retos#

El aprendizaje por refuerzo profundo requiere muchos datos: DQN se entrenó con 50 millones de fotogramas por juego, lo que equivale aproximadamente a 38 días de juego; por eso, la mayoría de las políticas robóticas se entrenan en simulación y después se transfieren al hardware. La física simulada nunca coincide exactamente con la realidad, así que los ingenieros aleatorizan la fricción, las masas, la iluminación y las texturas mediante la aleatorización de dominio y añaden datos sintéticos para las condiciones poco frecuentes. Los resultados también varían según las semillas aleatorias, los hiperparámetros y los detalles de implementación, un problema de reproducibilidad que se describe en Deep Reinforcement Learning That Matters. Además, un optimizador potente encuentra lagunas en cualquier recompensa imperfecta; este fallo se conoce como manipulación de recompensas, como cuando un agente de carreras de barcos aprendió a dar vueltas sin parar para acumular puntos en lugar de terminar la carrera.

Aprendizaje por refuerzo profundo y términos relacionados#

• Aprendizaje por refuerzo: El campo más amplio. El aprendizaje por refuerzo tabular sirve para problemas pequeños, y el aprendizaje por refuerzo profundo es aprendizaje por refuerzo que utiliza redes neuronales como aproximadores de funciones.
• Aprendizaje profundo: El aprendizaje profundo convencional se entrena con un conjunto de datos etiquetado y fijo. En el aprendizaje por refuerzo profundo, las propias acciones del agente generan los datos, y la señal de entrenamiento es una recompensa aplazada en lugar de una etiqueta.
• Aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF): Método de aprendizaje por refuerzo profundo en el que un modelo de recompensa aprendido a partir de comparaciones de preferencias humanas sustituye a una recompensa escrita manualmente; se utiliza para alinear modelos de lenguaje.
• Control predictivo basado en modelos: MPC resuelve una nueva optimización sobre un modelo explícito en cada paso de control, mientras que una política de aprendizaje por refuerzo profundo ya entrenada elige cada acción con una sola pasada hacia delante por su red.