Episodic Memory

La memoria episódica en inteligencia artificial es un almacén de experiencias pasadas específicas de un agente, cada una conservada junto con el contexto de qué ocurrió, dónde y cuándo, al que el agente recurre más adelante para tomar decisiones. El término procede de la psicología, donde Endel Tulving distinguió en 1972 entre memoria episódica, el recuerdo de acontecimientos personales, y memoria semántica, el conocimiento general de hechos. En IA, la memoria episódica adopta la forma de un almacén externo en el que el agente escribe mientras se ejecuta: los agentes de aprendizaje por refuerzo conservan transiciones y retornos anteriores, los agentes de IA basados en modelos de lenguaje guardan registros de conversaciones y acciones previas, y los robots y asistentes portátiles mantienen registros de lo que han captado sus cámaras.

Memoria episódica, semántica y procedimental#

Una red neuronal entrenada almacena conocimientos generales en sus pesos del modelo, que solo cambian durante el entrenamiento. Por eso, recordar un acontecimiento concreto del día anterior requiere un almacén independiente en el que se pueda escribir durante la ejecución. El marco Cognitive Architectures for Language Agents (CoALA), propuesto por Theodore Sumers, Shunyu Yao, Karthik Narasimhan y Thomas Griffiths en 2023, aplica las categorías psicológicas a los agentes de modelos de lenguaje grandes (LLM). La memoria de trabajo es el prompt actual, la memoria episódica contiene las experiencias pasadas del agente, la memoria semántica contiene hechos sobre el mundo y la memoria procedimental contiene habilidades representadas en los pesos del modelo y el código del agente.

Un agente con memoria episódica la consulta y actualiza en cada paso:

Memoria episódica en el aprendizaje por refuerzo#

La repetición de experiencias, presentada por Long-Ji Lin en 1992, es el almacén episódico más sencillo: el agente guarda sus transiciones y se entrena con muestras aleatorias de estas. El agente DQN que aprendió a jugar a los juegos de Atari en 2015 conservaba el millón de transiciones más recientes. El control episódico utiliza el almacén para actuar directamente. Model-Free Episodic Control, de Charles Blundell y sus colegas de DeepMind en 2016, registraba el mejor retorno obtenido para cada estado y acción, y estimaba el valor de los nuevos estados a partir de sus vecinos más cercanos en la memoria, lo que le permitía aprender más rápido que DQN al principio del entrenamiento. El agente Never Give Up de DeepMind (2020) se recompensa por alcanzar estados alejados de todo lo almacenado en la memoria del episodio actual. Este incentivo a la exploración ayudó a su sucesor, Agent57, a convertirse en el primer agente de aprendizaje profundo por refuerzo en superar el rendimiento humano de referencia en los 57 juegos de Atari.

Memoria episódica en agentes LLM#

Un modelo de lenguaje solo recuerda lo que cabe en su ventana de contexto, así que los agentes de larga duración escriben sus experiencias en un almacén externo y recuperan las pertinentes en el prompt. En Generative Agents, presentado en UIST 2023, Joon Sung Park y sus colegas de Stanford y Google dotaron a 25 personajes simulados de un flujo de recuerdos compuesto por observaciones en lenguaje natural. Cada recuerdo se puntúa según la actualidad —un decaimiento exponencial con un factor de 0,995 por cada hora de juego transcurrida desde la última recuperación—, la importancia —un número entero del 1 al 10 asignado por el modelo de lenguaje— y la relevancia —la similitud del coseno entre la representación vectorial del recuerdo y la de la consulta—. Las tres puntuaciones se normalizan mediante min-max y se suman con el mismo peso.

Este ejemplo aplica esa puntuación a los recuerdos de un robot doméstico, usando el modelo de representación vectorial de frases all-MiniLM-L6-v2:

import numpy as np
from sentence_transformers import SentenceTransformer

# Episodic memories of a home robot: what happened, hours since last recalled, importance from 1 to 10
memories = [
    ("Saw the car keys on the kitchen counter", 30, 5),
    ("Charged the battery at the docking station", 2, 2),
    ("Watered the plants in the living room", 5, 3),
    ("Saw the car keys in the coat pocket in the hallway", 4, 5),
    ("The user said the back door sticks when it rains", 50, 8),
]
texts, hours, importance = zip(*memories)
model = SentenceTransformer("all-MiniLM-L6-v2")
query = model.encode("Where are my car keys?", normalize_embeddings=True)
relevance = model.encode(list(texts), normalize_embeddings=True) @ query  # cosine similarity to the query
recency = 0.995 ** np.array(hours)  # exponential decay per hour

# Generative Agents retrieval: min-max normalize each signal to 0-1, then add them with equal weights
signals = [recency, np.array(importance, dtype=float), relevance]
score = sum((s - s.min()) / (s.max() - s.min()) for s in signals)
for i in np.argsort(-score)[:3]:
    print(f"score {score[i]:.2f}, relevance {relevance[i]:.2f}: {texts[i]}")

El avistamiento en el pasillo queda en primer lugar con una puntuación de 2,44, por delante del avistamiento en la encimera de la cocina, con 1,89, aunque el recuerdo más antiguo se parece ligeramente más a la pregunta (0,71 frente a 0,70). La actualidad permite distinguirlos, así que el robot informa de dónde vio las llaves más recientemente. Reflexion, de Noah Shinn y sus colegas en 2023, almacena las reflexiones escritas por el propio agente sobre sus intentos fallidos en un búfer episódico y alcanzó un 91 % de pass@1 en el benchmark de programación HumanEval, frente al 80 % de GPT-4.

Memoria episódica en vídeo y agentes encarnados#

En la IA encarnada y las cámaras portátiles, la memoria episódica permite responder a preguntas sobre lo que captó una cámara anteriormente. El conjunto de datos Ego4D, publicado por Meta y universidades asociadas en 2021, contiene 3.670 horas de vídeo en primera persona grabado por 931 usuarios de cámaras en 74 ubicaciones de 9 países e incluye un benchmark de memoria episódica basado en preguntas como «¿Dónde he dejado las llaves?». Sus tareas consisten en localizar el momento del vídeo que responde a una pregunta en lenguaje natural, encontrar la última aparición de un objeto mostrado en una imagen de referencia y localizar todas las instancias de una actividad. En el paquete Ultralytics, VisualAISearch obtiene la representación vectorial de cada imagen de una carpeta con CLIP y ordena las imágenes según su similitud del coseno con una consulta de texto, que es el paso de relevancia de una memoria de este tipo para los fotogramas guardados por la cámara de un robot.

Memoria episódica frente a términos relacionados#

• Banco de memoria: Almacena vectores para los cálculos propios de un modelo, como negativos contrastivos, fotogramas de vídeo anteriores o parches de imágenes normales. La memoria episódica almacena las experiencias de un agente para orientar sus decisiones.
• Generación aumentada por recuperación (RAG): Recupera pasajes de documentos externos para fundamentar las respuestas de un modelo. La memoria episódica aplica el mismo mecanismo de recuperación al historial del propio agente.
• Base de datos vectorial: Capa de almacenamiento y búsqueda por similitud que suele contener los recuerdos episódicos de los agentes en producción.
• Aprendizaje continuo: Aprende tareas nuevas sin olvidar catastróficamente las anteriores, a menudo reproduciendo ejemplos almacenados. Gradient Episodic Memory (GEM), de David Lopez-Paz y Marc'Aurelio Ranzato en 2017, conserva un pequeño conjunto de ejemplos de cada tarea anterior y limita cada actualización para que la pérdida sobre ellos no aumente.