Episodic Memory

A memória episódica em inteligência artificial é um repositório de experiências passadas específicas de um agente, cada uma mantida junto ao contexto do que aconteceu, onde e quando; mais tarde, o agente consulta esse repositório para orientar uma decisão atual. O termo vem da psicologia, onde Endel Tulving distinguiu, em 1972, a memória episódica, que recorda acontecimentos pessoais, da memória semântica, que reúne conhecimentos gerais sobre fatos. Na IA, a memória episódica assume a forma de um repositório externo no qual um agente grava dados durante a execução: agentes de aprendizado por reforço mantêm transições e retornos anteriores, agentes de IA baseados em modelos de linguagem mantêm registros de conversas e ações anteriores, e robôs e assistentes vestíveis mantêm registros do que suas câmeras captaram.

Memória episódica, semântica e procedural#

Uma rede neural treinada armazena conhecimento geral em seus pesos do modelo, que só mudam durante o treinamento; portanto, para recordar um acontecimento específico de ontem, é necessário um repositório separado que possa ser atualizado durante a execução. A estrutura Cognitive Architectures for Language Agents (CoALA), proposta por Theodore Sumers, Shunyu Yao, Karthik Narasimhan e Thomas Griffiths em 2023, mapeia as categorias psicológicas para agentes de modelos de linguagem grandes (LLMs). A memória de trabalho corresponde ao prompt atual, a memória episódica guarda as experiências passadas do agente, a memória semântica guarda fatos sobre o mundo e a memória procedural guarda habilidades na forma de pesos do modelo e código do agente.

Um agente com memória episódica lê dela e grava nela a cada etapa:

Memória episódica no aprendizado por reforço#

A repetição de experiências, introduzida por Long-Ji Lin em 1992, é o repositório episódico mais simples: o agente salva suas transições e treina com amostras aleatórias delas; o agente DQN que aprendeu a jogar Atari em 2015 mantinha as 1 milhão de transições mais recentes. O controle episódico usa o repositório para agir diretamente. O Model-Free Episodic Control, criado por Charles Blundell e colegas da DeepMind em 2016, registrava o melhor retorno já obtido após cada estado e ação e estimava o valor de novos estados a partir de seus vizinhos mais próximos na memória, o que lhe permitia aprender mais rápido que o DQN no início do treinamento. O agente Never Give Up da DeepMind (2020) se recompensa por alcançar estados distantes de tudo o que está armazenado na memória do episódio atual; esse bônus de exploração ajudou seu sucessor, Agent57, a se tornar o primeiro agente de aprendizado profundo por reforço a superar o padrão humano nos 57 jogos de Atari.

Memória episódica em agentes LLM#

Um modelo de linguagem só se lembra do que cabe em sua janela de contexto; por isso, agentes de longa duração gravam suas experiências em um repositório externo e recuperam as relevantes para incluí-las no prompt. Em Generative Agents, apresentado na UIST 2023, Joon Sung Park e colegas de Stanford e do Google deram a 25 personagens simulados um fluxo de memória com observações em linguagem natural. Cada memória recebe uma pontuação de recência, calculada por uma decadência exponencial com fator de 0,995 por hora de jogo desde a última recuperação; de importância, um inteiro de 1 a 10 atribuído pelo modelo de linguagem; e de relevância, a similaridade de cosseno entre o embedding da memória e o da consulta. As três pontuações são normalizadas por mínimo-máximo e somadas com pesos iguais.

Este exemplo aplica essa pontuação às memórias de um robô doméstico, usando o modelo de embedding de frases all-MiniLM-L6-v2:

import numpy as np
from sentence_transformers import SentenceTransformer

# Episodic memories of a home robot: what happened, hours since last recalled, importance from 1 to 10
memories = [
    ("Saw the car keys on the kitchen counter", 30, 5),
    ("Charged the battery at the docking station", 2, 2),
    ("Watered the plants in the living room", 5, 3),
    ("Saw the car keys in the coat pocket in the hallway", 4, 5),
    ("The user said the back door sticks when it rains", 50, 8),
]
texts, hours, importance = zip(*memories)
model = SentenceTransformer("all-MiniLM-L6-v2")
query = model.encode("Where are my car keys?", normalize_embeddings=True)
relevance = model.encode(list(texts), normalize_embeddings=True) @ query  # cosine similarity to the query
recency = 0.995 ** np.array(hours)  # exponential decay per hour

# Generative Agents retrieval: min-max normalize each signal to 0-1, then add them with equal weights
signals = [recency, np.array(importance, dtype=float), relevance]
score = sum((s - s.min()) / (s.max() - s.min()) for s in signals)
for i in np.argsort(-score)[:3]:
    print(f"score {score[i]:.2f}, relevance {relevance[i]:.2f}: {texts[i]}")

A observação no corredor fica em primeiro lugar, com uma pontuação de 2,44, à frente da observação do balcão da cozinha, com 1,89, embora a memória mais antiga seja um pouco mais semelhante à pergunta (0,71 contra 0,70). A recência diferencia as duas, então o robô informa onde viu as chaves mais recentemente. O Reflexion, criado por Noah Shinn e colegas em 2023, armazena em um buffer episódico as reflexões que o próprio agente escreve sobre suas tentativas malsucedidas e alcançou 91% de pass@1 no benchmark de programação HumanEval, contra 80% do GPT-4.

Memória episódica em agentes de vídeo e incorporados#

Para a IA incorporada e câmeras vestíveis, memória episódica significa responder a perguntas sobre o que uma câmera viu anteriormente. O conjunto de dados Ego4D, lançado pela Meta e por universidades parceiras em 2021, com 3.670 horas de vídeo em primeira pessoa de 931 usuários de câmeras em 74 locais de 9 países, inclui um benchmark de memória episódica baseado em perguntas como “Onde coloquei minhas chaves?”. Suas tarefas localizam o momento do vídeo que responde a uma pergunta em linguagem natural, encontram a última aparição de um objeto mostrado em uma imagem de referência e localizam todas as ocorrências de uma atividade. No pacote Ultralytics, VisualAISearch cria embeddings de cada imagem em uma pasta com CLIP e classifica as imagens em relação a uma consulta de texto por similaridade de cosseno, que é a etapa de relevância dessa memória para quadros salvos da câmera de um robô.

Memória episódica vs. termos relacionados#

• Banco de memória: Armazena vetores para cálculos do próprio modelo, como negativos contrastivos, quadros de vídeo anteriores ou recortes de imagens normais. A memória episódica armazena as experiências de um agente para orientar suas decisões.
• Geração aumentada por recuperação (RAG): Recupera trechos de documentos externos para fundamentar as respostas de um modelo. A memória episódica aplica o mesmo mecanismo de recuperação ao histórico do próprio agente.
• Banco de dados vetorial: A camada de armazenamento e busca por similaridade que costuma guardar memórias episódicas de agentes em produção.
• Aprendizado contínuo: Aprende novas tarefas sem esquecer catastroficamente as antigas, muitas vezes repetindo exemplos armazenados. O Gradient Episodic Memory (GEM), criado por David Lopez-Paz e Marc'Aurelio Ranzato em 2017, mantém um pequeno conjunto de exemplos de cada tarefa anterior e restringe cada atualização para que a perda nesses exemplos não aumente.