Episodic Memory

人工知能におけるエピソード記憶は、エージェントが過去に経験した個々の出来事を保存するもので、それぞれに何が起きたか、どこで、いつ起きたかという文脈を添えておき、エージェントが後で検索して現在の判断に役立てます。この用語は心理学に由来します。Endel Tulvingは1972年に、個人的な出来事の想起であるエピソード記憶と、事実に関する一般知識である意味記憶を区別しました。AIにおけるエピソード記憶は、エージェントの実行中に書き込む外部ストアとして機能します。強化学習エージェントは過去の状態遷移とリターンを保存し、言語モデルを基盤とするAIエージェントは以前の会話や行動の記録を保持します。また、ロボットやウェアラブルアシスタントは、カメラで捉えた内容のログを保存します。

エピソード記憶、意味記憶、手続き記憶#

学習済みのニューラルネットワークは、一般知識をモデルの重みに保存します。重みは学習中にしか変化しないため、昨日の特定の出来事を記憶するには、実行時に書き込める別のストアが必要です。Theodore Sumers、Shunyu Yao、Karthik Narasimhan、Thomas Griffithsが2023年に提唱した言語エージェント向け認知アーキテクチャ（CoALA）フレームワークは、心理学の分類を大規模言語モデル（LLM）エージェントに対応付けます。作業記憶は現在のプロンプト、エピソード記憶はエージェントの過去の経験、意味記憶は世界に関する事実、手続き記憶はモデルの重みやエージェントのコードとして保持されるスキルです。

エピソード記憶を持つエージェントは、各ステップでそこから読み取り、書き込みます。

強化学習におけるエピソード記憶#

Long-Ji Linが1992年に導入した経験再生は、最も単純なエピソードストアです。エージェントは状態遷移を保存し、そのランダムサンプルで学習します。2015年にAtariゲームのプレイを学習したDQNエージェントは、直近の100万件の状態遷移を保持していました。エピソード制御では、ストアを使って直接行動します。Charles Blundellらが2016年にDeepMindで開発したModel-Free Episodic Controlは、各状態と行動の後に得られた最高のリターンを記録し、記憶内の最近傍から新しい状態の価値を推定したため、学習初期にはDQNより速く学習できました。DeepMindのNever Give Upエージェント（2020年）は、現在のエピソード記憶に保存されたどの状態からも遠い状態に到達すると、自身に報酬を与えます。この探索ボーナスは後継のAgent57に貢献し、57種類すべてのAtariゲームで人間のベンチマークを上回った初の深層強化学習エージェントとなりました。

LLMエージェントにおけるエピソード記憶#

言語モデルが記憶できるのはコンテキストウィンドウに収まる情報だけです。そのため、長時間動作するエージェントは経験を外部ストアに書き込み、関連するものをプロンプトに取り込みます。2023年のUISTで発表されたGenerative Agentsでは、スタンフォード大学とGoogleのJoon Sung Parkらが、25人のシミュレーション上の登場人物に、自然言語による観察記録のメモリーストリームを持たせました。各記憶は、最後に検索されてからゲーム内で1時間経過するごとに0.995の係数で指数関数的に減衰する新しさ、言語モデルが割り当てる1～10の整数値である重要度、そして記憶の埋め込みとクエリの埋め込みの間のコサイン類似度である関連性でスコア付けされます。3つのスコアはmin-max正規化され、同じ重みで合算されます。

この例では、all-MiniLM-L6-v2の文埋め込みモデルを使って、家庭用ロボットの記憶にスコア付けします。

import numpy as np
from sentence_transformers import SentenceTransformer

# Episodic memories of a home robot: what happened, hours since last recalled, importance from 1 to 10
memories = [
    ("Saw the car keys on the kitchen counter", 30, 5),
    ("Charged the battery at the docking station", 2, 2),
    ("Watered the plants in the living room", 5, 3),
    ("Saw the car keys in the coat pocket in the hallway", 4, 5),
    ("The user said the back door sticks when it rains", 50, 8),
]
texts, hours, importance = zip(*memories)
model = SentenceTransformer("all-MiniLM-L6-v2")
query = model.encode("Where are my car keys?", normalize_embeddings=True)
relevance = model.encode(list(texts), normalize_embeddings=True) @ query  # cosine similarity to the query
recency = 0.995 ** np.array(hours)  # exponential decay per hour

# Generative Agents retrieval: min-max normalize each signal to 0-1, then add them with equal weights
signals = [recency, np.array(importance, dtype=float), relevance]
score = sum((s - s.min()) / (s.max() - s.min()) for s in signals)
for i in np.argsort(-score)[:3]:
    print(f"score {score[i]:.2f}, relevance {relevance[i]:.2f}: {texts[i]}")

廊下での目撃情報はスコア2.44で1位となり、キッチンカウンターでの目撃情報の1.89を上回ります。ただし、古い記憶のほうが質問との類似度はわずかに高くなっています（0.71対0.70）。新しさが両者を分けるため、ロボットは鍵を最後に見た場所を答えます。Noah Shinnらが2023年に発表したReflexionは、エージェントが失敗した試行について自ら記述した振り返りをエピソードバッファーに保存し、HumanEvalコーディングベンチマークでpass@1が91%に達しました。GPT-4の80%を上回る結果です。

動画および身体性を持つエージェントにおけるエピソード記憶#

身体性AIやウェアラブルカメラでは、エピソード記憶とは、カメラが以前に何を捉えたかに関する質問に答えることです。Metaと大学の提携機関が2021年に公開したEgo4Dデータセットは、9か国74か所で931人のカメラ装着者が撮影した3,670時間の一人称動画を含み、「鍵をどこに置いたか？」といった質問を中心とするエピソード記憶ベンチマークを備えています。そのタスクでは、自然言語の質問に答える動画内の瞬間を特定し、参照画像に写った物体が最後に現れる箇所を見つけ、ある行動の全出現箇所を検出します。UltralyticsパッケージのVisualAISearchは、フォルダー内のすべての画像をCLIPで埋め込み、テキストクエリとのコサイン類似度で順位付けします。これは、ロボットのカメラで保存したフレームを対象とする同様の記憶における、関連性の計算に当たります。

エピソード記憶と関連用語の比較#

• メモリーバンク: コントラスト学習の負例、過去の動画フレーム、正常な画像パッチなど、モデル自身の計算に使うベクトルを保存します。エピソード記憶は、エージェントの意思決定に役立てるため、その経験を保存します。
• 検索拡張生成（RAG）: 外部文書から文章を検索し、モデルの回答に根拠を与えます。エピソード記憶は、同じ検索の仕組みをエージェント自身の履歴に適用します。
• ベクトルデータベース: 本番環境のエージェントがエピソード記憶を保存する際によく使う、ストレージと類似度検索のレイヤーです。
• 継続学習: 古いタスクを壊滅的に忘れることなく新しいタスクを学習し、多くの場合、保存したサンプルを再生します。David Lopez-PazとMarc'Aurelio Ranzatoが2017年に提唱したGradient Episodic Memory（GEM）は、以前の各タスクから少数のサンプルを保持し、それらに対する損失が増加しないように更新を制約します。