Episodic Memory

Bộ nhớ tình tiết trong trí tuệ nhân tạo là kho lưu trữ những trải nghiệm cụ thể trong quá khứ của một tác tử; mỗi trải nghiệm được lưu cùng ngữ cảnh về việc gì đã xảy ra, ở đâu và khi nào, để tác tử tra cứu sau này nhằm hỗ trợ quyết định hiện tại. Thuật ngữ này bắt nguồn từ tâm lý học, nơi Endel Tulving phân biệt vào năm 1972 giữa trí nhớ tình tiết, tức hồi tưởng các sự kiện cá nhân, và trí nhớ ngữ nghĩa, tức kiến thức chung về sự kiện. Trong AI, bộ nhớ tình tiết có dạng một kho lưu trữ bên ngoài mà tác tử ghi dữ liệu vào khi hoạt động: tác tử học tăng cường lưu các chuyển trạng thái và lợi tức trong quá khứ, tác tử AI dựa trên model ngôn ngữ lưu bản ghi các cuộc hội thoại và hành động trước đó, còn robot và trợ lý đeo trên người lưu nhật ký những gì camera của chúng ghi nhận.

Trí nhớ tình tiết, ngữ nghĩa và thủ tục#

Một mạng nơ-ron đã huấn luyện lưu kiến thức tổng quát trong trọng số model; trọng số chỉ thay đổi trong quá trình huấn luyện, nên muốn nhớ một sự kiện cụ thể của ngày hôm qua cần có một kho lưu trữ riêng có thể ghi dữ liệu trong lúc chạy. Khung Cognitive Architectures for Language Agents (CoALA), do Theodore Sumers, Shunyu Yao, Karthik Narasimhan và Thomas Griffiths đề xuất năm 2023, ánh xạ các phạm trù tâm lý học sang tác tử mô hình ngôn ngữ lớn (LLM). Bộ nhớ làm việc là prompt hiện tại, bộ nhớ tình tiết lưu trải nghiệm trước đây của tác tử, bộ nhớ ngữ nghĩa lưu sự kiện về thế giới, còn bộ nhớ thủ tục lưu kỹ năng dưới dạng trọng số model và mã của tác tử.

Tác tử có bộ nhớ tình tiết đọc và ghi vào bộ nhớ đó ở mỗi bước:

Bộ nhớ tình tiết trong học tăng cường#

Experience replay, do Long-Ji Lin giới thiệu năm 1992, là kho lưu trữ tình tiết đơn giản nhất: tác tử lưu các chuyển trạng thái rồi huấn luyện trên những mẫu ngẫu nhiên từ đó; tác tử DQN học chơi trò Atari năm 2015 đã lưu 1 triệu chuyển trạng thái gần nhất. Điều khiển theo tình tiết dùng kho lưu trữ để trực tiếp chọn hành động. Model-Free Episodic Control, do Charles Blundell và đồng nghiệp tại DeepMind công bố năm 2016, ghi lại lợi tức tốt nhất từng đạt được sau mỗi trạng thái và hành động, rồi ước lượng giá trị của trạng thái mới từ các láng giềng gần nhất trong bộ nhớ; nhờ vậy, phương pháp này học nhanh hơn DQN ở giai đoạn đầu huấn luyện. Tác tử Never Give Up của DeepMind (2020) tự thưởng khi đi tới các trạng thái cách xa mọi trạng thái được lưu trong bộ nhớ của tập hiện tại; phần thưởng khuyến khích khám phá này giúp phiên bản kế nhiệm, Agent57, trở thành tác tử học tăng cường sâu đầu tiên vượt chuẩn con người trên cả 57 trò Atari.

Bộ nhớ tình tiết trong tác tử LLM#

Model ngôn ngữ chỉ nhớ được những gì vừa trong cửa sổ ngữ cảnh, nên các tác tử hoạt động lâu dài ghi trải nghiệm vào kho lưu trữ bên ngoài rồi truy xuất những mục liên quan vào prompt. Trong Generative Agents, được trình bày tại UIST 2023, Joon Sung Park và đồng nghiệp tại Stanford và Google cung cấp cho 25 nhân vật mô phỏng một luồng bộ nhớ gồm các quan sát bằng ngôn ngữ tự nhiên. Mỗi mục ký ức được chấm điểm theo độ mới, là mức suy giảm hàm mũ với hệ số 0.995 cho mỗi giờ trong trò chơi kể từ lần truy xuất gần nhất; độ quan trọng, là số nguyên từ 1 đến 10 do model ngôn ngữ gán; và mức liên quan, là độ tương đồng cosine giữa embedding của mục ký ức và embedding của truy vấn. Ba điểm số được chuẩn hóa theo min-max rồi cộng lại với trọng số bằng nhau.

Ví dụ này áp dụng cách chấm điểm đó cho ký ức của robot gia đình, sử dụng model embedding câu all-MiniLM-L6-v2:

import numpy as np
from sentence_transformers import SentenceTransformer

# Episodic memories of a home robot: what happened, hours since last recalled, importance from 1 to 10
memories = [
    ("Saw the car keys on the kitchen counter", 30, 5),
    ("Charged the battery at the docking station", 2, 2),
    ("Watered the plants in the living room", 5, 3),
    ("Saw the car keys in the coat pocket in the hallway", 4, 5),
    ("The user said the back door sticks when it rains", 50, 8),
]
texts, hours, importance = zip(*memories)
model = SentenceTransformer("all-MiniLM-L6-v2")
query = model.encode("Where are my car keys?", normalize_embeddings=True)
relevance = model.encode(list(texts), normalize_embeddings=True) @ query  # cosine similarity to the query
recency = 0.995 ** np.array(hours)  # exponential decay per hour

# Generative Agents retrieval: min-max normalize each signal to 0-1, then add them with equal weights
signals = [recency, np.array(importance, dtype=float), relevance]
score = sum((s - s.min()) / (s.max() - s.min()) for s in signals)
for i in np.argsort(-score)[:3]:
    print(f"score {score[i]:.2f}, relevance {relevance[i]:.2f}: {texts[i]}")

Lần nhìn thấy trong hành lang đứng đầu với điểm 2.44, cao hơn lần nhìn thấy trên quầy bếp với điểm 1.89, dù ký ức cũ hơn có độ tương đồng với câu hỏi nhỉnh hơn một chút (0.71 so với 0.70). Độ mới giúp phân biệt hai ký ức, nên robot báo vị trí gần nhất nó nhìn thấy chìa khóa. Reflexion, do Noah Shinn và đồng nghiệp phát triển năm 2023, lưu các suy ngẫm do chính tác tử viết về những lần thử thất bại trong bộ đệm tình tiết và đạt 91% pass@1 trên chuẩn đánh giá lập trình HumanEval, so với 80% của GPT-4.

Bộ nhớ tình tiết trong tác tử video và tác tử hiện thân#

Đối với AI hiện thân và camera đeo trên người, bộ nhớ tình tiết giúp trả lời câu hỏi về những gì camera đã nhìn thấy trước đó. Bộ dữ liệu Ego4D, do Meta và các trường đại học đối tác phát hành năm 2021, gồm 3.670 giờ video góc nhìn thứ nhất từ 931 người đeo camera tại 74 địa điểm ở 9 quốc gia, có một chuẩn đánh giá bộ nhớ tình tiết xoay quanh các câu hỏi như "Tôi đã để chìa khóa ở đâu?" Các tác vụ trong đó xác định thời điểm trong video trả lời câu hỏi bằng ngôn ngữ tự nhiên, tìm lần xuất hiện gần nhất của vật thể trong ảnh tham chiếu và tìm mọi lần xuất hiện của một hoạt động. Trong gói Ultralytics, VisualAISearch tạo embedding cho mọi hình ảnh trong một thư mục bằng CLIP, rồi xếp hạng hình ảnh theo độ tương đồng cosine với truy vấn văn bản; đây là bước đánh giá mức liên quan của dạng bộ nhớ này đối với các khung hình được lưu từ camera robot.

Bộ nhớ tình tiết và các thuật ngữ liên quan#

• Ngân hàng bộ nhớ: Lưu vector phục vụ tính toán nội bộ của model, chẳng hạn negative trong học tương phản, khung hình video trước đó hoặc các patch ảnh bình thường. Bộ nhớ tình tiết lưu trải nghiệm của tác tử để định hướng quyết định.
• Sinh tăng cường truy xuất (RAG): Truy xuất các đoạn văn bản từ tài liệu bên ngoài để làm căn cứ cho câu trả lời của model. Bộ nhớ tình tiết áp dụng cùng cơ chế truy xuất đó cho lịch sử của chính tác tử.
• Cơ sở dữ liệu vector: Lớp lưu trữ và tìm kiếm theo độ tương đồng, thường dùng để lưu bộ nhớ tình tiết của các tác tử trong môi trường production.
• Học liên tục: Học tác vụ mới mà không quên nghiêm trọng các tác vụ cũ, thường bằng cách phát lại các ví dụ đã lưu. Gradient Episodic Memory (GEM), do David Lopez-Paz và Marc'Aurelio Ranzato phát triển năm 2017, giữ một tập nhỏ ví dụ từ mỗi tác vụ trước đó và ràng buộc mọi lần cập nhật sao cho loss trên các ví dụ đó không tăng.