Episodic Memory

الذاكرة الحلقية في الذكاء الاصطناعي هي مخزن للتجارب السابقة المحددة للوكيل، تُحفظ فيه كل تجربة مع سياقها، بما يشمل ما حدث وأين ومتى، ويبحث الوكيل فيه لاحقًا للاستعانة به في اتخاذ قرار حالي. يأتي المصطلح من علم النفس، حيث ميّز إندل تولفينغ عام 1972 بين الذاكرة الحلقية، أي تذكّر الأحداث الشخصية، والذاكرة الدلالية، أي المعرفة العامة بالحقائق. وفي الذكاء الاصطناعي، تتخذ الذاكرة الحلقية شكل مخزن خارجي يكتب فيه الوكيل أثناء عمله: تحتفظ وكلاء التعلّم المعزّز بالانتقالات والعوائد السابقة، وتسجّل وكلاء الذكاء الاصطناعي المبنية على نماذج اللغة المحادثات والإجراءات السابقة، فيما تحتفظ الروبوتات والمساعدات القابلة للارتداء بسجلات لما التقطته كاميراتها.

الذاكرة الحلقية والدلالية والإجرائية#

تخزن الشبكة العصبية المدربة المعرفة العامة في أوزان النموذج، التي لا تتغير إلا أثناء التدريب، لذا يتطلب تذكر حدث بعينه وقع بالأمس مخزنًا منفصلًا يمكن الكتابة فيه أثناء التشغيل. يربط إطار عمل البنى المعرفية لوكلاء اللغة (CoALA)، الذي اقترحه Theodore Sumers وShunyu Yao وKarthik Narasimhan وThomas Griffiths عام 2023، هذه الفئات النفسية بوكلاء نماذج اللغة الكبيرة (LLM). ويشكّل الموجّه الحالي الذاكرة العاملة، وتحتفظ الذاكرة الحلقية بتجارب الوكيل السابقة، والذاكرة الدلالية بحقائق العالم، والذاكرة الإجرائية بالمهارات في صورة أوزان النموذج ورموز الوكيل.

يقرأ الوكيل المزود بذاكرة حلقية منها ويكتب فيها عند كل خطوة:

الذاكرة الحلقية في التعلم المعزز#

إعادة تشغيل التجارب، التي قدمها Long-Ji Lin عام 1992، هي أبسط أشكال المخازن الحلقية: يحفظ الوكيل انتقالاته ويتدرب على عينات عشوائية منها، وقد احتفظ وكيل DQN الذي تعلم لعب ألعاب Atari عام 2015 بأحدث مليون انتقال. ويستخدم التحكم الحلقي هذا المخزن لاتخاذ الإجراءات مباشرة. وسجّل أسلوب التحكم الحلقي الخالي من النموذج، الذي وضعه Charles Blundell وزملاؤه في DeepMind عام 2016، أفضل عائد تحقق بعد كل حالة وإجراء، وقدّر قيمة الحالات الجديدة بالاستناد إلى أقرب جيرانها في الذاكرة، ما أتاح له التعلم أسرع من DQN في المراحل الأولى من التدريب. ويكافئ وكيل DeepMind المسمى Never Give Up (2020) نفسه على الوصول إلى حالات بعيدة عن كل ما هو مخزن في ذاكرة الحلقة الحالية؛ وقد ساعدت مكافأة الاستكشاف هذه خليفته Agent57 على أن يصبح أول وكيل للتعلم المعزز العميق يتجاوز المعيار البشري في ألعاب Atari الـ57 كلها.

الذاكرة الحلقية في وكلاء LLM#

لا يتذكر نموذج اللغة سوى ما يتسع له نافذة السياق الخاصة به، لذا تكتب الوكلاء طويلة التشغيل تجاربها في مخزن خارجي وتسترجع التجارب ذات الصلة إلى المطالبة. في الوكلاء التوليديين، الذي عُرض في UIST 2023، منح Joon Sung Park وزملاؤه في Stanford وGoogle 25 شخصية محاكاة تيارًا من ذكريات الملاحظات المكتوبة باللغة الطبيعية. تُقيّم كل ذكرى وفق حداثتها، أي اضمحلال أسي بعامل 0.995 لكل ساعة لعب منذ آخر استرجاع لها؛ وأهميتها، وهي عدد صحيح من 1 إلى 10 يحدده نموذج اللغة؛ وصلتها، أي التشابه الجيبي بين تضمين الذكرى وتضمين الاستعلام. ثم تُطبّع الدرجات الثلاث بطريقة الحدين الأدنى والأقصى وتُجمع بأوزان متساوية.

يطبّق هذا المثال أسلوب التقييم على ذكريات روبوت منزلي، باستخدام نموذج تضمين الجمل all-MiniLM-L6-v2:

import numpy as np
from sentence_transformers import SentenceTransformer

# Episodic memories of a home robot: what happened, hours since last recalled, importance from 1 to 10
memories = [
    ("Saw the car keys on the kitchen counter", 30, 5),
    ("Charged the battery at the docking station", 2, 2),
    ("Watered the plants in the living room", 5, 3),
    ("Saw the car keys in the coat pocket in the hallway", 4, 5),
    ("The user said the back door sticks when it rains", 50, 8),
]
texts, hours, importance = zip(*memories)
model = SentenceTransformer("all-MiniLM-L6-v2")
query = model.encode("Where are my car keys?", normalize_embeddings=True)
relevance = model.encode(list(texts), normalize_embeddings=True) @ query  # cosine similarity to the query
recency = 0.995 ** np.array(hours)  # exponential decay per hour

# Generative Agents retrieval: min-max normalize each signal to 0-1, then add them with equal weights
signals = [recency, np.array(importance, dtype=float), relevance]
score = sum((s - s.min()) / (s.max() - s.min()) for s in signals)
for i in np.argsort(-score)[:3]:
    print(f"score {score[i]:.2f}, relevance {relevance[i]:.2f}: {texts[i]}")

يحتل مشهد الممر المرتبة الأولى بدرجة 2.44، متقدمًا على مشهد طاولة المطبخ بدرجة 1.89، رغم أن الذكرى الأقدم أكثر تشابهًا قليلًا مع السؤال (0.71 مقابل 0.70). ويفصل عامل الحداثة بين الذكريين، لذا يبلغ الروبوت عن آخر مكان رأى فيه المفاتيح. يخزن Reflexion، الذي وضعه Noah Shinn وزملاؤه عام 2023، تأملات الوكيل المكتوبة عن محاولاته الفاشلة في مخزن حلقي، وحقق 91% في مقياس pass@1 لاختبار البرمجة HumanEval، مقابل 80% لـGPT-4.

الذاكرة الحلقية في وكلاء الفيديو والوكلاء المتجسدين#

في الذكاء الاصطناعي المتجسد وكاميرات الأجهزة القابلة للارتداء، تعني الذاكرة العرضية الإجابة عن أسئلة حول ما رأته الكاميرا سابقًا. تتضمن مجموعة بيانات Ego4D، التي أصدرتها Meta وشركاؤها الجامعيون عام 2021، 3,670 ساعة من فيديو منظور الشخص الأول صُوّرت بواسطة 931 شخصًا يرتدون كاميرات في 74 موقعًا ضمن 9 دول، كما تتضمن معيارًا للذاكرة العرضية يتمحور حول أسئلة مثل «أين وضعت مفاتيحي؟». تحدد مهامها لحظة الفيديو التي تجيب عن سؤال بلغة طبيعية، وتجد آخر ظهور لجسم معروض في صورة مرجعية، وتحدد كل حالات نشاط ما. وفي حزمة Ultralytics، يضمّن VisualAISearch كل صورة في مجلد باستخدام CLIP، ويرتب الصور بحسب التشابه الجيبي مع استعلام نصي؛ وهي خطوة تحديد الصلة في ذاكرة كهذه لإطارات محفوظة من كاميرا روبوت.

الذاكرة الحلقية والمصطلحات ذات الصلة#

• بنك الذاكرة: يخزن متجهات لعمليات النموذج نفسه، مثل العينات السلبية في التعلم التبايني أو إطارات الفيديو السابقة أو رقع الصور الطبيعية. أما الذاكرة الحلقية فتخزن تجارب الوكيل لتوجيه قراراته.
• التوليد المعزز بالاسترجاع (RAG): يسترجع مقاطع من مستندات خارجية لإسناد إجابات النموذج. وتطبّق الذاكرة الحلقية آلية الاسترجاع نفسها على سجل الوكيل نفسه.
• قاعدة بيانات المتجهات: طبقة التخزين والبحث عن التشابه التي تستضيف غالبًا الذكريات الحلقية لوكلاء الإنتاج.
• التعلم المستمر: يتعلم مهام جديدة من دون نسيان كارثي للمهام القديمة، غالبًا عبر إعادة تشغيل أمثلة مخزنة. ويحتفظ أسلوب الذاكرة الحلقية للتدرج (GEM)، الذي وضعه David Lopez-Paz وMarc'Aurelio Ranzato عام 2017، بمجموعة صغيرة من الأمثلة من كل مهمة سابقة، ويقيّد كل تحديث بحيث لا تزداد الخسارة عليها.