Contextual Retrieval
يضيف الاسترجاع السياقي ملاحظة يكتبها نموذج لغوي كبير إلى بداية كل مقطع، لتوضح موضعه في المستند؛ وهكذا تجد التضمينات وBM25 المقاطع المناسبة.
الاسترجاع السياقي تقنية فهرسة لـالتوليد المعزَّز بالاسترجاع (RAG)، يقرأ فيها نموذج لغوي كبير (LLM) كل مستند كاملًا، ثم يكتب ملاحظة قصيرة، تتراوح عادةً بين 50 و100 رمز، تضع مقطعًا واحدًا في سياقه ضمن المستند. وتُضاف الملاحظة إلى بداية المقطع قبل تضمينه وإدراجه في فهرس الكلمات المفتاحية، كي يتمكن البحث من مطابقة معلومات لا يذكرها المقطع بمفرده. وقدمت Anthropic الاسترجاع السياقي في سبتمبر 2024.
المشكلة التي يعالجها#
تقسم خطوط معالجة RAG المستندات إلى مقاطع صغيرة تكفي لتضمينها بدقة ولإدراج عدة مقاطع منها في نافذة سياق النموذج، وغالبًا ما يفقد المقطع المقتطع من مستنده الحقائق التي تجعله قابلًا للاسترجاع. ومثال Anthropic مقطع من تقرير مالي يقول: «زادت إيرادات الشركة بنسبة 3% مقارنةً بالربع السابق». لا يذكر المقطع اسم الشركة أو الربع، لذا لا يتضمن ما يمكن مطابقته بسؤال عن إيرادات ACME في الربع الثاني من عام 2023، سواء في التضمينات أم في البحث بالكلمات المفتاحية. ويخزّن الاسترجاع السياقي المقطع بصيغة: «هذا المقطع مقتطف من ملف لدى SEC عن أداء شركة ACME في الربع الثاني من عام 2023؛ بلغت إيرادات الربع السابق 314 مليون دولار. زادت إيرادات الشركة بنسبة 3% مقارنةً بالربع السابق».
تفقد قصاصات الأجسام السياق بالطريقة نفسها التي تفقده بها مقاطع النص. ويشغّل حل قص الأجسام في Ultralytics YOLO26 على الصور أو الفيديو، ويحفظ كل كشف في ملف مستقل، crop_1.jpg وcrop_2.jpg وما إلى ذلك؛ لذا تُظهر القصاصة شاحنة، لكنها لا توضح الكاميرا أو الموقع أو المشهد الذي جاءت منه. وتُعيد فهرسة كل قصاصة مع بادئة قصيرة تصف إطار مصدرها، مثل اسم الكاميرا والوقت وغيرهما من الأجسام المكتشفة حولها، ذلك السياق لعمليات البحث بالكلمات المفتاحية والبحث الدلالي.
آلية عمل الاسترجاع السياقي#
يتلقى LLM المستند كاملًا والمقطع لكل مقطع، ويُطلب منه «تقديم سياق موجز ومختصر يضع هذا المقطع في إطار المستند ككل، بغرض تحسين استرجاعه في البحث». استخدمت Anthropic نموذج Claude 3 Haiku مع التخزين المؤقت للمطالبات، الذي يعالج كل مستند مرة واحدة ويعيد استخدامه لجميع مقاطعه، وقدّرت التكلفة لمرة واحدة بـ1.02 دولار لكل مليون رمز مستند. تُضاف المقاطع ذات السياق إلى فهرس تضمينات («تضمينات سياقية») وفهرس كلمات مفتاحية BM25 («BM25 سياقي»). وعند الاستعلام، يُبحث في كلا الفهرسين وتُدمج نتائجهما، كما في البحث الهجين، ثم يقيّم نموذج إعادة الترتيب أفضل 150 مرشحًا، وتُضمّن أفضل 20 مقطعًا في المطالبة.
يوضح تضمين المقطع المثال مع السياق وبدونه أثر ذلك في البحث المتجهي:
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("sentence-transformers/all-MiniLM-L6-v2")
# Anthropic's example chunk and the context an LLM wrote for it from the full filing
chunk = "The company's revenue grew by 3% over the previous quarter."
context = "This chunk is from an SEC filing on ACME corp's performance in Q2 2023; the previous quarter's revenue was $314 million."
other = "Globex Corporation reported that Q2 2023 revenue fell 2% on weaker demand."
query = "How did ACME's revenue change in Q2 2023?"
candidates = {"plain chunk": chunk, "contextual chunk": f"{context} {chunk}", "Globex chunk": other}
# Cosine similarity of the query to each indexed text
scores = model.similarity(model.encode(query), model.encode(list(candidates.values())))[0]
for name, score in zip(candidates, scores):
print(f"{name}: {score:.2f}")يحقق المقطع المجرد درجة 0.49 مقابل السؤال، وهي الدرجة نفسها التي يحققها مقطع يتناول شركة مختلفة. وعند إضافة سياقه في بدايته، ترتفع درجته إلى 0.83 ويتصدر الترتيب بفارق كبير.
الاسترجاع السياقي مقابل التقنيات ذات الصلة#
- التقسيم المتأخر إلى مقاطع: يمنح تضمين كل مقطع سياق المستند عبر آلية الانتباه في نموذج التضمين، من دون استدعاء نموذج لغوي كبير لكل مقطع. ويظل نص المقطع المخزّن كما هو، لذا لا يستفيد البحث بالكلمات المفتاحية.
- التقسيم الدلالي إلى مقاطع: يحدد مواضع بداية المقاطع ونهايتها. ويُدمج مع الاسترجاع السياقي، الذي يضيف ما لم يصرّح به كل مقطع.
- بادئات العناوين والعناوين الفرعية: الممارسة الأقدم والأقل تكلفة المتمثلة في إضافة عنوان المستند نفسه أو عنوان القسم إلى كل مقطع. أما الاسترجاع السياقي فيكتب ملاحظة مختلفة لكل مقطع.
- هندسة السياق: الممارسة الأوسع نطاقًا لتحديد ما يُدرج في نافذة سياق النموذج وقت الاستدلال. يعمل الاسترجاع السياقي في خطوة أسبق، على ما يجري فهرسته.
المكاسب المقاسة#
قاست Anthropic إخفاق الاسترجاع بوصفه 1 ناقص الاستدعاء@20، أي نسبة الاستعلامات التي غاب مقطعها ذي الصلة عن أفضل 20 نتيجة. أخفق خط الأساس في 5.7% من الاستعلامات. وخفّضت التضمينات السياقية النسبة إلى 3.7%، أي بانخفاض قدره 35%، كما خفّضت إضافة BM25 السياقي النسبة إلى 2.9%، أي بانخفاض قدره 49%. وأدى ترتيب النتائج المجمّعة إلى خفض معدل الإخفاق إلى 1.9%، أي بانخفاض قدره 67% عن خط الأساس.
