GraphRAG

GraphRAG (التوليد المعزّز بالاسترجاع المعتمد على الرسوم البيانية) نوع من التوليد المعزّز بالاسترجاع (RAG) يسترجع المعلومات من رسم بياني معرفي بدلًا من مقاطع النص التي يعثر عليها البحث المتجهي، أو إلى جانبها. يستخرج نموذج لغوي كبير (LLM) أولًا الكيانات من مجموعة المستندات، مثل الأشخاص والشركات والأجزاء والأماكن، إلى جانب العلاقات بينها. وعند طرح سؤال، يسترجع النظام الكيانات المترابطة أو مسارات العلاقات أو ملخصات مجموعات كاملة من الرسم البياني، ويقدمها إلى LLM كسياق. يرتبط الاسم على نحو وثيق بنهج GraphRAG من Microsoft Research للتلخيص الموجّه بالاستعلام، المنشور عام 2024 مع تطبيق مفتوح المصدر، ويُستخدم أيضًا لأي نظام RAG يسترجع المعلومات من رسم بياني.

لماذا يحتاج RAG المتجهي إلى رسم بياني#

يحوّل RAG القياسي مقاطع المستندات إلى تضمينات، ويخزنها في قاعدة بيانات متجهية، ثم يسترجع المقاطع القليلة الأكثر تشابهًا مع السؤال. وينجح ذلك مع الأسئلة التي تجيب عنها فقرة واحدة، لكنه يواجه صعوبة مع نوعين آخرين:

• الأسئلة متعددة القفزات: تعتمد الإجابة على حقائق موزعة عبر مستندات لا تربط بينها إلا كيانات مشتركة، مثل المصانع التي تعتمد على مورد قرب ميناء أغلقته عاصفة. لا يوجد مقطع واحد يشبه السؤال كله.
• الأسئلة الشاملة: تحتاج الأسئلة المتعلقة بمتن كامل، مثل «ما الموضوعات الرئيسية في هذه التقارير الخمسة آلاف عن الحوادث؟»، إلى معلومات من كل المستندات، بينما لا يسترجع البحث المتجهي سوى عدد قليل من المقاطع الأعلى ترتيبًا.

يخزن الرسم البياني الروابط بين الحقائق صراحةً، ما يتيح للاسترجاع تتبعها، وتغطي ملخصات مجتمعات الرسم البياني المتن كاملًا.

آلية عمل GraphRAG#

ينشئ GraphRAG من Microsoft فهرسه عبر أربع خطوات. يقسم المستندات إلى وحدات نصية، ويطلب من LLM استخراج الكيانات والعلاقات والادعاءات من كل وحدة، في صورة من التعرف على الكيانات المسماة واستخراج العلاقات يقودها LLM. ثم يدمج أوصاف الكيانات التي تظهر في وحدات كثيرة في عقدة واحدة لكل كيان. بعد ذلك يشغّل اكتشاف المجتمعات الهرمي Leiden، الذي يجمع الكيانات شديدة الترابط في مجتمعات متداخلة، ويطلب من LLM كتابة تقرير موجز لكل مجتمع في كل مستوى.

ثم تسلك الاستعلامات أحد مسارين:

• البحث المحلي: يبدأ بالكيانات المذكورة في السؤال، ويجمع جيرانها وعلاقاتها وتقارير مجتمعاتها ووحدات النص الأصلية التي تذكرها.
• البحث الشامل: يعمل بأسلوب الخريطة والاختزال على تقارير المجتمعات؛ إذ ينتج كل تقرير إجابة جزئية مع درجة صلة، ثم تُدمج الإجابات الجزئية الأكثر صلة لتكوين الإجابة النهائية.

أفادت الورقة، عند استخدام مجموعات بيانات تقارب مليون وحدة رمزية، بأن البحث الشامل أنتج إجابات للأسئلة المتعلقة بالمتن بأكمله أكثر شمولًا وتنوعًا بكثير من خط أساس RAG تقليدي.

جوهر البحث المحلي هو اجتياز الرسم البياني. يخزن مثال Python هذا، باستخدام NetworkX، ثلاثيات قد يستخرجها LLM من مستندات منفصلة، ويتتبع العلاقات انطلاقًا من الكيان الوارد في السؤال:

import networkx as nx

# Entity-relationship triples that an LLM extracted from separate documents
triples = [
    ("Typhoon", "closed", "Kaohsiung port"),
    ("Kaohsiung port", "ships parts for", "Supplier A"),
    ("Supplier A", "makes", "bearing B-17"),
    ("bearing B-17", "is used at", "Ohio plant"),
    ("Texas plant", "uses", "motor M-4"),
]
graph = nx.DiGraph()
for head, relation, tail in triples:
    graph.add_edge(head, tail, relation=relation)

# Question: "Which plants could the typhoon disrupt?"
# Local search: follow relationships outward from the entity named in the question
edges = nx.bfs_edges(graph, "Typhoon")
context = [f"{head} {graph[head][tail]['relation']} {tail}" for head, tail in edges]
print("\n".join(context))

يطبع سلسلة القفزات الأربع من «أغلق الإعصار ميناء كاوشيونغ» إلى «يُستخدم المحمل B-17 في مصنع أوهايو»، وهي صلة لا يذكرها أي مستند مصدر منفرد، ويستبعد مصنع تكساس غير ذي الصلة. يتلقى LLM هذه الأسطر كسياق لإسناد الإجابة إلى مصادر، ويمكنه الإجابة بأن مصنع أوهايو معرض للخطر.

GraphRAG مقابل المناهج ذات الصلة#

• الرسوم البيانية المعرفية: بنية بيانات للكيانات والعلاقات ذات الأنواع المحددة. تنشئ GraphRAG رسمًا بيانيًا لهذا الغرض أو تعيد استخدامه لاسترجاع السياق لنموذج لغوي كبير.
• البحث الهجين: يجمع بين استرجاع الكلمات المفتاحية والاسترجاع المتجهي عبر مقاطع النص. تشغّل كثير من أنظمة GraphRAG الإنتاجية اجتياز الرسم البياني إلى جانب البحث الهجين.
• الاسترجاع المعزز بالتوليد الوكيلي: يقرر الوكيل ما الذي سيسترجعه ومتى، عبر عدة خطوات. ويمكن أن تكون استعلامات الرسم البياني إحدى أدواته.
• الشبكات العصبية للرسم البياني (GNNs): تتعلم من بنية الرسم البياني أثناء التدريب لمهام مثل التنبؤ بالروابط. أما GraphRAG فيستخدم الرسم البياني وقت الاسترجاع من دون تدريب.

تطبيقات عملية#

• اكتشاف الأدوية: تتيح الرسوم البيانية التي تربط الجينات والبروتينات والمركبات والأمراض للباحثين طرح أسئلة تستند إلى آلاف الأوراق البحثية، مثل تحديد الأدوية المعتمدة التي تستهدف بروتينات في مسار مرض ما.
• التحقيقات المالية: يتتبع المحللون سلاسل الملكية عبر الشركات الوهمية والمديرين المشتركين، ويطلبون من نموذج لغوي كبير تلخيص الشبكة التي تقف وراء معاملة مشبوهة.
• مخاطر سلسلة الإمداد: يتيح ربط الموردين والقطع والمواقع ومسارات الشحن الإجابة عن أسئلة مثل: ما المنتجات التي تعتمد على مصنع واحد؟
• المعرفة المؤسسية: تصبح المجموعات الكبيرة من التقارير والتذاكر وملاحظات الاجتماعات قابلة للبحث حسب الموضوع، وتجيب الملخصات التي ينشئها المجتمع عن أسئلة حول المجموعة بأكملها.

يمكن للرسوم البيانية أيضًا الاحتفاظ بما تراه الكاميرات، وهو أساس الاسترجاع المعزز بالتوليد متعدد الوسائط عبر الفيديو. وتسوية الكيانات، أي تحديد ما إذا كان ذكران يشيران إلى الشيء نفسه، هي الخطوة التي ينفذها تتبع الكائنات في الفيديو: يعيّن التتبع باستخدام Ultralytics YOLO26 معرّفًا ثابتًا لكل شخص أو مركبة عبر الإطارات، لذا يمكن للرسم البياني للفيديو تخزين عقدة واحدة لكل كائن متتبَّع، مع حواف تحدد أين ومتى ظهر بجوار كائنات أخرى، بدلًا من عقدة لكل إطار.

التكاليف والمفاضلات#

الفهرسة هي التكلفة الرئيسية، إذ يقرأ النموذج اللغوي الكبير كل وحدة نصية لاستخراج الكيانات، ثم يكتب كل تقرير مجتمعي؛ لذلك تكون تكلفة فهرسة المدونات الكبيرة أعلى بكثير من تكلفة تضمينها. وتنتقل أخطاء الاستخراج، مثل دمج شخصين مختلفين لهما الاسم نفسه، إلى كل إجابة تتناول أيًا منهما، كما أن تغيير المستندات يستلزم إعادة استخراج الأجزاء المتأثرة من الرسم البياني وإعادة تلخيصها. ويعالج LazyGraphRAG من Microsoft هذه التكلفة ببناء رسمه البياني للمفاهيم عبر استخراج العبارات الاسمية وإحصاءات الرسم البياني، وتأجيل كل استخدام للنموذج اللغوي الكبير إلى وقت الاستعلام؛ ما يجعل تكلفة فهرسته مطابقة لتكلفة الاسترجاع المعزز بالتوليد المتجهي، ولا تتجاوز 0.1% من تكلفة GraphRAG الكامل.