Reranker

نموذج إعادة الترتيب هو نموذج يأخذ قائمة قصيرة من المرشحين من أداة استرجاع سريعة في المرحلة الأولى، ويُسند إلى كل مرشح درجةً بناءً على مدى صلته بالاستعلام بمزيد من الدقة، ثم يعيد ترتيب القائمة. تستخدم محركات البحث وخطوط أنابيب التوليد المعزّز بالاسترجاع (RAG) وأنظمة التوصية هذا النمط، لأن نماذج الصلة الأكثر دقة بطيئة جدًا بحيث لا يمكن تشغيلها على ملايين المستندات، لكنها سريعة بما يكفي لمعالجة بضع عشرات أو بضع مئات من أفضل المرشحين. في البحث النصي، أداة إعادة الترتيب القياسية هي المُرمِّز المتقاطع، وهو محوّل يقرأ الاستعلام وأحد المرشحين معًا ويُخرج درجة صلة واحدة. وقد Nogueira وCho (2019) أجريا ضبطًا دقيقًا لـ BERT بهذه الطريقة، وتصدّرا لوحة ترتيب المقاطع في MS MARCO بمعدل MRR@10 أعلى من أفضل نتيجة سابقة بنسبة نسبية قدرها 27%.

آلية الاسترجاع ثم إعادة الترتيب#

تعطي المرحلة الأولى الأولوية لـالاستدعاء: إذ يتيح استخدام مطابقة الكلمات المفتاحية مع BM25، أو البحث المتجهي باستخدام التضمينات المحسوبة مسبقًا، أو الجمع بينهما، استرجاع بضع مئات من المرشحين المحتملين من المجموعة بأكملها في أجزاء من الثانية. أما أداة إعادة الترتيب فتعطي الأولوية لـالإحكام: إذ تجري تمريرة كاملة للنموذج على كل زوج من الاستعلام والمرشح، ولا يصل إلى المستخدم أو إلى نافذة السياق الخاصة بـ LLM إلا أفضل النتائج القليلة. ويُعدّ VisualAISearch، وهو حلّ من Ultralytics أداةَ استرجاع من المرحلة الأولى من هذا النوع؛ إذ يُنشئ تضميناتٍ لمجلد من الصور باستخدام CLIP ViT-B/32، ويرتب الصور بحسب تشابه جيب التمام مع استعلام نصي، ويعيد افتراضيًا ما يصل إلى 30 نتيجةً تتجاوز عتبة تشابه قدرها 0.1.

المشفّرات المتقاطعة والمشفّرات الثنائية#

يضمّن المشفّر الثنائي، وهو أداة الاسترجاع المعتادة، الاستعلام وكل مستند على حدة، لذا يمكن حساب متجهات المستندات مرة واحدة وتخزينها في قاعدة بيانات متجهية. وهذا الاستقلال هو أيضًا موطن محدوديته: إذ يثبت متجه المستند قبل معرفة الاستعلام. أما المشفّر المتقاطع، فيضم الاستعلام والمستند في مدخل واحد، ما يتيح لـالانتباه الذاتي مقارنة كل كلمة في الاستعلام بكل كلمة في المستند، على حساب تنفيذ مرور أمامي كامل لكل زوج وقت الاستعلام. ويقع ColBERT بين النهجين؛ إذ يخزن متجهًا واحدًا لكل رمز في المستند، ويطابق رموز الاستعلام معها عبر تفاعل مؤجل. تشغّل فئة CrossEncoder في Sentence Transformers أداة إعادة ترتيب مثل ms-marco-MiniLM-L6-v2، المدرّبة على استعلامات بحث MS MARCO:

from sentence_transformers import CrossEncoder

query = "When was the transformer architecture introduced?"
# Shortlist returned by a fast first-stage retriever, in its original order
candidates = [
    "Transformer models such as GPT and BERT are widely used in natural language processing.",
    "An electrical transformer changes the voltage of an alternating current.",
    "Convolutional neural networks became popular after AlexNet won ImageNet in 2012.",
    "The transformer was introduced in the 2017 paper Attention Is All You Need.",
]

# The cross-encoder reads the query and each candidate together and scores their relevance
reranker = CrossEncoder("cross-encoder/ms-marco-MiniLM-L6-v2")
ranked = reranker.rank(query, candidates)

for hit in ranked:
    print(f"{hit['score']:6.2f}  {candidates[hit['corpus_id']]}")

ينتقل المقطع الذي يجيب عن السؤال من المرتبة الأخيرة إلى الأولى بدرجة 6.97، متقدمًا بفارق كبير على المرشح التالي الذي سجّل -4.48. أما جملة المحوّل الكهربائي فتشترك مع الاستعلام في كلمته الأساسية، لكنها تسجل -5.29.

أنواع أدوات إعادة الترتيب#

• المشفّرات المتقاطعة: محوّلات مدمجة مضبوطة دقيقًا على تسميات الصلة، مثل نماذج MS MARCO MiniLM وعائلة bge-reranker من BAAI، وهي متاحة أيضًا في واجهات برمجة تطبيقات مستضافة لإعادة الترتيب.
• أدوات إعادة الترتيب المعتمدة على LLM: يُطلب من نموذج لغوي كبير (LLM) تقييم المرشحين أو ترتيب قائمة كاملة دفعة واحدة. وأظهر RankGPT أن ChatGPT وGPT-4 يستطيعان إعادة ترتيب المقاطع بكتابة قائمة مرتبة، كما نقل ترتيبات ChatGPT بالتقطير إلى أداة صغيرة مخصصة لإعادة الترتيب.
• نماذج تعلّم الترتيب: تعيد أنظمة التوصية والتجارة الإلكترونية ترتيب المرشحين بنماذج مثل أشجار التعزيز المتدرج التي تستخدم سمات كَسجل النقرات والسعر وحداثة المحتوى، وتُدرّب بأهداف ترتيب مثل LambdaMART المتاح في LightGBM وXGBoost.

أدوات إعادة الترتيب مقارنةً بالمفاهيم ذات الصلة#

• البحث الدلالي: البحث بحسب المعنى، عادةً باستخدام أداة استرجاع ذات مشفّر ثنائي. ويمكن إضافة أداة إعادة ترتيب اختيارية في مرحلة ثانية.
• البحث الهجين: يدمج قوائم نتائج الكلمات المفتاحية والمتجهات، غالبًا باستخدام دمج الرتب التبادلي الذي يجمع الرتب من دون إعادة قراءة المحتوى. وغالبًا ما تعمل أداة إعادة الترتيب على القائمة المدمجة.
• تقطير المعرفة: يدرّب أداة استرجاع سريعة على محاكاة درجات أداة إعادة ترتيب بطيئة، لينقل جزءًا من جودة إعادة الترتيب إلى المرحلة الأولى.
• كواشف الكائنات ذات المرحلتين: تتبع النمط نفسه في الصور؛ إذ تقترح مرحلة اقتراح المناطق صناديق مرشحة، ثم تعيد مرحلة ثانية تقييم كل صندوق وتنقيحه قبل أن تزيل آلية الكبت غير الأقصى (NMS) التكرارات المتداخلة.