إعادة التصنيف

كيف تعمل أدوات إعادة التصنيف

يتضمن السبب الأساسي لاستخدام أداة إعادة الترتيب الموازنة بين السرعة والدقة. يجب أن تقوم أنظمة الاسترجاع الأولية، مثل البحث المستند إلى الكلمات الرئيسية أو البحث التقريبي لأقرب جار (ANN) على التضمينات، بمسح مجموعات البيانات الضخمة المحتملة بسرعة (مثل مستندات الويب أو كتالوجات المنتجات أو قواعد بيانات الصور) لتحديد العناصر ذات الصلة المحتملة. تعطي هذه الأنظمة في المرحلة الأولى الأولوية للسرعة والاستدعاء العالي، مما يعني أنها تهدف إلى استرداد جميع العناصر التي يحتمل أن تكون ذات صلة، حتى لو كان ذلك يعني تضمين بعض العناصر الأقل صلة. وغالبًا ما تُرجع مجموعة من العناصر المرشحة أكبر مما هو مطلوب في النهاية.

ثم تأخذ أداة إعادة الترتيب بعد ذلك مجموعة فرعية أصغر من أفضل المرشحين (على سبيل المثال، أفضل 100 نتيجة من البحث الأولي) وتطبق نموذجًا أكثر قوةً وتطلبًا من الناحية الحسابية. يمكن لهذا النموذج إجراء تحليل أعمق للعلاقة بين استعلام المستخدم وكل عنصر مرشح. تتضمن التقنيات الشائعة استخدام نماذج التعلّم العميق المعقدة (DL) مثل المحولات، خاصةً المتغيرات المعروفة باسم المُشفرات المتقاطعة. تُقيّم أجهزة إعادة الترميز المتقاطعة الاستعلام والعنصر المرشح معًا، مما يسمح بفهم ثري للعلاقة السياقية، وغالبًا ما تتفوق على مرحلة الاسترجاع الأولية التي قد تقيّم الاستعلام والعنصر المضمنين بشكل منفصل. تقوم أداة إعادة التضمين بإخراج درجة ملاءمة جديدة ومنقحة لكل مرشح، مما يسمح للنظام بتقديم العناصر الأكثر صلة أولاً، وبالتالي تحسين دقة النتائج النهائية.

إعادة الترتيب مقابل الاسترجاع الأولي

من الأهمية بمكان التمييز بين عمليات إعادة الترتيب من مرحلة الاسترجاع أو الترتيب الأولي:

• الاسترجاع الأولي (المرحلة الأولى):
  • الهدف: العثور بسرعة على مجموعة كبيرة من المرشحين المحتملين ذوي الصلة من مجموعة كبيرة من الملفات. إعطاء الأولوية للسرعة والاستدعاء.
  • الأساليب: غالبًا ما تستخدم تقنيات مثل الفهارس المقلوبة(أباتشي لوسين Apache Lucene، أو البحث في الشبكة العنكبوتية على التضمينات، أو دوال تسجيل أبسط.
  • التعقيد: أرخص من الناحية الحسابية لكل عنصر وقابل للتطوير إلى مليارات العناصر.
• إعادة التصنيف (المرحلة الثانية):
  • الهدف: إعادة ترتيب مجموعة أصغر من أفضل المرشحين الذين قدمتهم المرحلة الأولى بدقة. إعطاء الأولوية للدقة والملاءمة.
  • الأساليب: تستخدم نماذج أكثر تعقيدًا مثل أجهزة الترميز المتقاطعة القائمة على BERT أو المحولات أو غيرها من تفاعلات الميزات المتطورة. وغالباً ما تتضمن التقنيات ضبط المعلمة الفائقة لتحقيق الأداء الأمثل.
  • التعقيد: أكثر تكلفة من الناحية الحسابية لكل عنصر، ولكن يتم تطبيقه فقط على عدد محدود من المرشحين (على سبيل المثال، أفضل 50-200).

التطبيقات والأمثلة

تُعد أدوات إعادة التصنيف حيوية في العديد من تطبيقات الذكاء الاصطناعي الحديثة:

• محركات البحث على الويب: شركات مثل GoogleMicrosoft بينج تستخدم أنظمة ترتيب متعددة المراحل حيث تلعب شركات مثل جوجل Microsoft بينج دورًا حاسمًا في تنقيح أفضل نتائج البحث المقدمة للمستخدمين، مع الأخذ في الاعتبار عوامل دقيقة تتجاوز مجرد مطابقة الكلمات الرئيسية. وهذا جزء أساسي من أبحاث استرجاع المعلومات.
• منصات التجارة الإلكترونية: تستخدم مواقع مثل أمازون أدوات إعادة الترتيب لتحسين توصيات المنتجات ونتائج البحث، حيث تعرض للمستخدمين العناصر التي من المرجح أن يشتروها بناءً على أنماط معقدة من سلوك المستخدم وميزات العناصر. هذا الأمر مفصّل في أبحاث من أماكن مثل Amazon Science.
• التوليد المعزز للاسترجاع (RAG): في الأنظمة التي تستخدم النماذج اللغوية الكبيرة (LLMs)، يقوم RAG أولاً باسترجاع المستندات ذات الصلة لتوفير السياق. ويمكن بعد ذلك أن تقوم أداة إعادة التصنيف بعد ذلك بتنقيح هذه المستندات المسترجعة، مما يضمن تمرير السياق الأكثر صلة إلى نموذج اللغة الكبيرة لتوليد استجابة أكثر دقة واستنارة. تم تصميم خدمات مثل واجهة برمجة التطبيقات Cohere Rerank API خصيصًا لهذا الغرض.
• المعالجة اللاحقة للرؤية الحاسوبية: على الرغم من أنه لا يُطلق عليها تقليديًا اسم "إعادة المعالجة"، إلا أن تقنيات مثل القمع غير الأقصى (NMS) المستخدمة في نماذج اكتشاف الأجسام مثل Ultralytics YOLO تشترك في فلسفة مماثلة. تعمل تقنية NMS على تنقيح مجموعة أولية من المربعات المحدودة المتوقعة بناءً على درجات الثقة والتداخل(IoU)، مع الاحتفاظ بالاكتشافات الأكثر احتمالاً وقمع الاكتشافات الزائدة عن الحاجة، على غرار تنقيح المرشحين الأوليين. يمكنك العثور على نصائح لتدريب الن ماذج واستكشاف معايير الأداء لهذه النماذج. غالبًا ما يستفيد تدريب هذه النماذج من منصات مثل Ultralytics HUB لإدارة مجموعات البيانات والتجارب.