لونجفورمر

Longformer هو نموذج متقدم قائم على المحول مصمم لمعالجة المستندات الطويلة جدًا بكفاءة. تم تطويره من قبل الباحثين في معهد ألين للذكاء الاصطناعي، ويتمثل ابتكاره الرئيسي في آلية انتباه تتدرج خطيًا مع طول التسلسل، على عكس التوسع التربيعي لنماذج المحولات القياسية مثل BERT. تتيح هذه الكفاءة أداء مهام معالجة اللغات الطبيعية المعقدة على نصوص تحتوي على آلاف أو حتى عشرات الآلاف من الرموز، وهو أمرٌ باهظ حسابيًا بالنسبة للبنى السابقة.

كيف يعمل لونجفورمر

يكمن جوهر كفاءة Longformer في نمط انتباهه الفريد من نوعه، والذي يحل محل آلية الانتباه الذاتي الكامل للمحول القياسي. فبدلاً من أن ينتبه كل رمز إلى كل رمز آخر، يجمع لونجفورمر بين نوعين من الانتباه:

• نافذة انزلاقية (محلية) الانتباه: تنتبه معظم الرموز فقط إلى عدد ثابت من الرموز المجاورة على كلا الجانبين. وهذا يلتقط السياق المحلي، على غرار الطريقة التي يفهم بها القارئ البشري الكلمات بناءً على الكلمات المحيطة بها مباشرةً. هذا النهج مستوحى من نجاح الشبكات العصبية التلافيفية (CNNs) في الاستفادة من الأنماط المحلية.
• اهتمام عالمي: يتم تعيين عدد صغير من الرموز المختارة مسبقًا لتحظى باهتمام عالمي، مما يعني أنها يمكن أن تحضر جميع الرموز الأخرى في التسلسل بأكمله. تعمل هذه الرموز "العالمية" كجامعي معلومات عالية المستوى من المستند بأكمله. بالنسبة للمهام الخاصة الضبط الدقيق، غالبًا ما يتم اختيار هذه الرموز العالمية بشكل استراتيجي، مثل [CLS] رمز مميز لمهام التصنيف.

يوفر هذا المزيج توازنًا بين الكفاءة الحسابية والتقاط التبعيات بعيدة المدى اللازمة لفهم المستندات المعقدة. تم تفصيل البحث الأصلي في الورقة البحثية"Longformer: محول المستندات الطويلة المدى".

تطبيقات في الذكاء الاصطناعي والتعلم الآلي

تفتح قدرة Longformer على التعامل مع التسلسلات الطويلة إمكانيات للعديد من التطبيقات التي كانت غير عملية في السابق.

• تحليل المستندات الطويلة: يمكنه أداء مهام مثل تلخيص النصوص أو الإجابة عن الأسئلة على كتب كاملة أو أوراق بحثية مطولة أو مستندات قانونية معقدة. على سبيل المثال، يمكن لشركة تكنولوجيا قانونية استخدام نموذج قائم على Longformer لمسح آلاف الصفحات من مستندات الاكتشاف تلقائيًا للعثور على الأدلة ذات الصلة.
• أنظمة الحوار وروبوتات الدردشة: في سياق روبوت الدردشة أو المساعد الافتراضي، يمكن لـ Longformer الاحتفاظ بسجل محادثة أطول بكثير، مما يؤدي إلى تفاعلات أكثر تماسكاً وإدراكاً للسياق على مدى فترات طويلة.
• علم الجينوم والمعلوماتية الحيوية: بنيته مناسبة تمامًا لتحليل تسلسلات الحمض النووي أو البروتين الطويلة، مما يساعد الباحثين على تحديد الأنماط والوظائف ضمن مجموعات البيانات الجينية الضخمة. يمكن لمختبر بحثي تطبيقه للعثور على تسلسلات جينية محددة داخل كروموسوم كامل.

تتوفر نماذج Longformer طويلة الأمد المُدرَّبة مسبقًا على نطاق واسع على منصات مثل Hugging Face، مما يسمح للمطورين بتكييفها لمختلف المهام.

مقارنة مع المصطلحات ذات الصلة

المحول الطويل هو أحد النماذج العديدة المصممة للتغلب على قيود المحولات القياسية للتسلسلات الطويلة.

• محول قياسي: الفرق الرئيسي هو آلية الانتباه. فقد صُمم نمط الانتباه الفعال في المحول الطويل من أجل التسلسلات الطويلة، في حين أن الانتباه الذاتي الكامل في المحولات القياسية يستهلك الكثير من الذاكرة والحوسبة للمدخلات الطويلة.
• المصلح: محول آخر فعال، يستخدم المُصلح تقنيات مثل الاهتمام بالتجزئة الحساسة للموقع (LSH) والطبقات القابلة للانعكاس لتقليل استخدام الموارد. بينما يستهدف كلاهما التسلسلات الطويلة، إلا أنهما يستخدمان استراتيجيات تقنية مختلفة لتحقيق الكفاءة.
• Transformer-XL: يقدم هذا النموذج التكرار والتضمينات الموضعية النسبية لإدارة السياقات الأطول، مما يجعله فعالاً بشكل خاص في المهام ذات الانحدار التلقائي مثل توليد النصوص. على النقيض من ذلك، تم تصميم Longformer لمعالجة مستند طويل واحد بسياق ثنائي الاتجاه في مسار واحد.

في حين أن نماذج البرمجة اللغوية العصبية هذه تختلف عن نماذج الرؤية الحاسوبية مثل Ultralytics YOLO، التي تتفوق في مهام مثل اكتشاف الأشياء، فإن الدافع نحو الكفاءة الحسابية هو موضوع مشترك. تُعد الابتكارات التي تقلل من التعقيد، مثل تلك الموجودة في Longformer، ضرورية لجعل نماذج التعلم العميق القوية عملية للاستدلال في الوقت الفعلي ونشر النماذج على أجهزة متنوعة. يمكن تبسيط إدارة مثل هذه النماذج المتقدمة باستخدام منصات مثل Ultralytics HUB.