استعدوا لـ YOLO Vision 2025!
25 سبتمبر، 2025
10:00 — 18:00 بتوقيت بريطانيا الصيفي
حدث هجين
مؤتمر Yolo Vision 2024
مسرد المصطلحات

Longformer

اكتشف Longformer، نموذج المحولات (transformer model) الأمثل للتسلسلات الطويلة، مما يوفر كفاءة قابلة للتطوير لمعالجة اللغات الطبيعية (NLP) وعلم الجينوم وتحليل الفيديو.

Longformer هو نموذج متقدم قائم على Transformer مصمم لمعالجة المستندات الطويلة جدًا بكفاءة. تم تطويره بواسطة باحثين في معهد ألين للذكاء الاصطناعي، ويكمن ابتكاره الرئيسي في آلية انتباه تتوسع خطيًا مع طول التسلسل، على عكس التوسع التربيعي لنماذج Transformer القياسية مثل BERT. هذه الكفاءة تجعل من الممكن إجراء مهام معالجة اللغة الطبيعية (NLP) المعقدة على النصوص التي تحتوي على آلاف أو حتى عشرات الآلاف من الرموز المميزة، وهو أمر باهظ التكلفة من الناحية الحسابية بالنسبة للهياكل السابقة.

كيف يعمل Longformer؟

يكمن جوهر كفاءة Longformer في نمط الانتباه الفريد الخاص بها، والذي يحل محل آلية الانتباه الذاتي الكاملة لـ Transformer القياسي. بدلاً من انتباه كل رمز إلى كل رمز آخر، يجمع Longformer بين نوعين من الانتباه:

  • نافذة التمرير (المحلية) للانتباه: تركز معظم الرموز المميزة فقط على عدد ثابت من الرموز المميزة المجاورة على كلا الجانبين. يلتقط هذا السياق المحلي، على غرار كيف يفهم القارئ البشري الكلمات بناءً على الكلمات المحيطة بها مباشرةً. هذا النهج مستوحى من نجاح الشبكات العصبية التلافيفية (CNNs) في الاستفادة من الأنماط المحلية.
  • الاهتمام العالمي: يتم تخصيص عدد صغير من الرموز المحددة مسبقًا للحصول على انتباه عالمي، مما يعني أنه يمكنهم الانتباه إلى جميع الرموز الأخرى في التسلسل بأكمله. تعمل هذه الرموز "العالمية" كجامعين للمعلومات عالية المستوى من المستند بأكمله. لمهام محددة الضبط الدقيق، غالبًا ما يتم اختيار هذه الرموز العامة بشكل استراتيجي، مثل [CLS] رمز لمهام التصنيف.

يوفر هذا المزيج توازنًا بين الكفاءة الحسابية والتقاط التبعيات طويلة المدى الضرورية لفهم المستندات المعقدة. تم تفصيل البحث الأصلي في ورقة "Longformer: The Long-Document Transformer".

التطبيقات في الذكاء الاصطناعي وتعلم الآلة

تفتح قدرة Longformer على التعامل مع التسلسلات الطويلة إمكانيات للعديد من التطبيقات التي كانت غير عملية في السابق.

  • تحليل المستندات الطويلة: يمكنه إجراء مهام مثل تلخيص النصوص أو الإجابة على الأسئلة على الكتب بأكملها أو الأوراق البحثية المطولة أو المستندات القانونية المعقدة. على سبيل المثال، يمكن لشركة تقنية قانونية استخدام نموذج يعتمد على Longformer لفحص آلاف الصفحات من مستندات الاكتشاف تلقائيًا للعثور على الأدلة ذات الصلة.
  • أنظمة الحوار وروبوتات الدردشة: في سياق روبوت الدردشة أو المساعد الافتراضي، يمكن لـ Longformer الاحتفاظ بسجل محادثات أطول بكثير، مما يؤدي إلى تفاعلات أكثر تماسكًا ووعيًا بالسياق على مدى فترات طويلة.
  • علم الجينوم والمعلوماتية الحيوية: إن هيكله مناسب تمامًا لتحليل تسلسلات الحمض النووي أو البروتين الطويلة، مما يساعد الباحثين على تحديد الأنماط والوظائف داخل مجموعات البيانات الجينية الواسعة. يمكن لمختبر الأبحاث تطبيقه للعثور على تسلسلات جينية محددة داخل كروموسوم كامل.

تتوفر نماذج Longformer المدربة مسبقًا على نطاق واسع على منصات مثل Hugging Face، مما يسمح للمطورين بتكييفها لمهام مختلفة.

مقارنة مع المصطلحات ذات الصلة

Longformer هو أحد النماذج العديدة المصممة للتغلب على قيود Transformers القياسية للتسلسلات الطويلة.

  • محول قياسي: الفرق الرئيسي هو آلية الانتباه. تم تصميم نمط الانتباه الفعال في Longformer للتسلسلات الطويلة، في حين أن الانتباه الذاتي الكامل في المحولات القياسية يستهلك الكثير من الذاكرة والحساب للمدخلات الطويلة.
  • Reformer: محول فعال آخر، يستخدم Reformer تقنيات مثل تجزئة حساسة للموقع (LSH) والطبقات القابلة للعكس لتقليل استخدام الموارد. في حين أن كلاهما يستهدف التسلسلات الطويلة، إلا أنهما يستخدمان استراتيجيات تقنية مختلفة لتحقيق الكفاءة.
  • Transformer-XL: يقدم هذا النموذج تكرارًا وتضمينات موضعية نسبية لإدارة السياقات الأطول، مما يجعله فعالًا بشكل خاص للمهام ذات الانحدار التلقائي مثل توليد النصوص. على النقيض من ذلك، تم تصميم Longformer لمعالجة مستند طويل واحد بسياق ثنائي الاتجاه في تمريرة واحدة.

في حين أن نماذج البرمجة اللغوية العصبية (NLP) هذه تختلف عن نماذج الرؤية الحاسوبية (CV) مثل Ultralytics YOLO، والتي تتفوق في مهام مثل اكتشاف الكائنات، فإن الدافع لتحقيق الكفاءة الحسابية هو موضوع مشترك. الابتكارات التي تقلل التعقيد، مثل تلك الموجودة في Longformer، ضرورية لجعل نماذج التعلم العميق القوية عملية لـ الاستدلال في الوقت الفعلي و نشر النموذج على أجهزة متنوعة. يمكن تبسيط إدارة هذه النماذج المتقدمة باستخدام منصات مثل Ultralytics HUB.

انضم إلى مجتمع Ultralytics

انضم إلى مستقبل الذكاء الاصطناعي. تواصل وتعاون وانمو مع المبتكرين العالميين

انضم الآن
تم نسخ الرابط إلى الحافظة