Longformer

يعد Longformer نوعاً متخصصاً من معماريات Deep Learning مصمماً لمعالجة التسلسلات الطويلة من البيانات بكفاءة، متجاوزاً قيود النماذج التقليدية. وقد تم تقديمه في الأصل لمعالجة قيود نماذج Transformers القياسية، التي عادة ما تواجه صعوبة مع التسلسلات التي تزيد عن 512 رمزاً بسبب قيود الذاكرة، حيث توظف معمارية Longformer آلية انتباه معدلة. ومن خلال تقليل التعقيد الحسابي من تربيعي إلى خطي، تتيح هذه المعمارية لنظم الذكاء الاصطناعي تحليل مستندات كاملة، أو نصوص طويلة، أو تسلسلات جينية معقدة في تمريرة واحدة دون اقتطاع المدخلات.

مشكلة عنق زجاجة الانتباه#

لفهم أهمية Longformer، من الضروري النظر في قيود النماذج السابقة مثل BERT ونماذج GPT-3 المبكرة. تستخدم النماذج المحولة القياسية عملية "الإنتباه الذاتي" حيث ينتبه كل رمز (كلمة أو جزء من كلمة) إلى كل رمز آخر في التسلسل. وهذا ينشئ تكلفة حسابية تربيعية؛ إذ يؤدي مضاعفة طول التسلسل إلى مضاعفة الذاكرة المطلوبة على GPU أربع مرات. ونتيجة لذلك، تفرض معظم النماذج القياسية حدًا صارمًا على حجم المدخلات، مما يجبر علماء البيانات غالبًا على تقطيع المستندات إلى قطاعات أصغر وغير متصلة، مما يؤدي إلى فقدان السياق.

يحل Longformer هذه المشكلة من خلال تقديم الانتباه المتناثر (Sparse Attention). فبدلاً من الاتصال الكامل بين جميع العناصر، يستخدم مزيجًا من الانتباه المحلي النافذي والانتباه العالمي:

• انتباه النافذة المنزلقة: ينتبه كل رمز فقط إلى جيرانه المباشرين. وهذا يلتقط السياق المحلي والهيكل النحوي، على غرار كيفية معالجة Convolutional Neural Network (CNN) للصور.
• نافذة منزلقة موسعة: لزيادة مجال الاستقبال دون زيادة الحسابات، يمكن للنافذة دمج فجوات، مما يسمح للنموذج بالرؤية "بشكل أببعد" داخل النص.
• الانتباه الشامل: تنتبه رموز محددة مختارة مسبقًا (مثل رمز التصنيف [CLS]) إلى جميع الرموز الأخرى في التسلسل، وتنتبه جميع الرموز إليها. وهذا يضمن احتفاظ النموذج بفهم عالي المستوى للمدخلات بأكملها لمهام مثل تلخيص النصوص.

تطبيقات العالم الحقيقي#

القدرة على معالجة آلاف الرموز في وقت واحد تفتح احتمالات جديدة لـ Natural Language Processing (NLP) وما وراءه.

تحليل المستندات القانونية والطبية#

في صناعات مثل القانون والرعاية الصحية، نادرًا ما تكون المستندات قصيرة. يمكن أن يمتد العقد القانوني أو التاريخ الطبي للمريض لعشرات الصفحات. ستتطلب نماذج Large Language Models (LLMs) التقليدية تجزئة هذه المستندات، مما قد يؤدي إلى تفويت تبعات حاسمة بين بند في الصفحة 1 وتعريف في الصفحة 30. يسمح Longformer بـ Named Entity Recognition (NER) والتصنيف عبر المستند بأكمله دفعة واحدة، مما يضمن أن السياق الشامل يؤثر على تفسير مصطلحات معينة.

الإجابة على الأسئلة الطويلة (QA)#

غالبًا ما تكافح أنظمة Question Answering القياسية عندما تتطلب إجابة السؤال توليف معلومات موزعة عبر مقال طويل. من خلال الاحتفاظ بالنص الكامل في الذاكرة، يمكن للنماذج المستندة إلى Longformer إجراء استدلال متعدد القفزات، وربط الحقائق الموجودة في فقرات مختلفة لتوليد إجابة شاملة. هذا أمر بالغ الأهمية لأنظمة الدعم الفني الآلية وأدوات البحوث الأكاديمية.

تمييز المصطلحات الرئيسية#

• Longformer مقابل Transformer: يستخدم المحول القياسي انتباه $N^2$ الكامل، مما يجعله دقيقًا ولكنه مكلف حسابياً للمدخلات الطويلة. يستخدم Longformer انتباه $N$ متناثر، مقايضًا كمية ضئيلة من السعة النظرية مقابل مكاسب هائلة في الكفاءة، مما يسمح بمدخلات تبلغ 4096 رمزاً أو أكثر.
• Longformer مقابل Transformer-XL: بينما يتعامل كلاهما مع التسلسلات الطويلة، يعتمد Transformer-XL على آلية تكرار (تخزين الحالات السابقة مؤقتًا) لتذكر القطاعات السابقة. يعالج Longformer التسلسل الطويل محليًا دفعة واحدة، مما يسهل التدريب الموازي على منصات مثل Ultralytics Platform.
• Longformer مقابل BigBird: هذه معماريات متشابهة جدًا تم تطويرها في نفس الوقت تقريبًا. يستخدم كلاهما آليات انتباه متناثرة لتحقيق تحجيم خطي. يقدم BigBird مكون انتباه عشوائي محدد بالإضافة إلى النوافذ المنزلقة.

مفاهيم التنفيذ#

في حين أن Longformer هو معمارية وليس وظيفة محددة، فإن فهم كيفية إعداد البيانات لنماذج السياق الطويل أمر بالغ الأهمية. في الأطر الحديثة مثل PyTorch، يتضمن هذا غالبًا إدارة المضمنات (embeddings) التي تتجاوز الحدود القياسية.

يوضح المثال التالي إنشاء موتر إدخال وهمي لمفرضة سياق طويل، مقارناً إياه بالحجم النموذجي المستخدم في نماذج الكشف القياسية مثل YOLO26.

import torch

# Standard BERT-like models typically cap at 512 tokens
standard_input = torch.randint(0, 30000, (1, 512))

# Longformer architectures can handle significantly larger inputs (e.g., 4096)
# This allows the model to "see" the entire sequence at once.
long_context_input = torch.randint(0, 30000, (1, 4096))

print(f"Standard Input Shape: {standard_input.shape}")
print(f"Long Context Input Shape: {long_context_input.shape}")

# In computer vision, a similar concept applies when processing high-res images
# without downsampling, preserving fine-grained details.

العلاقة برؤية الحاسوب#

على الرغم من تصميمها في الأصل للنصوص، فقد أثرت المبادئ الكامنة وراء Longformer على Computer Vision. إن مفهوم قصر الانتباه على جوار محلي يماثل العمليات الموضعية في المهام البصرية. تواجه محولات الرؤية (ViT) مشكلات تحجيم مماثلة مع الصور عالية الدقة لأن عدد البكسلات (أو الرقع) يمكن أن يكون هائلاً. تُستخدم التقنيات المشتقة من الانتباه المتناثر لـ Longformer لتحسين كفاءة image classification و object detection، مما يساعد نماذج مثل YOLO26 في الحفاظ على سرعات عالية أثناء معالجة البيانات المرئية التفصيلية.

لمزيد من القراءة حول الخصائص المعمارية، يوفر البحث الأصلي لـ Longformer المقدم من AllenAI معايير متعمقة ومبررات نظرية. بالإضافة إلى ذلك، غالباً ما يستفيد التدريب الفعال لهذه النماذج الكبيرة من تقنيات مثل mixed precision وخوارزميات optimization algorithms المتقدمة.