Linear Attention

الانتباه الخطي تقنية تحسين أساسية صُممت لتعزيز الكفاءة الحسابية لنماذج التعلم العميق (DL) الحديثة بدرجة كبيرة. في بُنى Transformer التقليدية، تعالج آليات الانتباه القياسية التسلسلات بمقارنة كل رمز على حدة بجميع الرموز الأخرى. ويؤدي ذلك إلى اختناق حاد في الحوسبة والذاكرة يُعرف باسم التعقيد الزمني التربيعي، أو O(N تربيع)، حيث تمثل N طول التسلسل. يغيّر الانتباه الخطي العملية الرياضية الأساسية بحيث يتناسب نموها خطيًا، أي O(N). ويتيح هذا الإنجاز لنماذج الذكاء الاصطناعي (AI) معالجة مجموعات بيانات ضخمة، مثل كتب كاملة أو صور بدقة غيغابكسل، دون استنفاد ذاكرة الأجهزة.

آلية عمل الانتباه الخطي#

في آلية الانتباه القياسية، تعالج الشبكات العصبية ثلاثة متجهات رئيسية: الاستعلامات (Q) والمفاتيح (K) والقيم (V). تحسب الصيغة التقليدية التشابه بين جميع الاستعلامات والمفاتيح باستخدام دالة softmax، فتُنشئ مصفوفة ضخمة بحجم N x N قبل ضربها في القيم.

يتجاوز الانتباه الخطي إنشاء هذه المصفوفة الوسيطة الضخمة، ويعتمد بدلًا من ذلك على خاصية التجميع في ضرب المصفوفات. ومن خلال إسقاط طبقة softmax أو تقريبها باستخدام دوال نواة متخصصة، يعيد النموذج ترتيب عملية الضرب. فهو يضرب المفاتيح في القيم أولًا لإنشاء مصفوفة سياق ثابتة الحجم، ثم يضرب الاستعلامات في هذه المصفوفة المضغوطة الجديدة. ويقلل هذا الترتيب البسيط التعقيد الحسابي بدرجة كبيرة، ما يتيح للأجهزة، مثل وحدة معالجة الرسومات (GPU)، التعامل مع مدخلات أطول بكثير مباشرةً.

التطورات الحديثة وDeltaNet#

يواصل مجتمع أبحاث الذكاء الاصطناعي، بقيادة مؤسسات مثل جامعة ستانفورد وشركات التقنية العملاقة مثل Google DeepMind، الابتكار في الصيغ الخطية لتعزيز الدقة. في عامي 2024 و2025، قدم الباحثون DeltaNet، وهي بنية جديدة تستبدل التحديثات الإضافية القياسية في المحوّلات الخطية بـ«قاعدة دلتا». يتيح ذلك للشبكة تحديث ذاكرتها الداخلية بما يتناسب مع ما هو مخزّن فيها بالفعل، بدلًا من حساب القيم المطلقة من الصفر.

تُدخل التطورات اللاحقة، مثل بُنى Gated DeltaNet، معدلات اضمحلال خاصة بالقنوات، ما يمكّن النماذج من نسيان سمات مفتاحية محددة أو الاحتفاظ بها انتقائيًا بمرور الوقت. وتسهم هذه الابتكارات الكفؤة في استخدام الأجهزة في سد فجوة الأداء بين المحوّلات الخطية وآليات الانتباه التقليدية القائمة على softmax، ولا سيما في مهام الاسترجاع المعقدة ضمن السياق.

الانتباه الخطي مقارنةً بآليات الانتباه الأخرى#

يُعد فهم اختلاف هذه التقنية عن المفاهيم ذات الصلة ضمن عائلة آليات الانتباه الأوسع أمرًا بالغ الأهمية لمهندسي الذكاء الاصطناعي الذين يحسّنون شبكاتهم:

• الانتباه الذاتي: الآلية الأساسية التي تستخدم مصفوفة softmax كاملة ومكلفة حسابيًا بحجم O(N تربيع) لالتقاط سياق عالمي شامل.
• Flash Attention: تحسين يراعي عمليات الإدخال والإخراج، ويسرّع حسابات الانتباه الذاتي الدقيقة ذات التعقيد O(N تربيع) عبر نقل البيانات بكفاءة بين مستويات ذاكرة GPU. وعلى خلاف الانتباه الخطي، لا يغيّر Flash Attention الصيغة الرياضية الأساسية.
• الانتباه المتناثر: أسلوب يوفر الذاكرة بإلزام الشبكة بالنظر فقط إلى نافذة محلية من الرموز المجاورة، بينما يضغط الانتباه الخطي الرؤية العالمية بأكملها رياضيًا في حالة ثابتة.

تطبيقات في العالم الواقعي#

من خلال تجاوز عائق طول التسلسل، يتيح التوسع الخطي إمكانات قوية في مجالات متعددة من الذكاء الاصطناعي:

• معالجة اللغة الطبيعية (NLP): تستطيع النماذج اللغوية الكبيرة (LLMs) التابعة لمؤسسات مثل OpenAI استيعاب قواعد شيفرة ضخمة أو مستندات قانونية معقدة بسلاسة. ويتيح التوسع الخطي نوافذ سياق ضخمة لازمة للاستدلال المتين على المستندات.
• الرؤية الحاسوبية عالية الدقة (CV): في المهام المعقدة، مثل تحليل الصور الطبية أو تحليل صور الأقمار الصناعية، يؤدي تسطيح الصور بدقة غيغابكسل إلى إنشاء تسلسلات رموز هائلة. ويتيح الانتباه الخطي للنماذج تنفيذ تجزئة الصور التفصيلية مباشرةً على المدخلات عالية الدقة، دون الاعتماد على خفض الدقة بشدة، الأمر الذي يتلف التفاصيل المهمة.

مثال على الشيفرة#

تسهّل أُطر العمل الحديثة، مثل PyTorch وTensorFlow، تطبيق هذه المفاهيم الرياضية. يوضح مقتطف PyTorch المفاهيمي أدناه كيف يغيّر الانتباه الخطي ترتيب ضرب المصفوفات لتحقيق كفاءة O(N).

import torch
import torch.nn as nn
import torch.nn.functional as F


class SimpleLinearAttention(nn.Module):
    def __init__(self, dim):
        super().__init__()
        self.qkv = nn.Linear(dim, dim * 3)

    def forward(self, x):
        # x shape: (Batch, Sequence Length, Channels)
        q, k, v = self.qkv(x).chunk(3, dim=-1)

        # Apply an activation function as a kernel approximation (replaces softmax)
        q = F.elu(q) + 1.0
        k = F.elu(k) + 1.0

        # Associative trick: Multiply Key and Value first (O(N) complexity)
        # k^T @ v yields a fixed (Batch, Channels, Channels) matrix
        kv_context = torch.matmul(k.transpose(-2, -1), v)

        # Multiply Query by the fixed context matrix to get the final output
        return torch.matmul(q, kv_context)


# Example: Processing a sequence of 1024 tokens
model = SimpleLinearAttention(dim=64)
dummy_input = torch.randn(1, 1024, 64)
output = model(dummy_input)
print(f"Output shape: {output.shape}")

رغم أن نماذج المجتمع التجريبية قد تتضمن طبقات متنوعة من الانتباه الخطي أو المتناثر، فإنها غالبًا ما تعاني بطء الأداء على CPU أو عدم استقرار التدريب. ولعمليات نشر الرؤية الحاسوبية الموثوقة والجاهزة للإنتاج، يُوصى باستخدام Ultralytics YOLO26 بوصفه المعيار. فهو يتميز ببنية محسّنة للغاية وشاملة من البداية إلى النهاية، تُعظّم السرعة والدقة في المهام الحيوية مثل اكتشاف الأجسام، دون الاعتماد على طبقات انتباه ثقيلة. ويمكن للمطورين بسهولة إضافة تعليقات توضيحية إلى مجموعات البيانات وتدريب هذه النماذج المتقدمة ونشرها ومراقبتها باستخدام منصة Ultralytics الشاملة.