Mixture of Depths (MoD)

في معماريات التعلم العميق، تُعد الكفاءة الحسابية أمرًا بالغ الأهمية، لا سيما عند معالجة التسلسلات الطويلة أو المدخلات عالية الدقة. يخصص نهج مبتكر موارد الحوسبة ديناميكيًا، إذ يتيح للشبكة تحديد أجزاء المدخلات التي تتطلب معالجة كاملة وتلك التي يمكنها تجاوز طبقات معينة بأمان. وتقلل استراتيجية التوجيه الديناميكي هذه من التعقيد الحسابي الإجمالي دون التضحية بالقدرة التنبؤية للنموذج أو دقته.

فهم المفهوم#

مزيج الأعماق (MoD) هو أسلوب معماري يُطبَّق أساسًا على معماريات Transformer، حيث يتعلم النموذج تخطي الحوسبة ديناميكيًا لرموز محددة في طبقات مختلفة. تعالج Transformers التقليدية كل رمز عبر كل طبقة، سواء كان يمثل معلومة محورية أم محتوى زائدًا. في المقابل، يستخدم نموذج MoD آلية توجيه لتقييم الرموز وإسناد درجة إليها. ولا تُمرَّر عبر كتل الحوسبة المكثفة، مثل آليات الانتباه أو الطبقات الكثيفة للتغذية الأمامية، إلا الرموز الأعلى تقييمًا، حتى حد سعة محدد مسبقًا. أما الرموز المتبقية فتتجاوز الكتلة عبر الاتصالات المتبقية، ما ينشئ فعليًا «مزيجًا من الأعماق» تختبر فيه الرموز المختلفة مستويات متفاوتة من عمق المعالجة.

حظيت هذه الطريقة بشهرة بفضل أبحاث DeepMind الحديثة، ووُثِّقت على نطاق واسع في مستودع arXiv، كما أنها تقلل بدرجة كبيرة إجمالي عدد عمليات الفاصلة العائمة (FLOPs) اللازمة أثناء التدريب والاستدلال.

التمييز عن مزيج الخبراء (MoE)#

من السهل الخلط بين هذا المفهوم ومزيج الخبراء (MoE). وعلى الرغم من أن كليهما يستخدم آليات التوجيه، فإنهما يعالجان مشكلتين مختلفتين:

• MoE يوجّه الرموز إلى شبكات فرعية (خبراء) مختلفة داخل الطبقة. ويظل العمق الحسابي متماثلًا لجميع الرموز، لكن عدد معلمات النموذج يزداد.
• MoD يوجّه الرموز إما إلى كتلة الحوسبة أو إلى اتصال تخطٍّ. ويظل عدد المعلمات ثابتًا تمامًا، لكن العمق الحسابي ينخفض للرموز الأقل أهمية، ما يحسن مباشرة زمن استجابة الاستدلال.

التطبيقات الواقعية#

تجعل القدرة على تخصيص ميزانية الحوسبة ديناميكيًا هذه التقنية بالغة القيمة عبر مجالات متعددة من الرؤية الحاسوبية ومعالجة اللغة الطبيعية.

1. تحسين السياق في نماذج اللغة: تعالج نماذج اللغة الكبيرة (LLMs) الحديثة من مؤسسات مثل OpenAI وAnthropic نوافذ سياق هائلة. ومن خلال استخدام التوجيه الديناميكي للعمق، تستطيع هذه النماذج تخطي الكلمات البنيوية أو الزائدة المتكررة، وتخصيص الحوسبة العميقة لخطوات الاستدلال المعقدة واستخراج الحقائق.

2. الذكاء الاصطناعي للرؤية عالية الدقة: في أنظمة الرؤية المتقدمة، مثل نموذج Ultralytics YOLO26، تتطلب معالجة الصور الكبيرة من أجل اكتشاف الكائنات وتجزئة الصور قدرًا هائلًا من الذاكرة. ويتيح توجيه العمق للشبكة تجاوز استخراج السمات من الخلفيات المتجانسة، مثل السماء الخالية أو الجدران الفارغة، مع تركيز القدرة الحاسوبية على الكائنات المعقدة في المقدمة. ويكتسب ذلك أهمية حاسمة عند نشر النماذج على أجهزة الذكاء الاصطناعي الطرفي محدودة الموارد، والمحسَّنة بواسطة مكتبات تحسين CUDA.

مثال على التنفيذ#

فيما يلي مقتطف PyTorch مفاهيمي يوضح كيف يمكن لآلية توجيه أساسية تخطي الحوسبة لجزء من رموز المدخلات، لمحاكاة سلوك توجيه العمق.

import torch
import torch.nn as nn


class MixtureOfDepthsBlock(nn.Module):
    def __init__(self, d_model, capacity_factor=0.5):
        super().__init__()
        self.capacity_factor = capacity_factor
        self.router = nn.Linear(d_model, 1)
        self.heavy_compute = nn.Sequential(nn.Linear(d_model, d_model * 4), nn.GELU(), nn.Linear(d_model * 4, d_model))

    def forward(self, x):
        # x shape: (batch_size, seq_len, d_model)
        seq_len = x.size(1)
        capacity = int(seq_len * self.capacity_factor)

        # 1. Compute routing scores
        scores = self.router(x).squeeze(-1)  # Shape: (batch_size, seq_len)

        # 2. Identify top-k tokens to process
        topk_indices = torch.topk(scores, capacity, dim=1).indices

        # 3. Create an output tensor mirroring the input (residual baseline)
        output = x.clone()

        # 4. Apply heavy computation only to the selected tokens
        for b in range(x.size(0)):
            selected_tokens = x[b, topk_indices[b]]
            processed_tokens = self.heavy_compute(selected_tokens)
            output[b, topk_indices[b]] += processed_tokens

        return output


# Example usage
dummy_input = torch.randn(2, 64, 128)  # Batch=2, Seq=64, Dim=128
mod_block = MixtureOfDepthsBlock(d_model=128, capacity_factor=0.5)
output = mod_block(dummy_input)
print(f"Output shape: {output.shape}")  # Expect (2, 64, 128)

من خلال الاستفادة من أطر مثل إطار PyTorch أو TensorFlow، يستطيع المطورون دمج كتل تحسين النماذج المخصصة هذه. وعلاوة على ذلك، تساعد أدوات مثل منصة Ultralytics الفرق على إدارة بيانات التدريب اللازمة لتدريب أدوات التوجيه هذه بدقة، إلى جانب التكامل السلس مع منظومات المؤسسات مثل Google Cloud AI.