Mixture of Experts (MoE)

Mixture of Experts (MoE) هو تصميم معماري متخصص في التعلم العميق يسمح للنماذج بالتوسع إلى أحجام هائلة دون زيادة طردية في التكلفة الحسابية. على عكس neural network (NN) العقيود القياسية، حيث يكون كل معلم نشطا لكل مدخل، يستخدم نموذج MoE تقنية تسمى الحساب الشرطي. يقوم هذا النهج بتنشيط نسبة صغيرة فقط من مكونات الشبكة ديناميكيا - والتي تسمى "الخبراء" - بناء على الخصائص المحددة لبيانات الإدخال. من خلال القيام بذلك، تتيح بنيات MoE إنشاء foundation models قوية يمكنها امتلاك تليينات المعلمات مع الحفاظ على inference latency وسرعة التشغيل للأنظمة الأصغر بكثير.

الآليات الأساسية لـ MoE#

تنبع كفاءة نموذج خليط من الخبراء من استبدال الطبقات الكثيفة القياسية بطبقة MoE متفرقة. تتكون هذه الطبقة عادة من عنصرين رئيسيين يعملان جنبًا إلى جنب لمعالجة المعلومات بكفاءة:

• الخبراء: هذه هي شبكات فرعية مستقلة، غالبا ما تكون شبكات عصبية تغذية أمامية بسيطة (FFNs). يتخصص كل خبير في التعامل مع جوانب مختلفة من البيانات. في سياق natural language processing (NLP)، قد يصبح أحد الخبراء بارعا في التعامل مع القواعد النحوية، بينما يركز آخر على استرجاع الحقائق أو بناء الكود.
• شبكة البوابات (الموجه): يعمل الموجه كمدح حركة مرور للبيانات. عندما يدخل إدخال - مثل رقعة صورة أو رمز نصي - الطبقة، يحسب الموجه درجة الاحتمال باستخدام softmax function. ثم يوجه هذا الإدخال فقط إلى خبراء "Top-K" (عادة واحد أو اثنين) الحاصلين على أعلى الدرجات. يضمن ذلك أن النموذج ينفق الطاقة فقط على المعلمات الأكثر صلة.

التمييز عن مجموعات النماذج#

على الرغم من أن كلا المفهومين يتضمن استخدام نماذج فرعية متعددة، فمن الأهمية بمكان تمييز Mixture of Experts عن model ensemble. في التجمع التقليدي، يقوم كل نموذج في المجموعة بمعالجة نفس المدخلات، ويتم حساب متوسط نتائجها أو التصويت عليها لتحقيق أقصى قدر من accuracy. يزيد هذا النهج من التكلفة الحسابية خطيا مع عدد النماذج.

على العكس من ذلك، فإن MoE هو نموذج واحد موحد حيث تمر المدخلات المختلفة عبر مسارات مختلفة. يهدف MoE المتفرق إلى scalability والكفاءة من خلال تشغيل جزء فقط من إجمالي المعلمات لأي خطوة استدلال معينة. يتيح ذلك التدريب على كميات هائلة من training data دون التكاليف الباهظة المرتبطة بالتجمعات الكثيفة.

تطبيقات العالم الحقيقي#

أصبحت بنية MoE حجر الزاوية للذكاء الاصطناعي الحديث عالي الأداء، لا سيما في السيناريوهات التي تتطلب قدرات متعددة المهام والاحتفاظ الواسع بالمعرفة.

1. نماذج اللغات متعددة اللغات: تستخدم النماذج البارزة مثل Mistral AI's Mixtral 8x7B تقنية MoE للتفوق في مهام اللغات المتنوعة. من خلال توجيه الرموز إلى خبراء متخصصين، يمكن لهذه الأنظمة التعامل مع مهام الترجمة والتلخيص والترميز داخل هيكل نموذج واحد، متجاوزة النماذج الكثيفة ذات تعداد المعلمات النشطة المماثلة.

2. الرؤية الحاسوبية القابلة للتوسع: في مجال computer vision (CV)، يطبق الباحثون MoE بناء هياكل رؤية ضخمة. تثبت بنية Vision MoE (V-MoE) كيف يمكن للخبراء التخصص في التعرف على الميزات المرئية المميزة، مما يؤدي بفعالية إلى توسيع نطاق الأداء على المعايير مثل ImageNet. في حين تظل النماذج الكثيفة المحسنة للغاية مثل YOLO26 المعيار لاكتشاف الحافة في الوقت الفعلي بسبب بصمتها الذاكرية التي يمكن التنبؤ بها، فإن أبحاث MoE تواصل دفع حدود الفهم البصري من جانب الخادم.

مثال على منطق التوجيه#

لفهم كيف تختار شبكة البوابات الخبراء، ضع في اعتبارك هذا المثال المبسط لـ PyTorch. وهو يوضح آلية توجيه تختار الخبير الأكثر صلة بمدخل معين.

import torch
import torch.nn as nn

# A simple router deciding between 4 experts for input dimension of 10
num_experts = 4
input_dim = 10
router = nn.Linear(input_dim, num_experts)

# Batch of 2 inputs
input_data = torch.randn(2, input_dim)

# Calculate scores and select the top-1 expert for each input
logits = router(input_data)
probs = torch.softmax(logits, dim=-1)
weights, indices = torch.topk(probs, k=1, dim=-1)

print(f"Selected Expert Indices: {indices.flatten().tolist()}")

التحديات في التدريب والنشر#

على الرغم من مزاياها، تقدم نماذج MoE تحديات فريدة لـ training process. المشكلة الأساسية هي موازنة الحمل؛ فقد تفضل شبكة التوجيه عددا قليلا من الخبراء "الشعبين" مع تجاهل الآخرين، مما يؤدي إلى ضياع السعة. للتخفيف من ذلك، يستخدم الباحثون loss functions مساعدة لتشجيع الاستخدام المتساوي لجميع الخبراء.

علاوة على ذلك، يتطلب نشر هذه النماذج الضخمة إعدادات أجهزة متطورة. نظرا لأن إجمالي عدد المعلمات مرتفع (حتى لو كانت المعلمات النشطة منخفضة)، غالبا ما يتطلب النموذج ذاكرة VRAM كبيرة، مما يستلزم distributed training عبر GPUs متعددة. تساعد أطر العمل مثل Microsoft DeepSpeed في إدارة التوازي المطلوبة لتتدريب هذه الأنظمة بكفاءة. لإدارة مجموعات البيانات وسير عمل التدريب لهذه البنى المعقدة، توفر الأدوات مثل Ultralytics Platform البنية التحتية الأساسية للتسجيل والتصور والنشر.