Mixture of Experts (MoE)

يعد خليط من الخبراء (MoE) تصميمًا معماريًا متخصصًا في التعلم العميق يسمح للنماذج بالتوسع إلى أحجام هائلة دون زيادة متناسبة في التكلفة الحسابية. على عكس الشبكة العصبية (NN) الكثيفة القياسية، حيث تكون كل معلمة نشطة لكل مدخل، يستخدم نموذج MoE تقنية تسمى الحوسبة الشرطية. يعمل هذا النهج ديناميكيًا على تنشيط جزء صغير فقط من مكونات الشبكة - التي يشار إليها باسم "الخبراء" - بناءً على الخصائص المحددة لبيانات الإدخال. من خلال القيام بذلك، تمكن بنية MoE من إنشاء نماذج أساسية قوية يمكنها امتلاك تريليونات المعلمات مع الحفاظ على زمن انتقال الاستدلال وسرعة التشغيل للأنظمة الأصغر بكثير.

Link to this sectionالآليات الأساسية لـ MoE#

تنبع كفاءة نموذج خليط من الخبراء من استبدال الطبقات الكثيفة القياسية بطبقة MoE متفرقة. تتكون هذه الطبقة عادة من عنصرين رئيسيين يعملان جنبًا إلى جنب لمعالجة المعلومات بكفاءة:

• الخبراء: هذه شبكات فرعية مستقلة، غالبًا ما تكون شبكات عصبية مغذية للأمام (FFNs) بسيطة. يتخصص كل خبير في التعامل مع جوانب مختلفة من البيانات. في سياق معالجة اللغات الطبيعية (NLP)، قد يصبح أحد الخبراء بارعًا في التعامل مع القواعد، بينما يركز آخر على استرجاع الحقائق أو بناء جملة الكود.
• شبكة البوابات (الموجه): يعمل الموجه كمنظم حركة للبيانات. عندما يدخل مدخل - مثل رقعة صورة أو رمز نصي - إلى الطبقة، يحسب الموجه درجة احتمالية باستخدام دالة softmax. ثم يقوم بتوجيه ذلك المدخل فقط إلى خبراء "Top-K" (عادةً واحد أو اثنان) الذين لديهم أعلى الدرجات. يضمن هذا أن النموذج ينفق الطاقة فقط على المعلمات الأكثر صلة.

Link to this sectionالتمييز عن مجموعات النماذج#

على الرغم من أن كلا المفهومين يتضمنان استخدام نماذج فرعية متعددة، فمن الضروري التمييز بين خليط من الخبراء و مجموعة النماذج. في المجموعة التقليدية، يعالج كل نموذج في المجموعة نفس المدخل، ويتم حساب متوسط نتائجها أو التصويت عليها لتعظيم الدقة. يؤدي هذا النهج إلى زيادة التكلفة الحسابية خطيًا مع عدد النماذج.

على العكس من ذلك، MoE هو نموذج واحد موحد حيث تسلك المدخلات المختلفة مسارات مختلفة. يهدف MoE المتفرق إلى قابلية التوسع والكفاءة من خلال تشغيل جزء صغير فقط من إجمالي المعلمات لأي خطوة استدلال معينة. وهذا يسمح بالتدريب على كميات هائلة من بيانات التدريب دون التكاليف الباهظة المرتبطة بالمجموعات الكثيفة.

Link to this sectionتطبيقات العالم الحقيقي#

أصبحت بنية MoE حجر الزاوية للذكاء الاصطناعي الحديث عالي الأداء، لا سيما في السيناريوهات التي تتطلب قدرات متعددة المهام والاحتفاظ الواسع بالمعرفة.

1. نماذج اللغات متعددة اللغات: تستخدم النماذج البارزة مثل Mistral AI's Mixtral 8x7B تقنية MoE للتفوق في مهام لغوية متنوعة. من خلال توجيه الرموز إلى خبراء متخصصين، يمكن لهذه الأنظمة التعامل مع الترجمة والتلخيص ومهام البرمجة داخل بنية نموذج واحدة، متفوقة على النماذج الكثيفة ذات أعداد المعلمات النشطة المماثلة.

2. رؤية حاسوبية قابلة للتوسع: في مجال الرؤية الحاسوبية (CV)، يطبق الباحثون MoE لبناء هياكل رؤية ضخمة. توضح بنية Vision MoE (V-MoE) كيف يمكن للخبراء التخصص في التعرف على ميزات بصرية متميزة، مما يعزز الأداء بشكل فعال على مقاييس مثل ImageNet. بينما تظل النماذج الكثيفة المحسنة للغاية مثل YOLO26 هي المعيار للكشف في الوقت الفعلي على الحافة نظرًا لبصمتها الذاكرية المتوقعة، يواصل بحث MoE دفع حدود الفهم البصري من جانب الخادم.

Link to this sectionمثال على منطق التوجيه#

لفهم كيفية اختيار شبكة البوابات للخبراء، ضع في اعتبارك مثال PyTorch المبسط هذا. إنه يوضح آلية توجيه تختار الخبير الأكثر صلة بمدخل معين.

import torch
import torch.nn as nn

# A simple router deciding between 4 experts for input dimension of 10
num_experts = 4
input_dim = 10
router = nn.Linear(input_dim, num_experts)

# Batch of 2 inputs
input_data = torch.randn(2, input_dim)

# Calculate scores and select the top-1 expert for each input
logits = router(input_data)
probs = torch.softmax(logits, dim=-1)
weights, indices = torch.topk(probs, k=1, dim=-1)

print(f"Selected Expert Indices: {indices.flatten().tolist()}")

Link to this sectionالتحديات في التدريب والنشر#

على الرغم من مزاياها، تقدم نماذج MoE تحديات فريدة لـ عملية التدريب. إحدى القضايا الرئيسية هي موازنة الحمل؛ فقد يفضل الموجه بضعة خبراء "شائعين" بينما يتجاهل الآخرين، مما يؤدي إلى إهدار القدرة. للتخفيف من ذلك، يستخدم الباحثون دوال خسارة مساعدة لتشجيع الاستخدام المتساوي لجميع الخبراء.

علاوة على ذلك، يتطلب نشر هذه النماذج الضخمة إعدادات أجهزة متطورة. نظرًا لأن إجمالي عدد المعلمات مرتفع (حتى لو كانت المعلمات النشطة منخفضة)، غالبًا ما يتطلب النموذج VRAM كبيرًا، مما يستلزم تدريبًا موزعًا عبر GPUs متعددة. تساعد أطر العمل مثل Microsoft DeepSpeed في إدارة التوازي المطلوب لتدريب هذه الأنظمة بكفاءة. لإدارة مجموعات البيانات وسير عمل التدريب لمثل هذه البنيات المعقدة، توفر أدوات مثل Ultralytics Platform بنية تحتية أساسية للتسجيل والتصور والنشر.