Mixture of Agents (MoA)
تستخدم مزيجة الوكلاء (MoA) عدة نماذج لغة كبيرة للإجابة عن مطالبة، ثم تقرأ نماذج التجميع كل إجابة وتكتب إجابة أفضل. تعرّف على آلية عملها وتكلفتها.
مزيج الوكلاء (MoA) تقنية تُستخدم وقت الاستدلال، يجيب فيها عدد من نماذج اللغة الكبيرة (LLMs) عن المطالبة نفسها، ثم يقرأ نموذج تجميعي واحد أو أكثر جميع تلك الإجابات ويصوغ ردًا واحدًا محسّنًا. قدّم جونلين وانغ وزملاؤه في Together AI هذه التقنية في ورقة عام 2024 بعنوان مزيج الوكلاء يعزّز قدرات نماذج اللغة الكبيرة. وتستند التقنية إلى تأثير يسمّيه المؤلفون «التعاونية»: يميل نموذج LLM إلى صياغة رد أفضل عندما يطّلع على ردود نماذج أخرى عن السؤال نفسه، حتى لو كانت تلك النماذج أضعف منه. لا يحتاج MoA إلى تدريب أو ضبط دقيق، بل إلى استدعاءات API ومطالبات فحسب، لذا يمكنه الجمع بين نماذج من موفّرين مختلفين.
آلية عمل مزيج الوكلاء#
ينظّم MoA النماذج في طبقات. في الطبقة الأولى، تجيب عدة نماذج مقترِحة عن المطالبة كلٌّ على حدة. وتتلقى كل طبقة لاحقة المطالبة الأصلية إلى جانب كل إجابة من الطبقة السابقة، عبر مطالبة للتجميع والتركيب تطلب من النموذج تقييم تلك الإجابات نقديًا، مع إدراك أن بعضها قد يكون متحيزًا أو غير صحيح، ثم صياغة إجابة واحدة منقّحة. وتضم الطبقة الأخيرة نموذجًا تجميعيًا واحدًا يكون خرجه إجابة النظام. وتختلف النماذج في هذه الأدوار: ففي تجارب الورقة، قدّم WizardLM مقترحات ممتازة لكنه كان ضعيفًا في التجميع، بينما أظهر GPT-4o وQwen1.5 أداءً جيدًا في كليهما.
استخدم الإعداد الرئيسي للورقة ثلاث طبقات، ضمت كل منها ستة نماذج مفتوحة المصدر: Qwen1.5-110B-Chat وQwen1.5-72B-Chat وWizardLM-8x22B وLlama-3-70B-Instruct وMixtral-8x22B وDBRX-Instruct، مع Qwen1.5-110B-Chat بوصفه المُجمِّع النهائي. وحقق معدل فوز مضبوطًا بحسب طول الإجابة بلغ 65.1% على AlpacaEval 2.0، وهو معيار لاتباع التعليمات، متقدمًا على GPT-4o الذي بلغت نسبته 57.5% آنذاك؛ كما سجل إصدار MoA-Lite الأرخص ذو الطبقتين، مع Qwen1.5-72B-Chat بوصفه المُجمِّع، 59.3%. وأصدر المؤلفون تنفيذًا مرجعيًا للطريقة.
مزيج الوكلاء مقارنةً بالتقنيات ذات الصلة#
- مزيج الخبراء (MoE): بنية داخل شبكة عصبية واحدة، يفعّل فيها موجّه متعلَّم عددًا قليلًا من الطبقات الفرعية المتخصصة لكل رمز، وتُدرّب جميع الخبراء معًا. أما MoA فيجمع نماذج منفصلة ومتكاملة وقت الاستدلال عبر المطالبات.
- تجميع النماذج: يحسب التجميع متوسط تنبؤات أعضائه أو يصوّت عليها. أما النموذج التجميعي في MoA فينشئ نصًا جديدًا مشروطًا بجميع الإجابات المرشحة، لذا يمكنه الجمع بين الأجزاء الصحيحة من إجابات يحتوي كل منها على أخطاء جزئية.
- توجيه النماذج: يرسل الموجّه كل استعلام إلى النموذج الأرجح أن يجيب عنه جيدًا بأقل تكلفة. أما MoA فيستعلم من عدة نماذج لكل مطالبة.
- مناظرة الذكاء الاصطناعي: في المناظرة متعددة الوكلاء، تقرأ النماذج إجابات بعضها وتراجع إجاباتها على مدى عدة جولات. أما MoA فيمرّر المعلومات إلى الأمام عبر الطبقات وينتهي بنموذج تجميعي واحد.
- تنسيق وكلاء الذكاء الاصطناعي: ينسّق التنسيق بين الوكلاء الذين يتولّى كل منهم عادةً مهام فرعية مختلفة. وMoA نمط متزامن ضمن هذا التنسيق، تعمل فيه جميع النماذج على المطالبة نفسها.
تطبيقات عملية#
- توليد النصوص: تستفيد الكتابة المفتوحة والتحليل واتباع التعليمات، وهي المهام التي يقيسها AlpacaEval، أكثر ما تستفيد من تركيب عدة مسودات.
- البرمجة الوكيلة: تقترح عدة نماذج حلولًا للمشكلة البرمجية نفسها، ثم يدمج نموذج تجميعي أقوى الأفكار، وتُستخدم اختبارات الوحدات للفصل بين المقترحات المتعارضة.
- توليد البيانات الاصطناعية: تستخدم الفرق مخرجات MoA كأهداف عالية الجودة لتدريب نماذج أصغر، حيث تُدفع تكلفة الاستدلال الإضافية مرة واحدة.
يمتد النمط نفسه إلى الذكاء الاصطناعي متعدد الوسائط، حيث تصف عدة نماذج للرؤية واللغة الصورة نفسها، ثم يوفّق نموذج تجميعي بين أوصافها. تستدعي واجهة Ultralytics لنماذج اللغة الكبيرة OpenAI والموفّرين المتوافقين مع OpenAI، مثل DeepSeek وKimi وZ.AI وOpenRouter، عبر الفئة نفسها LLM()، لذا يمكن لبرنامج نصي واحد إرسال صورة إلى عدة نماذج مقترِحة وتمرير إجاباتها إلى نموذج تجميعي.
نقاط القوة والقيود#
يستبدل MoA القدرة الحاسوبية بالجودة. إذ ينفّذ الإعداد الرئيسي أكثر من اثني عشر استدعاءً للنماذج لكل مطالبة، ولأن النموذج التجميعي لا يستطيع إنتاج رمزه الأول قبل انتهاء الطبقة الأخيرة، تشير الورقة إلى ارتفاع زمن ظهور الرمز الأول، ما يضر بالاستخدام التفاعلي. لذلك تحد كمون الاستدلال والتكلفة من استخدام MoA للمهام التي تهم فيها جودة الإجابة أكثر من السرعة.
كما أن مزج نماذج مختلفة أقل أهمية مما بدا أول الأمر، لأن إضافة نماذج مقترِحة أضعف تقلل متوسط جودة ما يقرأه النموذج التجميعي. ووجدت دراسة Self-MoA التي أجراها وينجه لي وزملاؤه أن تجميع عدة مخرجات مأخوذة بالعينات من أفضل نموذج واحد فقط تفوّق على مزيج معياري من نماذج LLM مختلفة بنسبة 6.6% على AlpacaEval 2.0، وبنسبة 3.8% في المتوسط عبر معايير تقييم شملت MMLU وCRUX وMATH.
