Mixture of Agents (MoA)

智能体混合（MoA）是一种推理时技术：多个大型语言模型（LLM）回答同一个提示，一个或多个聚合模型读取所有答案并撰写一份更完善的答复。Together AI 的 Junlin Wang 及其同事在 2024 年的论文《智能体混合增强大型语言模型能力》中提出了该方法。它基于作者所称的协作性效应：即使其他模型比某个 LLM 弱，只要该 LLM 能看到其他模型对同一问题的回答，它往往就能写出更好的答复。MoA 无需训练或微调，只需 API 调用和提示，因此能够组合来自不同提供方的模型。

智能体混合的工作方式#

MoA 将模型分层组织。第一层中，多个提案模型各自独立回答提示。之后的每一层都会接收原始提示以及上一层的所有回答，并通过聚合与综合提示，要求模型批判性地评估这些回答，认识到其中一些可能有偏见或不正确，然后撰写一份完善后的答案。最后一层只有一个聚合器，其输出就是系统的答案。不同模型在这些角色中的表现各异：在论文实验中，WizardLM 擅长撰写提案，但聚合效果不佳；GPT-4o 和 Qwen1.5 则在两方面都表现出色。

论文的主要配置使用三层、每层六个开源模型：Qwen1.5-110B-Chat、Qwen1.5-72B-Chat、WizardLM-8x22B、Llama-3-70B-Instruct、Mixtral-8x22B 和 DBRX-Instruct，并以 Qwen1.5-110B-Chat 作为最终聚合器。在AlpacaEval 2.0指令遵循基准测试中，该配置取得了 65.1% 的长度控制胜率，高于当时 GPT-4o 的 57.5%；成本更低的两层 MoA-Lite 变体以 Qwen1.5-72B-Chat 为聚合器，得分为 59.3%。作者发布了该方法的参考实现。

智能体混合与相关技术的比较#

• 专家混合（MoE）：单个神经网络内部的一种架构，由经过学习的路由器为每个词元激活几个专家子层，并共同训练所有专家。MoA 则通过提示，在推理时组合彼此独立且完整的模型。
• 模型集成：集成会对成员模型的预测取平均值或进行投票。MoA 聚合器会根据所有候选答案撰写新文本，因此能够组合各自存在部分错误的答案中正确的部分。
• 模型路由：路由器会将每个查询发送给最有可能以最低成本回答好的那个模型。MoA 则会针对每个提示查询多个模型。
• AI 辩论：在多智能体辩论中，模型会阅读彼此的答案，并经过多轮修改自己的答案。MoA 则通过分层传递信息，最终由一个聚合器给出结果。
• AI 智能体编排：编排会协调通常负责不同子任务的智能体。MoA 是其中一种并发模式，所有模型都处理同一个提示。

实际应用#

• 文本生成：开放式写作、分析和指令遵循是 AlpacaEval 衡量的任务，从综合多份草稿中获益最大。
• 智能体编程：多个模型针对同一个编程问题提出解决方案，聚合器则整合其中最好的思路，并通过单元测试在相互冲突的提案之间作出判断。
• 合成数据生成：团队会将 MoA 输出用作训练小型模型的高质量目标，而额外的推理成本只需支付一次。

同一模式还可扩展到多模态 AI：多个视觉语言模型描述同一张图像，再由聚合器协调这些描述。Ultralytics LLM 接口通过同一个 LLM() 类调用 OpenAI 以及 DeepSeek、Kimi、Z.AI 和 OpenRouter 等兼容 OpenAI 的服务提供方，因此一个脚本就能将图像发送给多个提案模型，再把它们的答案交给聚合器。

优势与局限#

MoA 以计算量换取质量。主要配置对每个提示会发起十几次以上的模型调用，而且聚合器必须等到最后一层完成后才能生成第一个词元；论文指出，这会导致较高的首词元延迟，影响交互式使用。因此，推理延迟和成本限制了 MoA 的适用范围：它更适合答案质量比速度更重要的任务。

混用不同模型的重要性也没有最初看起来那么大，因为加入较弱的提案模型会降低聚合器所读内容的平均质量。Wenzhe Li 及其同事开展的Self-MoA 研究发现，仅聚合从单个最佳模型采样出的多个输出，就比标准的不同 LLM 混合方法在 AlpacaEval 2.0 上高出 6.6%，在包括 MMLU、CRUX 和 MATH 的多个基准测试上的平均成绩也高出 3.8%。