Mixture of Agents (MoA)

Mixture of Agents(MoA)는 추론 시점 기법으로, 여러 대규모 언어 모델(LLM)이 동일한 프롬프트에 답하고 하나 이상의 집계 모델이 모든 답변을 읽어 하나의 개선된 답변을 작성합니다. Together AI의 Junlin Wang과 동료들은 2024년 논문 Mixture-of-Agents Enhances Large Language Model Capabilities에서 이 기법을 소개했습니다. 이 기법은 저자들이 협업성이라고 부르는 효과에 기반합니다. LLM은 다른 모델이 같은 질문에 작성한 답변을 볼 수 있을 때 더 나은 답변을 작성하는 경향이 있으며, 다른 모델이 자신보다 성능이 낮은 경우에도 마찬가지입니다. MoA에는 학습이나 파인튜닝이 필요하지 않고 API 호출과 프롬프트만 필요하므로 서로 다른 제공업체의 모델을 결합할 수 있습니다.

Mixture of Agents의 작동 방식#

MoA는 모델을 여러 계층으로 구성합니다. 첫 번째 계층에서는 여러 제안 모델이 각각 독립적으로 프롬프트에 답합니다. 이후 각 계층은 원래 프롬프트와 이전 계층의 모든 답변을 함께 받습니다. 이때 집계 및 종합 프롬프트는 모델이 답변을 비판적으로 평가하고, 일부 답변이 편향되었거나 틀릴 수 있음을 고려해 하나의 정제된 답변을 작성하도록 지시합니다. 마지막 계층에는 시스템의 답변을 출력하는 단일 집계 모델이 있습니다. 역할에 따라 모델의 성능은 다릅니다. 논문의 실험에서는 WizardLM이 훌륭한 제안 답변을 작성했지만 집계 성능은 낮았으며, GPT-4o와 Qwen1.5는 두 역할 모두에서 좋은 성능을 보였습니다.

논문의 주요 구성은 오픈 소스 모델 6개(Qwen1.5-110B-Chat, Qwen1.5-72B-Chat, WizardLM-8x22B, Llama-3-70B-Instruct, Mixtral-8x22B, DBRX-Instruct)를 사용하는 3개 계층으로 이루어졌으며, Qwen1.5-110B-Chat을 최종 집계 모델로 사용했습니다. 이 구성은 지시 수행 벤치마크인 AlpacaEval 2.0에서 길이를 통제한 승률 65.1%를 기록해 당시 GPT-4o의 57.5%를 앞섰습니다. Qwen1.5-72B-Chat을 집계 모델로 사용하는 비용 효율적인 2계층 MoA-Lite 변형은 59.3%를 기록했습니다. 저자들은 이 방법의 참조 구현을 공개했습니다.

Mixture of Agents와 관련 기법 비교#

• 전문가 혼합(MoE): 단일 신경망 내부의 아키텍처로, 학습된 라우터가 각 토큰에 대해 소수의 전문가 하위 계층을 활성화하며 모든 전문가를 함께 학습합니다. MoA는 프롬프트를 통해 추론 시점에 별개의 완전한 모델을 결합합니다.
• 모델 앙상블: 앙상블은 구성 모델의 예측을 평균하거나 투표로 결합합니다. MoA 집계 모델은 모든 후보 답변을 조건으로 새 텍스트를 작성하므로 각각 일부 내용이 틀린 답변에서 올바른 부분을 결합할 수 있습니다.
• 모델 라우팅: 라우터는 각 질의를 가장 낮은 비용으로 잘 답할 가능성이 높은 단일 모델에 전달합니다. MoA는 모든 프롬프트에 대해 여러 모델에 질의합니다.
• AI 토론: 다중 에이전트 토론에서는 모델이 서로의 답변을 읽고 여러 라운드에 걸쳐 자신의 답변을 수정합니다. MoA는 계층을 통해 정보를 전달하고 단일 집계 모델로 마무리합니다.
• AI 에이전트 오케스트레이션: 오케스트레이션은 일반적으로 서로 다른 하위 작업을 처리하는 에이전트를 조율합니다. MoA는 모든 모델이 동일한 프롬프트를 처리하는 오케스트레이션의 병렬 패턴 중 하나입니다.

실제 적용 사례#

• 텍스트 생성: AlpacaEval이 측정하는 개방형 글쓰기, 분석 및 지시 수행 작업은 여러 초안을 종합할 때 가장 큰 이점을 얻습니다.
• 에이전트 코딩: 여러 모델이 동일한 프로그래밍 문제에 대한 해결책을 제안하고, 집계 모델이 가장 좋은 아이디어를 결합하며, 단위 테스트가 상충하는 제안 중에서 선택하도록 합니다.
• 합성 데이터 생성: 팀은 MoA 출력을 고품질 학습 타깃으로 사용해 더 작은 모델을 학습하며, 추가 추론 비용은 한 번만 부담합니다.

동일한 패턴은 멀티모달 AI에도 적용됩니다. 여러 비전-언어 모델이 같은 이미지를 설명하고 집계 모델이 설명을 조정합니다. Ultralytics LLM 인터페이스는 동일한 LLM() 클래스를 통해 OpenAI 및 DeepSeek, Kimi, Z.AI, OpenRouter 같은 OpenAI 호환 제공업체를 호출하므로, 하나의 스크립트로 이미지를 여러 제안 모델에 보내고 그 답변을 집계 모델에 전달할 수 있습니다.

장점과 한계#

MoA는 품질을 높이는 대신 연산량을 늘립니다. 주요 구성은 프롬프트마다 12회가 넘는 모델 호출을 수행하며, 마지막 계층이 끝나야 집계 모델이 첫 토큰을 작성할 수 있으므로 논문에서는 첫 토큰까지의 시간이 길다고 지적합니다. 이는 대화형 사용에 불리합니다. 따라서 추론 지연 시간과 비용 때문에 MoA는 속도보다 답변 품질이 중요한 작업에 적합합니다.

약한 제안 모델을 추가하면 집계 모델이 읽는 답변의 평균 품질이 떨어지므로, 서로 다른 모델을 조합하는 효과도 처음 기대한 것만큼 크지 않습니다. Wenzhe Li와 동료들의 Self-MoA 연구에 따르면, 최상위 단일 모델의 여러 샘플링 출력을 집계한 결과는 서로 다른 LLM을 조합한 표준 방식보다 AlpacaEval 2.0에서 6.6%, MMLU, CRUX, MATH를 포함한 벤치마크 평균에서 3.8% 더 높은 성능을 보였습니다.