Mixture of Agents (MoA)

Mixture of Agents (MoA) ist ein Verfahren zur Inferenzzeit, bei dem mehrere große Sprachmodelle (LLMs) dieselbe Eingabe beantworten und ein oder mehrere Aggregatormodelle alle Antworten lesen und eine einzelne, verbesserte Antwort formulieren. Junlin Wang und Kollegen von Together AI stellten das Verfahren 2024 in der Studie Mixture-of-Agents Enhances Large Language Model Capabilities vor. Es beruht auf einem Effekt, den die Autoren als Kooperationsfähigkeit bezeichnen: Ein LLM formuliert tendenziell eine bessere Antwort, wenn es die Antworten anderer Modelle auf dieselbe Frage sehen kann – selbst wenn diese Modelle schwächer sind. MoA erfordert weder Training noch Feinabstimmung, sondern nur API-Aufrufe und Prompts. So lassen sich Modelle verschiedener Anbieter kombinieren.

So funktioniert Mixture of Agents#

MoA ordnet die Modelle in Schichten an. In der ersten Schicht beantwortet jedes von mehreren Vorschlagsmodellen den Prompt unabhängig. Jede weitere Schicht erhält den ursprünglichen Prompt sowie alle Antworten aus der vorherigen Schicht. Ein Prompt zum Zusammenfassen und Synthetisieren fordert das Modell auf, diese Antworten kritisch zu bewerten, mögliche Verzerrungen oder Fehler zu berücksichtigen und eine überarbeitete Antwort zu formulieren. Die letzte Schicht besteht aus einem einzelnen Aggregator, dessen Ausgabe die Antwort des Systems ist. Die Modelle eignen sich unterschiedlich gut für diese Rollen: In den Experimenten der Studie lieferte WizardLM ausgezeichnete Vorschläge, aggregierte aber schlecht. GPT-4o und Qwen1.5 schnitten in beiden Rollen gut ab.

Die Hauptkonfiguration der Studie verwendete drei Schichten mit sechs Open-Source-Modellen: Qwen1.5-110B-Chat, Qwen1.5-72B-Chat, WizardLM-8x22B, Llama-3-70B-Instruct, Mixtral-8x22B und DBRX-Instruct. Als abschließender Aggregator kam Qwen1.5-110B-Chat zum Einsatz. Bei der an die Antwortlänge angepassten Bewertung des AlpacaEval 2.0, einem Benchmark für das Befolgen von Anweisungen, erreichte das Verfahren eine Gewinnrate von 65,1 %. Damit lag es damals vor GPT-4o mit 57,5 %. Eine günstigere zweischichtige MoA-Lite-Variante mit Qwen1.5-72B-Chat als Aggregator erzielte 59,3 %. Die Autoren veröffentlichten eine Referenzimplementierung des Verfahrens.

Mixture of Agents und verwandte Verfahren#

• Mixture of Experts (MoE): Eine Architektur innerhalb eines einzelnen neuronalen Netzes. Dabei aktiviert ein erlernter Router für jedes Token einige Experten-Teilschichten, und alle Experten werden gemeinsam trainiert. MoA kombiniert zur Inferenzzeit über Prompts separate, vollständige Modelle.
• Modell-Ensembles: Ein Ensemble mittelt die Vorhersagen seiner Mitglieder oder stimmt darüber ab. Ein MoA-Aggregator formuliert neuen Text auf Grundlage aller Kandidaten und kann so die korrekten Teile von Antworten kombinieren, die jeweils teilweise falsch sind.
• Modellrouting: Ein Router leitet jede Anfrage an das Modell weiter, das sie voraussichtlich am besten und zu den geringsten Kosten beantwortet. MoA fragt für jeden Prompt mehrere Modelle ab.
• KI-Debatte: Bei einer Debatte mit mehreren Agenten lesen die Modelle die Antworten der anderen und überarbeiten ihre eigenen über mehrere Runden hinweg. MoA gibt Informationen schichtweise weiter und schließt mit einem einzelnen Aggregator ab.
• Orchestrierung von KI-Agenten: Die Orchestrierung koordiniert Agenten, die üblicherweise unterschiedliche Teilaufgaben übernehmen. MoA ist ein parallel ausgeführtes Muster innerhalb dieser Orchestrierung, bei dem alle Modelle am selben Prompt arbeiten.

Anwendungen in der Praxis#

• Textgenerierung: Offenes Schreiben, Analysen und das Befolgen von Anweisungen – die von AlpacaEval gemessenen Aufgaben – profitieren am meisten von der Zusammenführung mehrerer Entwürfe.
• Agentengestütztes Programmieren: Mehrere Modelle schlagen Lösungen für dasselbe Programmierproblem vor, und ein Aggregator führt die besten Ideen zusammen. Komponententests helfen dabei, zwischen widersprüchlichen Vorschlägen zu entscheiden.
• Generierung synthetischer Daten: Teams verwenden MoA-Ausgaben als hochwertige Zielwerte, um kleinere Modelle zu trainieren. Die zusätzlichen Inferenzkosten fallen dabei nur einmal an.

Dasselbe Muster lässt sich auf multimodale KI übertragen: Mehrere Bild-Sprach-Modelle beschreiben dasselbe Bild, und ein Aggregator gleicht ihre Beschreibungen ab. Die LLM-Schnittstelle von Ultralytics ruft OpenAI und mit OpenAI kompatible Anbieter wie DeepSeek, Kimi, Z.AI und OpenRouter über dieselbe Klasse LLM() auf. So kann ein Skript ein Bild an mehrere Vorschlagsmodelle senden und deren Antworten an einen Aggregator weitergeben.

Stärken und Einschränkungen#

MoA tauscht Rechenaufwand gegen Qualität. Die Hauptkonfiguration führt für jeden Prompt mehr als ein Dutzend Modellaufrufe aus. Da der Aggregator sein erstes Token erst erzeugen kann, wenn die letzte Schicht fertig ist, weist die Studie auf eine lange Zeit bis zum ersten Token hin, was die interaktive Nutzung beeinträchtigt. Inferenzlatenz und Kosten beschränken MoA daher auf Aufgaben, bei denen die Antwortqualität wichtiger ist als die Geschwindigkeit.

Die Kombination verschiedener Modelle ist außerdem weniger wichtig als zunächst angenommen, denn schwächere Vorschlagsmodelle senken die durchschnittliche Qualität der Antworten, die der Aggregator liest. Die Self-MoA-Studie von Wenzhe Li und Kollegen ergab, dass die Aggregation mehrerer Stichproben ausgaben des besten einzelnen Modells eine Standardmischung verschiedener LLMs bei AlpacaEval 2.0 um 6,6 % und im Durchschnitt über Benchmarks wie MMLU, CRUX und MATH um 3,8 % übertraf.