Mixture of Agents (MoA)

Mixture of Agents (MoA) è una tecnica applicata al momento dell’inferenza in cui diversi modelli linguistici di grandi dimensioni (LLMs) rispondono allo stesso prompt e uno o più modelli aggregatori leggono tutte le risposte e ne scrivono una sola, migliorata. Junlin Wang e i suoi colleghi di Together AI l’hanno presentata nel 2024 nell’articolo Mixture-of-Agents Enhances Large Language Model Capabilities. Si basa su un effetto che gli autori chiamano collaboratività: un LLM tende a fornire una risposta migliore quando può vedere le risposte di altri modelli alla stessa domanda, anche se questi sono meno potenti. MoA non richiede training né fine-tuning, ma solo chiamate API e prompt, quindi può combinare modelli di provider diversi.

Come funziona Mixture of Agents#

MoA organizza i modelli in livelli. Nel primo livello, diversi modelli proponenti rispondono ciascuno al prompt in modo indipendente. Ogni livello successivo riceve il prompt originale insieme a tutte le risposte del livello precedente, tramite un prompt di aggregazione e sintesi che chiede al modello di valutare criticamente le risposte, riconoscendo che alcune potrebbero essere distorte o errate, e di formulare un’unica risposta perfezionata. L’ultimo livello contiene un singolo aggregatore, il cui output è la risposta del sistema. I modelli si comportano diversamente in questi ruoli: negli esperimenti dell’articolo, WizardLM ha prodotto ottime proposte ma ha aggregato male, mentre GPT-4o e Qwen1.5 hanno ottenuto buoni risultati in entrambi.

La configurazione principale dell’articolo utilizzava tre livelli di sei modelli open source: Qwen1.5-110B-Chat, Qwen1.5-72B-Chat, WizardLM-8x22B, Llama-3-70B-Instruct, Mixtral-8x22B e DBRX-Instruct, con Qwen1.5-110B-Chat come aggregatore finale. Ha raggiunto un tasso di vittorie del 65,1%, corretto per la lunghezza, nel benchmark di instruction-following AlpacaEval 2.0, superando il 57,5% di GPT-4o all’epoca; una variante MoA-Lite a due livelli, meno costosa, con Qwen1.5-72B-Chat come aggregatore ha ottenuto il 59,3%. Gli autori hanno pubblicato un’implementazione di riferimento del metodo.

Mixture of Agents a confronto con tecniche correlate#

• Mixture of Experts (MoE): un’architettura all’interno di una singola rete neurale, in cui un router appreso attiva alcuni livelli esperti per ogni token e tutti gli esperti vengono addestrati insieme. MoA combina modelli distinti e completi al momento dell’inferenza tramite prompt.
• Ensemble di modelli: un ensemble calcola la media delle previsioni dei suoi componenti o le combina tramite voto. Un aggregatore MoA genera nuovo testo in base a tutti i candidati, quindi può combinare le parti corrette di risposte che sono parzialmente errate.
• Instradamento dei modelli: un router invia ogni query al modello che ha maggiori probabilità di rispondere bene al costo più basso. MoA invia ogni prompt a diversi modelli.
• Dibattito tra IA: nel dibattito tra più agenti, i modelli leggono le risposte degli altri e rivedono le proprie nel corso di vari round. MoA trasmette le informazioni attraverso i livelli e termina con un unico aggregatore.
• Orchestrazione di agenti IA: l’orchestrazione coordina agenti che in genere si occupano di sottoattività diverse. MoA è uno schema concorrente al suo interno, in cui ogni modello lavora sullo stesso prompt.

Applicazioni nel mondo reale#

• Generazione di testo: la scrittura aperta, l’analisi e il rispetto delle istruzioni, cioè le attività misurate da AlpacaEval, traggono il massimo beneficio dalla sintesi di diverse bozze.
• Programmazione agentica: diversi modelli propongono soluzioni allo stesso problema di programmazione e un aggregatore combina le idee migliori; i test unitari permettono di scegliere tra proposte in conflitto.
• Generazione di dati sintetici: i team usano gli output MoA come target di alta qualità per addestrare modelli più piccoli, sostenendo il costo aggiuntivo dell’inferenza una sola volta.

Lo stesso schema si estende all’IA multimodale, in cui diversi modelli visione-linguaggio descrivono la stessa immagine e un aggregatore concilia le loro descrizioni. L’interfaccia LLM di Ultralytics chiama OpenAI e provider compatibili con OpenAI come DeepSeek, Kimi, Z.AI e OpenRouter tramite la stessa classe LLM(), così un singolo script può inviare un’immagine a diversi modelli proponenti e passare le loro risposte a un aggregatore.

Punti di forza e limiti#

MoA sacrifica risorse di calcolo in cambio della qualità. La configurazione principale effettua più di una dozzina di chiamate ai modelli per ogni prompt e, poiché l’aggregatore non può generare il primo token finché l’ultimo livello non ha terminato, l’articolo segnala un tempo elevato al primo token, che penalizza l’uso interattivo. La latenza di inferenza e i costi limitano quindi MoA alle attività in cui la qualità della risposta conta più della velocità.

La combinazione di modelli diversi è anche meno vantaggiosa di quanto sembrasse inizialmente, perché l’aggiunta di modelli proponenti più deboli riduce la qualità media dei contenuti letti dall’aggregatore. Lo studio Self-MoA di Wenzhe Li e colleghi ha rilevato che aggregare diversi output campionati dal solo modello migliore ha superato una miscela standard di LLM diversi del 6,6% su AlpacaEval 2.0 e del 3,8% in media su benchmark tra cui MMLU, CRUX e MATH.