Mixture of Agents (MoA)

Ajan Karışımı (MoA), birkaç büyük dil modelinin (LLM) aynı istemi yanıtladığı ve bir veya daha fazla birleştirici modelin bu yanıtların tümünü okuyup tek, iyileştirilmiş bir yanıt yazdığı çıkarım zamanı tekniğidir. Together AI'dan Junlin Wang ve çalışma arkadaşları bu tekniği 2024 tarihli Mixture-of-Agents Enhances Large Language Model Capabilities makalesinde tanıttı. Teknik, yazarların işbirlikçilik adını verdiği bir etkiye dayanır: Bir LLM, aynı soruya diğer modellerin verdiği yanıtları görebildiğinde, bu modeller kendisinden daha zayıf olsa bile daha iyi bir yanıt yazma eğilimindedir. MoA, eğitim veya ince ayar gerektirmez; yalnızca API çağrıları ve istemler kullanır, bu nedenle farklı sağlayıcıların modellerini bir araya getirebilir.

Ajan Karışımı Nasıl Çalışır#

MoA, modelleri katmanlar hâlinde düzenler. İlk katmanda birkaç öneri modeli istemi birbirinden bağımsız olarak yanıtlar. Sonraki her katman, özgün istemi ve önceki katmandaki tüm yanıtları alır; modele bu yanıtları eleştirel biçimde değerlendirmesini, bazılarının taraflı veya yanlış olabileceğini fark etmesini ve tek bir geliştirilmiş yanıt yazmasını söyleyen bir birleştirme ve sentezleme istemi kullanır. Son katmanda, çıktısı sistemin yanıtı olan tek bir birleştirici bulunur. Modeller bu rollerde farklı performans gösterir: Makaledeki deneylerde WizardLM mükemmel öneriler sunarken birleştirme konusunda zayıftı; GPT-4o ve Qwen1.5 ise her iki rolde de başarılıydı.

Makalenin ana yapılandırmasında altı açık kaynaklı modelden oluşan üç katman kullanıldı: Qwen1.5-110B-Chat, Qwen1.5-72B-Chat, WizardLM-8x22B, Llama-3-70B-Instruct, Mixtral-8x22B ve DBRX-Instruct. Son birleştirici olarak Qwen1.5-110B-Chat kullanıldı. Bu yapı, talimatları izleme karşılaştırmasında AlpacaEval 2.0 üzerinde uzunluk kontrollü %65,1 kazanma oranına ulaştı; o dönemde GPT-4o'nun %57,5'lik oranını geride bıraktı. Birleştirici olarak Qwen1.5-72B-Chat kullanan, daha ucuz iki katmanlı MoA-Lite varyantı ise %59,3 puan aldı. Yazarlar yöntemin bir referans uygulamasını yayımladı.

Ajan Karışımı ve İlgili Teknikler#

• Uzmanlar Karışımı (MoE): Tek bir sinir ağının içindeki mimaridir. Öğrenilmiş bir yönlendirici, her belirteç için birkaç uzman alt katmanını etkinleştirir ve tüm uzmanlar birlikte eğitilir. MoA ise çıkarım sırasında ayrı ve eksiksiz modelleri istemler aracılığıyla birleştirir.
• Model toplulukları: Topluluk, üyelerinin tahminlerinin ortalamasını alır veya oylama yapar. MoA birleştiricisi tüm adaylara bağlı olarak yeni metin yazar; böylece her biri kısmen yanlış olan yanıtların doğru kısımlarını birleştirebilir.
• Model yönlendirme: Yönlendirici, her sorguyu en düşük maliyetle iyi yanıtlaması en olası tek modele gönderir. MoA ise her istem için birkaç modeli sorgular.
• Yapay zekâ tartışması: Çok ajanlı tartışmada modeller birbirlerinin yanıtlarını okur ve birkaç tur boyunca kendi yanıtlarını gözden geçirir. MoA bilgiyi katmanlar boyunca ileri aktarır ve tek bir birleştiriciyle sonlanır.
• Yapay zekâ ajanı orkestrasyonu: Orkestrasyon, genellikle farklı alt görevleri yerine getiren ajanları koordine eder. MoA, her modelin aynı istem üzerinde çalıştığı eşzamanlı bir örüntüdür.

Gerçek Dünya Uygulamaları#

• Metin üretimi: AlpacaEval'in ölçtüğü açık uçlu yazma, analiz ve talimat izleme görevleri, birkaç taslağın sentezlenmesinden en fazla yararı sağlar.
• Ajan tabanlı kodlama: Birkaç model aynı programlama problemine çözümler önerir ve bir birleştirici en güçlü fikirleri bir araya getirir; çelişen öneriler arasında seçim yapmak için birim testleri kullanılır.
• Sentetik veri üretimi: Ekipler, küçük modelleri eğitmek için MoA çıktılarından yüksek kaliteli hedefler olarak yararlanır; ek çıkarım maliyeti bir kez ödenir.

Aynı örüntü, birkaç görüntü-dil modelinin aynı görüntüyü tanımladığı ve bir birleştiricinin açıklamalarını uzlaştırdığı çok modlu yapay zekâ alanına da genişletilebilir. Ultralytics LLM arayüzü, OpenAI ve DeepSeek, Kimi, Z.AI ve OpenRouter gibi OpenAI uyumlu sağlayıcıları aynı LLM() sınıfı üzerinden çağırır; böylece tek bir betik bir görüntüyü birkaç öneri modeline gönderebilir ve yanıtlarını bir birleştiriciye aktarabilir.

Güçlü Yönler ve Sınırlamalar#

MoA, kalite karşılığında hesaplama gücünden ödün verir. Ana yapılandırma her istem için bir düzineden fazla model çağrısı yapar. Birleştirici ilk belirtecini ancak son katman tamamlandıktan sonra yazabildiğinden, makalede etkileşimli kullanımı olumsuz etkileyen yüksek ilk belirteç süresine dikkat çekilir. Bu nedenle çıkarım gecikmesi ve maliyet, MoA'nın kullanımını yanıt kalitesinin hızdan daha önemli olduğu görevlerle sınırlar.

Farklı modelleri karıştırmanın etkisi de ilk bakışta göründüğünden daha küçüktür; çünkü daha zayıf öneri modelleri eklemek, birleştiricinin okuduğu yanıtların ortalama kalitesini düşürür. Wenzhe Li ve çalışma arkadaşlarının Self-MoA çalışması, yalnızca en iyi tek modelden alınan birkaç örnek çıktıyı birleştirmenin, AlpacaEval 2.0'da standart farklı LLM karışımını %6,6; MMLU, CRUX ve MATH dâhil karşılaştırmaların ortalamasında ise %3,8 geride bıraktığını buldu.