Mixture of Experts (MoE)

Uzman Karışımı (MoE), bir modelin bir bölümünü uzman adı verilen çok sayıda paralel alt ağa bölen ve her girdiyi bunlardan yalnızca birkaçına yönlendirmek için öğrenilmiş küçük bir yönlendirici kullanan bir sinir ağı mimarisidir. Her token veya görüntü parçası uzmanların yalnızca bir kısmından geçtiği için toplam parametre sayısı, girdi başına harcanan hesaplama miktarından çok daha hızlı artabilir. Mixtral 8x7B 47 milyar parametreye sahiptir, ancak her token için 13 milyarını kullanır; DeepSeek-V3 ise 671 milyar parametresinin 37 milyarını etkinleştirir. Günümüzdeki büyük dil modellerinde (LLM'ler) kullanılan yönlendiriciyle kapılanan seyrek MoE katmanı, Google'ın 2017'de geliştirdiği ve yığılmış LSTM katmanları arasında 137 milyar parametreye ulaşan seyrek kapılı MoE katmanını temel alır.

MoE Katmanı Nasıl Çalışır#

Bir transformer içindeki MoE katmanı genellikle her öz dikkat bloğunu izleyen ileri beslemeli ağın (FFN) yerini alır. Katmanda aynı şekle sahip N uzman FFN'si ve her token için her uzmana puan veren tek bir doğrusal katmandan oluşan bir yönlendirici bulunur. Token, en yüksek puanı alan k uzmana gönderilir; bu uzmanların çıktıları yönlendiricinin normalleştirilmiş puanlarıyla ağırlıklandırılıp toplanır ve geri kalan uzmanlar o token için işlem yapmaz. Mixtral her katmanda 8 uzmandan 2'sini seçerken DeepSeek-V3, yönlendirilen 256 küçük uzmandan 8'ini seçer ve ayrıca her token'ı paylaşılan tek bir uzmandan geçirir. Yönlendirme her katmanda bağımsız gerçekleştiği için bir token farklı katman derinliklerinde farklı uzmanlar kullanabilir; aynı cümledeki iki token da aynı katmandan farklı yollar izleyebilir:

Mixtral'deki uzmanlar konulara göre uzmanlaşmadı. Yazarlar, uzmanların biyoloji veya felsefe gibi konulara açık biçimde atandığını bulamadı; yönlendirme bunun yerine sözdizimini izledi. Bu nedenle Python kodundaki self gibi token'lar ve girinti token'ları aynı uzmanlara yönelme eğilimi gösterdi.

Yük Dengeleme ve Uzman Kapasitesi#

Yeni başlatılmış bir yönlendirici birkaç uzmanı kayırma eğilimindedir. Bu uzmanlar daha hızlı eğitilir ve daha da fazla token çekerken diğerleri boşta kalır. Aşağıdaki altı token'lık örnek, sekiz uzmanlı bir top-2 katmanından yönlendirme yapar ve her uzmanın aldığı token sayısını hesaplar:

import torch

torch.manual_seed(0)
dim, num_experts, top_k = 32, 8, 2
experts = torch.nn.ModuleList(
    torch.nn.Sequential(torch.nn.Linear(dim, 4 * dim), torch.nn.GELU(), torch.nn.Linear(4 * dim, dim))
    for _ in range(num_experts)
)
router = torch.nn.Linear(dim, num_experts, bias=False)
tokens = torch.randn(6, dim)

# Yönlendirici her token için en yüksek puanlı 2 uzmanın puanlarını tutar ve bunları softmax ile karıştırma ağırlıklarına dönüştürür
scores, chosen = router(tokens).topk(top_k, dim=-1)
weights = scores.softmax(dim=-1)
out = torch.zeros_like(tokens)
for e, expert in enumerate(experts):
    token_idx, slot = (chosen == e).nonzero(as_tuple=True)  # e uzmanını seçen token'lar
    out[token_idx] += weights[token_idx, slot, None] * expert(tokens[token_idx])

print("Experts per token:", chosen.tolist())
print("Tokens per expert:", torch.bincount(chosen.flatten(), minlength=num_experts).tolist())

Uzman çiftlerini [[3, 6], [7, 6], [0, 7], [3, 1], [6, 1], [2, 3]], uzman başına sayıları ise [1, 2, 1, 3, 0, 0, 3, 2] olarak yazdırır: 3 ve 6 numaralı uzmanların her biri üç token işlerken 4 ve 5 numaralı uzmanlar hiç token almaz; her token 8 uzman ağından yalnızca 2'sinden geçer. Her token'ı tek bir uzmana yönlendiren ve 1,6 trilyon parametreye ölçeklenen Switch Transformer, token'lar ve yönlendirici olasılığı uzmanlara eşit dağıldığında en küçük değeri alan yardımcı bir kayıp terimi ekledi; daha sonraki birçok MoE modeli de benzer bir terim kullanır. DeepSeek-V3 yardımcı kayıp kullanmaz; bunun yerine eğitim sırasında yönlendirme puanlarındaki uzman başına bir yanlılığı artırır veya azaltır. Eğitim sistemleri ayrıca bir uzmanın toplu iş başına kabul ettiği token sayısı olan kapasiteyi sınırlar; sınırı aşan token'lar o katmanın uzmanlarını atlar ve artık bağlantı üzerinden ilerler.

MoE ve İlişkili Kavramlar#

• Model topluluğu: Birkaç eksiksiz model her girdiyi işler ve tahminlerinin ortalaması alınır veya oylama yapılır; dolayısıyla eklenen her modelle hesaplama maliyeti artar. MoE, uçtan uca eğitilen tek bir ağdır ve yönlendirici her token için farklı bir yol seçer.
• Model yönlendirme: Bir yönlendirici her istek için küçük modeli basit sorulara, büyük modeli zor sorulara atamak gibi, eksiksiz modellerden birini seçer. MoE yönlendirmesi tek bir modelin her MoE katmanında token başına gerçekleşir.
• Derinlik karışımı (MoD): Bir yönlendirici bazı token'ların bir bloğun tamamını atlamasını sağlayarak token başına hesaplama miktarını değiştirir. Genellikle MoE ile birlikte kullanılır.
• Ajan karışımı (MoA): Birkaç ayrı LLM bir istemi yanıtlar ve daha sonraki LLM katmanları bu yanıtları birleştirip iyileştirir; bu, paylaşılan ağırlıklar içermeyen bir istem hattıdır.

Dil ve Görüntü Modellerinde MoE#

En büyük açık ağırlıklı LLM'lerin çoğunda MoE katmanları kullanılır; bunlar arasında DeepSeek-V3, Llama 4, Qwen3'ün MoE sürümleri ve OpenAI'ın gpt-oss modeli yer alır. Bilgisayarlı görüde, Vision MoE (V-MoE), bir Vision Transformer (ViT) modelinin bazı FFN katmanlarını uzman katmanlarıyla değiştirdi ve görüntü yamalarını ayrı ayrı yönlendirdi. Böylece çıkarım hesaplama maliyetinin yarısı kadar bir maliyetle son teknoloji doğruluğa ulaştı; 15 milyar parametreli sürümü ise ImageNet üzerinde %90,35 top-1 doğruluğuna erişti.

Bellek ve Sunum#

MoE hesaplamadan tasarruf sağlar, bellekten değil: her token bunlardan yalnızca birkaçını kullansa da tüm uzmanların belleğe yüklenmesi gerekir. Bu nedenle Mixtral, token başına 13 milyar parametreli bir modelin işlem miktarıyla çalışırken 47 milyar parametreli bir modelin belleğine ihtiyaç duyar. Büyük MoE modelleri, her GPU'nun uzmanların bir alt kümesini tuttuğu uzman paralelliği kullanılarak GPU'lara dağıtılır; tümden tümey değişimi her token'ı seçilen uzmanların bulunduğu cihazlara gönderip geri getirir. DeepSpeed-MoE gibi çerçeveler, eğitim için uzman paralelliğini veri ve tensör paralelliği ile birleştirir. Uç bilişim görü modelleri yoğun yaklaşımı benimser: YOLO26, her görüntüde her katmanı çalıştırır; bu nedenle bellek ayak izi ve görüntü başına hesaplama miktarı her girdide aynıdır.