Mixture of Experts (MoE)

Uzmanların Karışımı (MoE), modellerin hesaplama maliyetinde orantısal bir artış olmaksızın devasa boyutlara ölçeklenmesine olanak tanıyan, derin öğrenmede özel bir mimari tasarımdır. Her parametrenin her girdi için aktif olduğu standart bir yoğun neural network (NN)'in aksine, bir MoE modeli koçullu hesaplama adı verilen bir teknik kullanır. Bu yaklaşım, girdi verilerinin özel özelliklerine bağlı olarak ağ bileşenlerinin—"uzmanlar" olarak adlandırılan—yalnızca küçük bir alt kümesini dinamik olarak etkinleştirir. Bunu yaparak MoE mimarileri, çok daha küçük sistemlerin inference latency ve operasyonel hızını korurken trilyonlarca parametreye sahip olabilen güçlü foundation models oluşturulmasını sağlar.

MoE'nin Temel Mekanizmaları#

Bir Uzman Karışımı modelinin verimliliği, standart yoğun katmanların seyrek bir MoE katmanı ile değiştirilmesinden kaynaklanır. Bu katman genellikle bilgiyi verimli bir şekilde işlemek için birlikte çalışan iki ana unsurdan oluşur:

• Uzmanlar: Bunlar, genellikle basit ileri beslemeli sinir ağları (FFN'ler) olan bağımsız alt ağlardır. Her uzman, verilerin farklı yönlerini ele alma konusunda uzmanlaşmıştır. natural language processing (NLP) bağlamında, bir uzman dilbilgisini ele almada yetkinleşirken, diğeri olgu alma veya kod sözdizimine odaklanabilir.
• Kapılama Ağı (Yönlendirici): Yönlendirici, veriler için bir trafik kontrolörü görevi görür. Bir görüntü yaması veya bir metin belirteci gibi bir girdi katmana girdiğinde, yönlendirici bir softmax function kullanarak bir olasılık puanı hesaplar. Ardından bu girdiyi yalnızca en yüksek puanlara sahip "Top-K" uzmanlarına (genellikle bir veya iki) yönlendirir. Bu, modelin yalnızca en ilgili parametrelere enerji harcamasını sağlar.

Model Topluluklarından Farkı#

Her iki kavram da birden fazla alt model kullanmayı içerse de, Uzmanların Karışımını bir model ensemble'den ayırmak çok önemlidir. Geleneksel bir toplulukta, gruptaki her model aynı girdiyi işler ve accuracy değerini maksimize etmek için sonuçları ortalamaya alınır veya oylanır. Bu yaklaşım, hesaplama maliyetini model sayısı ile doğrusal olarak artırır.

Buna karşılık, bir MoE, farklı girdilerin farklı yollardan geçtiği tek, birleşik bir modeldir. Seyrek bir MoE, belirli bir çıkarım adımı için toplam parametrelerin yalnızca bir kısmını çalıştırarak scalability ve verimlilik hedefler. Bu, yoğun topluluklarla ilişkili yasaklayıcı maliyetler olmaksızın devasa miktarda training data üzerinde eğitime olanak tanır.

Gerçek Dünya Uygulamaları#

MoE mimarisi, özellikle çok görevli yetenekler ve geniş bilgi tutma gerektiren senaryolarda modern yüksek performanslı yapay zeka için bir temel taşı haline gelmiştir.

1. Çok Dilli Dil Modelleri: Mistral AI's Mixtral 8x7B gibi önde gelen modeller, çeşitli dil görevlerinde başarılı olmak için MoE'yi kullanır. Belirteçleri özelleşmiş uzmanlara yönlendirerek, bu sistemler tek bir model yapısı içinde çeviri, özetleme ve kodlama görevlerini yerine getirebilir ve benzer aktif parametre sayılarına sahip yoğun modellerden daha iyi performans gösterebilir.

2. Ölçeklenebilir Bilgisayarlı Görü: computer vision (CV) alanında araştırmacılar, devasa görüntü tabanları oluşturmak için MoE'yi uygular. Vision MoE (V-MoE) mimarisi, uzmanların farklı görsel özellikleri tanımada nasıl uzmanlaşabileceğini göstererek ImageNet gibi kıyaslamalardaki performansı etkin bir şekilde ölçeklendirir. Öngörülebilir bellek ayak izleri nedeniyle gerçek zamanlı uç tespiti için YOLO26 gibi yüksek düzeyde optimize edilmiş yoğun modeller standart olmaya devam ederken, MoE araştırmaları sunucu tarafı görsel anlamanın sınırlarını zorlamaya devam etmektedir.

Yönlendirme Mantığı Örneği#

Kapılama ağının uzmanları nasıl seçtiğini anlamak için bu basitleştirilmiş PyTorch örneğini göz önünde bulundurun. Belirli bir girdi için en ilgili uzantıyı seçen bir yönlendirme mekanizmasını gösterir.

import torch
import torch.nn as nn

# A simple router deciding between 4 experts for input dimension of 10
num_experts = 4
input_dim = 10
router = nn.Linear(input_dim, num_experts)

# Batch of 2 inputs
input_data = torch.randn(2, input_dim)

# Calculate scores and select the top-1 expert for each input
logits = router(input_data)
probs = torch.softmax(logits, dim=-1)
weights, indices = torch.topk(probs, k=1, dim=-1)

print(f"Selected Expert Indices: {indices.flatten().tolist()}")

Eğitim ve Dağıtımdaki Zorluklar#

Avantajlarına rağmen MoE modelleri, training process sürecine benzersiz zorluklar getirir. Birincil sorun yük dengelemektir; yönlendirici diğerlerini göz ardı ederken birkaç "popüler" uzmanı kayırabilir ve bu da boşa harcanan kapasiteye yol açabilir. Bunu hafifletmek için araştırmacılar, tüm uzmanların eşit kullanımını teşvik etmek amacıyla ikincil loss functions kullanır.

Ayrıca, bu devasa modellerin dağıtımı gelişmiş donanım kurulumları gerektirir. Toplam parametre sayısı yüksek olduğundan (aktif parametreler düşük olsa bile), model genellikle önemli miktarda VRAM gerektirir ve birden çok GPUs üzerinde distributed training yapılmasını zorunlu kılar. Microsoft DeepSpeed gibi çerçeveler, bu sistemleri verimli bir şekilde eğitmek için gereken paralelliği yönetmeye yardımcı olur. Bu tür karmaşık mimariler için veri kümelerini ve eğitim iş akışlarını yönetmek amacıyla, Ultralytics Platform gibi araçlar günlük kaydı, görselleştirme ve dağıtım için temel altyapı sağlar.