Mixture of Experts (MoE)

Uzmanlar Karışımı (MoE), modellerin hesaplama maliyetinde orantılı bir artış olmadan devasa boyutlara ölçeklenmesini sağlayan, derin öğrenmede kullanılan özel bir mimari tasarımdır. Her girdide her parametrenin etkin olduğu standart yoğun sinir ağının (NN) aksine MoE modeli, koşullu hesaplama adı verilen bir teknik kullanır. Bu yaklaşım, girdi verilerinin belirli özelliklerine göre ağın yalnızca "uzmanlar" olarak adlandırılan küçük bir bileşen alt kümesini dinamik olarak etkinleştirir. Böylece MoE mimarileri, çok daha küçük sistemlerin çıkarım gecikmesini ve çalışma hızını korurken trilyonlarca parametreye sahip güçlü temel modellerin oluşturulmasını sağlar.

MoE'nin Temel Mekanizmaları#

Bir Uzmanlar Karışımı modelinin verimliliği, standart yoğun katmanların seyrek bir MoE katmanıyla değiştirilmesinden kaynaklanır. Bu katman genellikle bilgileri verimli bir şekilde işlemek üzere birlikte çalışan iki ana öğeden oluşur:

• Uzmanlar: Bunlar, genellikle basit ileri beslemeli sinir ağlarından (FFN'ler) oluşan bağımsız alt ağlardır. Her uzman, verilerin farklı yönlerini ele alma konusunda uzmanlaşır. Doğal dil işleme (NLP) bağlamında bir uzman dilbilgisini ele alma konusunda yetkinleşirken, başka bir uzman olgusal bilgi erişimine veya kod söz dizimine odaklanabilir.
• Geçitleme Ağı (Yönlendirici): Yönlendirici, veriler için bir trafik denetleyicisi görevi görür. Bir görüntü parçası veya metin belirteci gibi bir girdi katmana girdiğinde yönlendirici, bir softmax işlevi kullanarak olasılık puanı hesaplar. Ardından bu girdiyi yalnızca en yüksek puanlara sahip "Top-K" uzmanlara (genellikle bir veya iki uzmana) yönlendirir. Bu, modelin yalnızca en ilgili parametreler için kaynak harcamasını sağlar.

Model Topluluklarından Farkı#

Her iki kavram da birden fazla alt modelin kullanılmasını içerse de Uzmanlar Karışımı ile bir model topluluğu arasındaki farkı ayırt etmek önemlidir. Geleneksel bir toplulukta gruptaki her model aynı girdiyi işler ve doğruluğu en üst düzeye çıkarmak için sonuçlarının ortalaması alınır veya sonuçlar oylanır. Bu yaklaşım, hesaplama maliyetini model sayısıyla doğrusal olarak artırır.

Buna karşılık MoE, farklı girdilerin farklı yollardan geçtiği tek ve birleşik bir modeldir. Seyrek bir MoE, herhangi bir çıkarım adımında toplam parametrelerin yalnızca bir bölümünü çalıştırarak ölçeklenebilirliği ve verimliliği hedefler. Bu, yoğun topluluklarla ilişkili aşırı maliyetler olmadan büyük miktarlarda eğitim verisi üzerinde eğitim yapılmasını sağlar.

Gerçek Dünya Uygulamaları#

MoE mimarisi, özellikle çok görevli yetenekler ve kapsamlı bilgi koruma gerektiren senaryolarda, modern yüksek performanslı yapay zekânın temel taşlarından biri hâline gelmiştir.

1. Çok Dilli Dil Modelleri: Mistral AI'ın Mixtral 8x7B modeli gibi öne çıkan modeller, çeşitli dil görevlerinde başarılı olmak için MoE'yi kullanır. Belirteçleri uzmanlaşmış uzmanlara yönlendirerek bu sistemler, tek bir model yapısı içinde çeviri, özetleme ve kodlama görevlerini ele alabilir ve etkin parametre sayıları benzer olan yoğun modellerden daha iyi performans gösterebilir.

2. Ölçeklenebilir Bilgisayarlı Görü: Bilgisayarlı görü (CV) alanında araştırmacılar, devasa görsel omurgalar oluşturmak için MoE'yi kullanır. Görsel MoE (V-MoE) mimarisi, uzmanların farklı görsel özellikleri tanımada nasıl uzmanlaşabileceğini ve ImageNet gibi kıyaslamalarda performansın etkili bir şekilde nasıl ölçeklenebileceğini gösterir. YOLO26 gibi yüksek düzeyde optimize edilmiş yoğun modeller, öngörülebilir bellek ayak izi sayesinde gerçek zamanlı uç algılama için standart olmaya devam ederken MoE araştırmaları, sunucu tarafında görsel anlayışın sınırlarını zorlamayı sürdürüyor.

Yönlendirme Mantığı Örneği#

Geçitleme ağının uzmanları nasıl seçtiğini anlamak için bu basitleştirilmiş PyTorch örneğini inceleyebilirsin. Bu örnek, belirli bir girdi için en ilgili uzmanı seçen bir yönlendirme mekanizmasını gösterir.

import torch
import torch.nn as nn

# A simple router deciding between 4 experts for input dimension of 10
num_experts = 4
input_dim = 10
router = nn.Linear(input_dim, num_experts)

# Batch of 2 inputs
input_data = torch.randn(2, input_dim)

# Calculate scores and select the top-1 expert for each input
logits = router(input_data)
probs = torch.softmax(logits, dim=-1)
weights, indices = torch.topk(probs, k=1, dim=-1)

print(f"Selected Expert Indices: {indices.flatten().tolist()}")

Eğitim ve Dağıtımda Karşılaşılan Zorluklar#

Avantajlarına rağmen MoE modelleri eğitim sürecine özgü zorluklar ortaya çıkarır. Temel sorunlardan biri yük dengelemedir; yönlendirici birkaç "popüler" uzmanı tercih ederken diğerlerini göz ardı edebilir ve bu da kapasitenin boşa harcanmasına yol açar. Bunu azaltmak için araştırmacılar, tüm uzmanların eşit şekilde kullanılmasını teşvik eden yardımcı kayıp işlevlerinden yararlanır.

Ayrıca bu devasa modellerin dağıtımı, gelişmiş donanım kurulumları gerektirir. Toplam parametre sayısı yüksek olduğundan (etkin parametre sayısı düşük olsa bile) model genellikle önemli miktarda VRAM gerektirir ve birden fazla GPU arasında dağıtık eğitim yapılmasını zorunlu kılar. Microsoft DeepSpeed gibi çerçeveler, bu sistemleri verimli bir şekilde eğitmek için gereken paralelliğin yönetilmesine yardımcı olur. Bu tür karmaşık mimariler için veri kümelerini ve eğitim iş akışlarını yönetmeye yönelik Ultralytics Platform gibi araçlar, günlük kaydı, görselleştirme ve dağıtım için temel altyapı sağlar.