Uzmanlar Karışımı (MoE)

Uzmanlar Karışımı (MoE), uzmanlaşmış bir için tasarlanmış sinir ağı (NN) mimarisi hesaplama maliyetinde orantılı bir artış olmadan model kapasitesini verimli bir şekilde ölçeklendirir. Gelenekselin aksine Her parametrenin her girdi için aktif olduğu "yoğun" modeller, bir MoE modeli koşullu hesaplama. Bu, sistemin toplam hesaplama kapasitesinin yalnızca küçük bir alt kümesini dinamik olarak etkinleştirmesine olanak tanır. "uzmanlar" olarak bilinen parametreler - girdi verilerinin özel gereksinimlerine göre. Bundan yararlanarak seyrek aktivasyon, araştırmacılar büyük sistemleri eğitebilir, örneğin Büyük Dil Modelleri (LLM'ler), sahip oldukları trilyonlarca parametreyi korurken çıkarım gecikmesi ve hızı çok daha küçük bir Model.

MoE Mimarisinin Temel Bileşenleri

MoE çerçevesi, standart yoğun katmanları iki ana bileşenden oluşan seyrek bir MoE katmanı ile değiştirir bilgiyi işlemek için birlikte çalışırlar:

• Uzman Ağları: Bunlar bağımsız alt ağlar, genellikle basit İleri Beslemeli Ağlar (FFN'ler), uzmanlaşmış farklı veri modellerinin işlenmesinde. Örneğin, bir doğal dil işleme (NLP) görevinde, bir uzman dilbilgisi yapısına odaklanırken bir diğeri deyimsel ifadeler konusunda uzmanlaşabilir.
• Geçit Ağı (Yönlendirici): Yönlendirici bir trafik kontrolörü görevi görür. Her girdi belirteci veya görüntüsü için yaması aracılığıyla bir olasılık dağılımı hesaplar. Hangi uzmanların en iyi olduğunu belirlemek için softmax fonksiyonu bu belirli girdiyi işlemek için uygundur. Genellikle verileri "Top-K" uzmanlarına yönlendirir (genellikle 1 veya 2), modelin büyük çoğunluğunun hareketsiz kalmasını sağlayarak hesaplama kaynaklarını korur.

MoE ve Model Toplulukları

Her iki mimari de birden fazla alt model içermekle birlikte, aşağıdakileri ayırt etmek çok önemlidir Uzmanların Karışımı Model Topluluğu.

• Model Toplulukları: Gibi yöntemlerde bagging veya boosting, çoklu farklı model süreci aynı girdiyi bağımsız olarak hesaplar ve tahminleri iyileştirmek için bir araya getirilir. doğruluk. Bu yaklaşım hesaplama maliyetini artırır Her model her çıkarım için çalıştığından, model sayısı ile doğrusal olarak artar.
• Uzmanların Karışımı: Bir MoE, farklı girdilerin farklı yollar izlediği tek ve birleşik bir modeldir ağ üzerinden. Sadece seçilen uzmanlar çalıştırılarak modelin parametre olarak son derece büyük olmasına izin verilir sayılır ancak hesaplamada seyrektir. Bu sayede yüksek yoğun toplulukların karşılayamayacağı ölçeklenebilirlik.

Gerçek Dünya Uygulamaları

MoE mimarisi, modern yüksek performanslı yapay zeka için bir köşe taşı haline gelmiştir, özellikle de aşağıdaki senaryolarda muazzam bilgi tutma ve çoklu görev yetenekleri.

1. Gelişmiş Dil Üretimi: Öne çıkan vakıf modelleri, örneğin Mistral AI'ın Mixtral 8x7B ve Google'ın Anahtar Transformatörleri, çeşitli dil görevlerinin üstesinden gelmek için MoE'yi kullanır. Bu modeller, belirteçleri uzman kişilere yönlendirerek yoğun modellerin engelleyici eğitim maliyetleri olmadan aynı anda birden fazla dil ve kodlama sözdizimi eşdeğer boyut.
2. Ölçeklenebilir Bilgisayarla Görme: Bu alanda bilgisayarlı görü (CV), MoE oluşturmak için kullanılır gibi görevler için çok yönlü omurgalar nesne algılama ve görüntü sınıflandırma. Bir Google'ın Vision MoE (V-MoE) gibi MoE tabanlı görüş modeli şunları yapabilir belirli uzmanları, dokulara karşı şekiller gibi farklı görsel özellikleri tanımaya ayırarak gibi devasa veri kümeleri ImageNet. Mevcut verimli modeller gibi YOLO11 optimize edilmiş yoğun mimarilere dayanır, ancak YOLO26 gibi gelecekteki Ar-Ge projeleri, gelişmiş boyut ve hız arasındaki dengeyi en üst düzeye çıkarmak için mimari stratejiler.

Yönlendirme Mantığı Örneği

Yönlendirme mekanizmasını anlamak, MoE'nin nasıl çalıştığını kavramanın anahtarıdır. Aşağıdakiler PyTorch snippet basitleştirilmiş bir geçit mekanizmasını göstermektedir Belirli bir girdi grubu için en iyi 2 uzmanı seçer.

import torch
import torch.nn as nn

# A simple router selecting the top-2 experts out of 8
num_experts = 8
top_k = 2
input_dim = 128

# The gating network predicts expert relevance scores
gate = nn.Linear(input_dim, num_experts)
input_data = torch.randn(4, input_dim)  # Batch of 4 inputs

# Calculate routing probabilities
logits = gate(input_data)
probs = torch.softmax(logits, dim=-1)

# Select the indices of the most relevant experts
weights, indices = torch.topk(probs, top_k, dim=-1)

print(f"Selected Expert Indices:\n{indices}")

Eğitimde Karşılaşılan Zorluklar

Etkin olmalarına rağmen, MoE modelleri karmaşıklığı da beraberinde getirmektedir. eğitim süreci. Birincil zorluk şudur yük dengeleme; geçitleme ağı, her şeyi sadece birkaç kişiye yönlendirdiği bir duruma yakınsayabilir "popüler" uzmanlar, diğerlerini eğitimsiz bırakıyor. Bunu önlemek için araştırmacılar yardımcı tekdüze dağılımı teşvik eden kayıp fonksiyonları tüm uzmanlar arasında. Buna ek olarak, MoE'nin uygulanması sofistike yönetmek için dağıtılmış eğitim altyapısı farklı alanlara dağılmış uzmanlar arasındaki iletişim GPU'lar. Gibi kütüphaneler Microsoft DeepSpeed ve TensorFlow Mesh, özellikle bu durumları ele almak için geliştirilmiştir paralelleştirme engelleri.