Context Parallelism
Bağlam paralelliği, tek bir uzun girdi dizisini GPU'lara böler; GPU'lar dikkat işlemi sırasında anahtarları ve değerleri birbirleriyle paylaşır, böylece her GPU'nun ihtiyaç duyduğu bellek azalır.
Bağlam paralelliği (CP), tek bir uzun girdi dizisini birkaç GPU arasında bölen bir dağıtık eğitim tekniğidir. Her GPU, token'ların bitişik veya iç içe geçirilmiş bir bölümünü ve bu token'lardan hesaplanan tüm aktivasyonları tutar; böylece cihaz sayısı arttıkça her cihazın ihtiyaç duyduğu bellek azalır. Normalleştirme ve ileri beslemeli bloklar gibi token'ları birbirinden bağımsız işleyen katmanlar, iletişim kurmadan yerel token'lar üzerinde çalışır. Her sorgu her anahtara bakabildiğinden öz dikkat istisnadır: GPU'lar, tüm dizi üzerindeki dikkatle tamamen aynı çıktıyı üretmek için anahtarları ve değerleri birbirleriyle paylaşır. Bu, uzunluğu modelin mimarisi ve eğitimiyle sabitlenen belirli bir bağlam penceresini çalıştırmaya yönelik bir sistem tekniğidir.
GPU'lar Anahtarları ve Değerleri Nasıl Paylaşır#
Uygulamalar, temel olarak anahtarların ve değerlerin ihtiyaç duyan GPU'lara nasıl ulaştırıldığı konusunda farklılık gösterir:
- Halka dikkat: GPU'lar bir halka oluşturur ve ellerindeki blok üzerinde hesaplama yaparken anahtar-değer bloklarını komşularına aktarır; böylece aktarımlar hesaplamaların arkasında gizlenir.
- All-gather: Her GPU tüm anahtarları ve değerleri toplar, ardından kendi sorguları için dikkati hesaplar. Meta, belge maskelerini kolayca desteklediği ve gruplanmış sorgu dikkati anahtarları ve değerleri sorgulardan çok daha küçük tuttuğu için Llama 3'te bu yöntemi seçti.
- All-to-all: DeepSpeed Ulysses verileri yeniden düzenleyerek her GPU'nun dikkat başlıklarının bir alt kümesi için tüm token'ları tutmasını sağlar; böylece paralellik derecesi başlık sayısıyla sınırlanır.
PyTorch içindeki deneysel bağlam paralelliği API'si, bir context_parallel() bloğunda ölçeklenmiş noktasal çarpım dikkatini halka dikkatiyle değiştirir. NVIDIA'nın Megatron-Core aracağı geçişte anahtarları ve değerleri halka biçimindeki eşler arası aktarımlarla toplar, geriye geçişte ise bunların gradyanlarını azaltıp dağıtır. CP, yalnızca katman normalleştirme ve dropout aktivasyonlarını tensör paralelliği yanında bölen Megatron'un eski sıra paralelliğinden farklıdır; çünkü girdileri ve her aktivasyonu dizi boyunca böler.
Nedensel Dikkati Dengeleme#
Nedensel bir maskeyle i token'ı yalnızca kendisinden önceki i token'a ve kendisine dikkat eder; bu yüzden sonraki token'lar daha fazla hesaplama gerektirir. Her GPU'ya dizinin bitişik bir çeyreğini vermek, ilk GPU'ya az, son GPU'ya ise çok iş yükler; en yoğun GPU çalışma hızını belirler. Llama 3 ve Megatron-Core, diziyi GPU sayısının iki katı kadar parçaya bölüp her GPU'ya baştaki parçalardan birini ve sondan ayna görüntüsünü verir:
import torch
seq_len, ranks = 8192, 4
positions = torch.arange(seq_len)
causal_work = positions + 1 # nedensel maske altında, i token'ı i + 1 anahtara dikkat eder
# Bitişik bölme: r rank'ı dizinin r'inci çeyreğini alır
contiguous = [causal_work[shard].sum().item() for shard in positions.chunk(ranks)]
# Yük dengeli bölme: diziyi 2 * ranks parçaya böl, r rank'ı r parçasını ve sondaki ayna görüntüsünü alır
chunks = positions.chunk(2 * ranks)
balanced = [causal_work[torch.cat([chunks[r], chunks[-1 - r]])].sum().item() for r in range(ranks)]
print("Contiguous, millions of scores per rank:", [round(w / 1e6, 1) for w in contiguous])
print("Balanced, millions of scores per rank: ", [round(w / 1e6, 1) for w in balanced])Bitişik bölme, dört GPU'ya [2.1, 6.3, 10.5, 14.7] milyon dikkat skoru verir; aradaki fark 7× olur. Ayna görüntülü bölme ise her birine 8.4 milyon skor verir.
Bağlam Paralelliğinin Kullanıldığı Yerler#
Uzun belgeler ve kod tabanları üzerinde büyük dil modelleri (LLM'ler) eğitmek, temel kullanım alanıdır. Meta, Llama 3 405B'yi 16.384 H100 GPU üzerinde tensör, işlem hattı ve veri paralelliğinin yanı sıra 16 yönlü bağlam paralelliği kullanarak 131.072 token'lık dizilere genişletti. 8.192 token'da aynı küme için %41 olan tepe BF16 veriminin %38'ine ulaştı. Diğer kullanım alanı videodur: Meta'nın Movie Gen'i, yaklaşık 73.000 token olarak kodlanmış kliplerle 30 milyar parametreli video oluşturma modelini eğitirken bağlam paralelliğini tensör, sıra ve tamamen parçalı veri paralelliğiyle birlikte kullandı. Uzun videoları işleyen görsel-dil modelleri ve video anlama sistemleri de aynı sınıra takılır; çünkü her kare yüzlerce token ekler.
Bağlam paralelliği diğer stratejilerle birlikte kullanılır:
- İşlem hattı paralelliği: Modelin katmanlarını GPU'lar arasında böler.
- Veri paralelliği: Yığını eksiksiz model kopyaları arasında böler.
- Flash attention: Dikkat matrisinin tek bir GPU'da saklanmasını önler. Bağlam paralelliği uygulamaları, her GPU'nun yerel bloğunda buna benzer bir çekirdek çalıştırır.
Görüntü modelleri bu uzunluklara ancak çok yüksek çözünürlükte ulaşır; çünkü dizi uzunluğu parça sayısıyla veya özellik haritası konumlarıyla birlikte artar. Ultralytics YOLO26, öz dikkati yalnızca en kaba, stride-32 özellik haritasında, model yapılandırmasının 10. ve 22. katmanlarında kullanır. Böylece dikkat, varsayılan imgsz=640 değerinde 400, imgsz=1280 değerinde ise 1.600 konumu kapsar.










