YOLO'yu lisansla
Ultralytics Sözlüğüne dön

Context Parallelism

Bağlam paralelliği, tek bir uzun girdi dizisini GPU'lara böler; GPU'lar dikkat işlemi sırasında anahtarları ve değerleri birbirleriyle paylaşır, böylece her GPU'nun ihtiyaç duyduğu bellek azalır.

Bağlam paralelliği (CP), tek bir uzun girdi dizisini birkaç GPU arasında bölen bir dağıtık eğitim tekniğidir. Her GPU, token'ların bitişik veya iç içe geçirilmiş bir bölümünü ve bu token'lardan hesaplanan tüm aktivasyonları tutar; böylece cihaz sayısı arttıkça her cihazın ihtiyaç duyduğu bellek azalır. Normalleştirme ve ileri beslemeli bloklar gibi token'ları birbirinden bağımsız işleyen katmanlar, iletişim kurmadan yerel token'lar üzerinde çalışır. Her sorgu her anahtara bakabildiğinden öz dikkat istisnadır: GPU'lar, tüm dizi üzerindeki dikkatle tamamen aynı çıktıyı üretmek için anahtarları ve değerleri birbirleriyle paylaşır. Bu, uzunluğu modelin mimarisi ve eğitimiyle sabitlenen belirli bir bağlam penceresini çalıştırmaya yönelik bir sistem tekniğidir.

GPU'lar Anahtarları ve Değerleri Nasıl Paylaşır#

Uygulamalar, temel olarak anahtarların ve değerlerin ihtiyaç duyan GPU'lara nasıl ulaştırıldığı konusunda farklılık gösterir:

  • Halka dikkat: GPU'lar bir halka oluşturur ve ellerindeki blok üzerinde hesaplama yaparken anahtar-değer bloklarını komşularına aktarır; böylece aktarımlar hesaplamaların arkasında gizlenir.
  • All-gather: Her GPU tüm anahtarları ve değerleri toplar, ardından kendi sorguları için dikkati hesaplar. Meta, belge maskelerini kolayca desteklediği ve gruplanmış sorgu dikkati anahtarları ve değerleri sorgulardan çok daha küçük tuttuğu için Llama 3'te bu yöntemi seçti.
  • All-to-all: DeepSpeed Ulysses verileri yeniden düzenleyerek her GPU'nun dikkat başlıklarının bir alt kümesi için tüm token'ları tutmasını sağlar; böylece paralellik derecesi başlık sayısıyla sınırlanır.

PyTorch içindeki deneysel bağlam paralelliği API'si, bir context_parallel() bloğunda ölçeklenmiş noktasal çarpım dikkatini halka dikkatiyle değiştirir. NVIDIA'nın Megatron-Core aracağı geçişte anahtarları ve değerleri halka biçimindeki eşler arası aktarımlarla toplar, geriye geçişte ise bunların gradyanlarını azaltıp dağıtır. CP, yalnızca katman normalleştirme ve dropout aktivasyonlarını tensör paralelliği yanında bölen Megatron'un eski sıra paralelliğinden farklıdır; çünkü girdileri ve her aktivasyonu dizi boyunca böler.

Nedensel Dikkati Dengeleme#

Nedensel bir maskeyle i token'ı yalnızca kendisinden önceki i token'a ve kendisine dikkat eder; bu yüzden sonraki token'lar daha fazla hesaplama gerektirir. Her GPU'ya dizinin bitişik bir çeyreğini vermek, ilk GPU'ya az, son GPU'ya ise çok iş yükler; en yoğun GPU çalışma hızını belirler. Llama 3 ve Megatron-Core, diziyi GPU sayısının iki katı kadar parçaya bölüp her GPU'ya baştaki parçalardan birini ve sondan ayna görüntüsünü verir:

import torch

seq_len, ranks = 8192, 4
positions = torch.arange(seq_len)
causal_work = positions + 1  # nedensel maske altında, i token'ı i + 1 anahtara dikkat eder

# Bitişik bölme: r rank'ı dizinin r'inci çeyreğini alır
contiguous = [causal_work[shard].sum().item() for shard in positions.chunk(ranks)]

# Yük dengeli bölme: diziyi 2 * ranks parçaya böl, r rank'ı r parçasını ve sondaki ayna görüntüsünü alır
chunks = positions.chunk(2 * ranks)
balanced = [causal_work[torch.cat([chunks[r], chunks[-1 - r]])].sum().item() for r in range(ranks)]

print("Contiguous, millions of scores per rank:", [round(w / 1e6, 1) for w in contiguous])
print("Balanced, millions of scores per rank:  ", [round(w / 1e6, 1) for w in balanced])

Bitişik bölme, dört GPU'ya [2.1, 6.3, 10.5, 14.7] milyon dikkat skoru verir; aradaki fark 7× olur. Ayna görüntülü bölme ise her birine 8.4 milyon skor verir.

Bağlam Paralelliğinin Kullanıldığı Yerler#

Uzun belgeler ve kod tabanları üzerinde büyük dil modelleri (LLM'ler) eğitmek, temel kullanım alanıdır. Meta, Llama 3 405B'yi 16.384 H100 GPU üzerinde tensör, işlem hattı ve veri paralelliğinin yanı sıra 16 yönlü bağlam paralelliği kullanarak 131.072 token'lık dizilere genişletti. 8.192 token'da aynı küme için %41 olan tepe BF16 veriminin %38'ine ulaştı. Diğer kullanım alanı videodur: Meta'nın Movie Gen'i, yaklaşık 73.000 token olarak kodlanmış kliplerle 30 milyar parametreli video oluşturma modelini eğitirken bağlam paralelliğini tensör, sıra ve tamamen parçalı veri paralelliğiyle birlikte kullandı. Uzun videoları işleyen görsel-dil modelleri ve video anlama sistemleri de aynı sınıra takılır; çünkü her kare yüzlerce token ekler.

Bağlam paralelliği diğer stratejilerle birlikte kullanılır:

  • İşlem hattı paralelliği: Modelin katmanlarını GPU'lar arasında böler.
  • Veri paralelliği: Yığını eksiksiz model kopyaları arasında böler.
  • Flash attention: Dikkat matrisinin tek bir GPU'da saklanmasını önler. Bağlam paralelliği uygulamaları, her GPU'nun yerel bloğunda buna benzer bir çekirdek çalıştırır.

Görüntü modelleri bu uzunluklara ancak çok yüksek çözünürlükte ulaşır; çünkü dizi uzunluğu parça sayısıyla veya özellik haritası konumlarıyla birlikte artar. Ultralytics YOLO26, öz dikkati yalnızca en kaba, stride-32 özellik haritasında, model yapılandırmasının 10. ve 22. katmanlarında kullanır. Böylece dikkat, varsayılan imgsz=640 değerinde 400, imgsz=1280 değerinde ise 1.600 konumu kapsar.

Çözümleri keşfet

Sporda bilgisayarlı görü

Sporda bilgisayarlı görü

Ultralytics YOLO'nun oyuncu ve top takibi, performans analitiği, antrenörlük içgörüleri ve sporcu rehabilitasyonuyla spor alanında görsel yapay zekâyı nasıl güçlendirdiğini keşfet.
Daha fazla bilgi edin
Hava görüntüleri için bilgisayarlı görü

Hava görüntüleri için bilgisayarlı görü

İHA ve hava görüntülerini Ultralytics YOLO ile tarım, su ürünleri yetiştiriciliği, koruma çalışmaları ve jeo-uzamsal analiz için gerçek zamanlı içgörülere dönüştür.
Daha fazla bilgi edin
Havacılıkta bilgisayarlı görü

Havacılıkta bilgisayarlı görü

Uçak denetimi, pistteki yabancı madde tespiti, havaalanı yer operasyonları ve kompozit malzeme kusurlarının tespiti için Ultralytics YOLO ile havacılık ve uzay sektöründe bilgisayarlı görü uygula.
Daha fazla bilgi edin
Güvenlikte bilgisayarlı görü

Güvenlikte bilgisayarlı görü

Ultralytics YOLO modelleriyle her sahayı koru. Görsel yapay zekâ; çevre izleme, tehdit tespiti, plaka tanıma ve iş yeri güvenliğini destekler.
Daha fazla bilgi edin
Robotikte bilgisayarlı görü

Robotikte bilgisayarlı görü

Ultralytics YOLO modelleriyle daha akıllı makinelere güç ver. Robotikte görsel yapay zekâ; otonom navigasyonu, algılamayı, nesne takibini ve gerçek zamanlı kontrolü destekler.
Daha fazla bilgi edin
Lojistikte bilgisayarlı görü

Lojistikte bilgisayarlı görü

Ultralytics YOLO modelleriyle lojistiği kolaylaştır. Görüntü yapay zekâsı; paket denetimini, ayrıştırmayı, araç takibini ve gerçek zamanlı depo güvenliği izlemeyi mümkün kılar.
Daha fazla bilgi edin
Perakendede bilgisayarlı görü

Perakendede bilgisayarlı görü

Ultralytics YOLO modelleriyle perakendeyi yeniden tasarla. Görüntü yapay zekâsı; envanter takibini, raf izlemeyi, kuyruk yönetimini ve daha kapsamlı müşteri analizlerini mümkün kılar.
Daha fazla bilgi edin
Sağlık hizmetlerinde bilgisayarlı görü

Sağlık hizmetlerinde bilgisayarlı görü

Ultralytics YOLO modelleriyle sağlık çözümleri geliştir. Sağlık hizmetlerinde görüntü yapay zekâsı; daha hızlı tıbbi görüntüleme, daha akıllı tanı ve hasta takibini mümkün kılar.
Daha fazla bilgi edin
Üretimde bilgisayarlı görü

Üretimde bilgisayarlı görü

Ultralytics YOLO modelleriyle üretimi optimize et. Görsel yapay zekâ; kalite kontrolünü, kusur tespitini, kişisel koruyucu donanım uyumunu ve montaj hattı otomasyonunu destekler.
Daha fazla bilgi edin
Otomotivde bilgisayarlı görü

Otomotivde bilgisayarlı görü

Ultralytics YOLO modelleriyle otomotivde bilgisayarlı görüden yararlan. Görsel yapay zekâ; daha akıllı yollar için yol güvenliğini, sürüş desteğini ve araç otomasyonunu ileri taşır.
Daha fazla bilgi edin
Tarımda bilgisayarlı görü

Tarımda bilgisayarlı görü

Ultralytics YOLO modelleriyle akıllı tarıma görüntü yapay zekâsı kazandır. Daha yüksek ve akıllı verim için mahsul izleme, hayvan takibi ve hassas tarımı destekle.
Daha fazla bilgi edin

Geleceğin yapay zekasını birlikte inşa edelim!

Makine öğreniminin geleceğine yolculuğuna başla