YOLO'yu lisansla
Ultralytics Sözlüğüne dön

Gradient Checkpointing

Gradyan kontrol noktası oluşturma, ileri geçiş sırasında etkinleştirmelerin yalnızca bir kısmını saklar ve geri yayılım sırasında geri kalanını yeniden hesaplar; böylece bellekten tasarruf etmek için hesaplama gücünden ödün verilir.

Gradyan kontrol noktası oluşturma, ileri geçişten yalnızca birkaç ara aktivasyonu saklayıp geri yayılım bunlara ihtiyaç duyduğunda geri kalanını yeniden hesaplayarak bellek tasarrufu sağlayan bir eğitim tekniğidir. Aktivasyon kontrol noktası oluşturma veya yeniden materyalleştirme olarak da adlandırılır. Tianqi Chen, Bing Xu, Chiyuan Zhang ve Carlos Guestrin, Nisan 2016 tarihli Training Deep Nets with Sublinear Memory Cost makalelerinde bu tekniği derin öğrenme alanında yaygınlaştırdı ve n katmanlı bir ağın, bir ek ileri geçiş maliyetiyle √n ile orantılı bellek kullanarak eğitilebileceğini gösterdi. ImageNet üzerinde 1.000 katmanlı bir artık ağda yöntemleri belleği 48 GB'tan 7 GB'a düşürürken eğitim süresini yaklaşık %30 artırdı.

Gradyan Kontrol Noktası Oluşturma Nasıl Çalışır?#

Normal bir ileri geçiş sırasında otomatik gradyan motoru, daha sonra gradyanları hesaplamak için gerekli olduklarından neredeyse her işlemin çıktısını bellekte tutar. Derin ağlarda, büyük yığınlarda, yüksek çözünürlüklü görüntülerde veya uzun dizilerde bu aktivasyonlar, model ağırlıklarından çok daha fazla GPU belleği kullanır. Kontrol noktası oluşturma, ağı segmentlere böler ve yalnızca her segmentin girdisini saklar. Geriye doğru geçiş bir segmente ulaştığında, saklanan girdiden o segmentin ileri geçişini yeniden çalıştırır, segment boyunca geri yayılım yapar ve önceki segmente geçmeden önce yeniden oluşturulan aktivasyonları serbest bırakır:

PyTorch bunu torch.utils.checkpoint.checkpoint, JAX ise jax.checkpoint olarak sunar. Sekiz bloklu bir ağ için otomatik gradyanın sakladığı aktivasyonları saymak, ne kadar tasarruf sağlandığını ve gradyanların değişmediğini gösterir:

import torch
from torch import nn
from torch.utils.checkpoint import checkpoint

torch.manual_seed(0)
model = nn.Sequential(*[nn.Sequential(nn.Linear(1024, 4096), nn.GELU(), nn.Linear(4096, 1024)) for _ in range(8)])
x = torch.randn(256, 1024)
weights = {p.data_ptr() for p in model.parameters()}
saved, grads = [], []

for use_checkpoint in (False, True):
    saved.clear()
    # Record every tensor autograd keeps for the backward pass
    with torch.autograd.graph.saved_tensors_hooks(lambda t: saved.append(t) or t, lambda t: t):
        h = x
        for block in model:  # a checkpointed block keeps only its input and reruns its forward pass in backward
            h = checkpoint(block, h, use_reentrant=False) if use_checkpoint else block(h)
    h.square().mean().backward()
    activations = sum(t.numel() * t.element_size() for t in saved if t.data_ptr() not in weights)
    print(f"checkpoint={use_checkpoint}: {activations / 2**20:.0f} MB of stored activations")
    grads.append(model[0][0].weight.grad.clone())
    model.zero_grad()

print("Identical gradients:", torch.equal(*grads))

Çıktı, kontrol noktası oluşturma olmadan saklanan aktivasyon sayısının 72 MB, bununla saklanan sayının 8 MB olduğunu ve Identical gradients: True değerini gösterir. Her blok normalde 9 MB saklar: 1 MB'lık girdisi ve iki adet 4 MB'lık gizli tensörü. Kontrol noktası oluşturmayla yalnızca girdi tutulur ve geri geçiş her seferinde tek bir bloğun 9 MB'lık aktivasyonlarını yeniden oluşturur.

Nelerin Yeniden Hesaplanacağını Seçme#

Her blok için kontrol noktası oluşturma en çok bellek tasarrufunu sağlar, ancak ileri geçişin neredeyse tamamını yeniden çalıştırır; tipik bir katman için hesaplama miktarı yaklaşık üçte bir artar. Seçici yeniden hesaplama, çıktıları büyük ancak hesaplaması ucuz işlemleri hedefler. NVIDIA'dan Vijay Korthikanti ve çalışma arkadaşları yalnızca transformer dikkatinin temel kısımlarını, yani skor hesaplamasını, softmax'ı, dropout'u ve değerlerin ağırlıklandırılmasını yeniden hesapladı. Sıra paralelliğiyle birlikte kullanıldığında aktivasyon belleğini beş kat azalttı ve yeniden hesaplama ek yükünün %90'ından fazlasını ortadan kaldırdı. Flash attention, saklamak yerine geri geçiş sırasında dikkat skorlarını yeniden hesaplayarak aynı fikri tek bir çekirdeğin içinde uygular. GPipe, aktivasyonları yalnızca işlem hattı paralelliği aşamalarının sınırlarında saklar ve her aşamanın içindeki her şeyi yeniden hesaplar.

Yeniden hesaplama, özgün ileri geçişi birebir yeniden üretmelidir. PyTorch, dropout maskelerinin eşleşmesi için rastgele sayı üreteci durumunu geri yükler. Hugging Face Transformers modelleri de kontrol noktası oluşturma etkinken eğitim sırasında KV önbelleğini kapatır; çünkü çıkarım sırasında önbelleğe alınan durum, katmanların yeniden çalıştırılmasıyla çakışır.

  • Gradyan biriktirme: Büyük bir yığını tek seferde çalıştırılan mikro yığınlara böler; ek hesaplama yapmadan, ancak adım sayısını artırarak adım başına aktivasyonları azaltır.
  • Karma hassasiyet: Aktivasyonları BF16 gibi 16 bitlik biçimlerde saklar; bellek kullanımlarını yarıya indirir ve genellikle eğitimi hızlandırır.
  • Eğitim kontrol noktaları: Eğitimi sürdürmek veya dağıtım için saklanan ağırlık ve iyileştirici durumu dosyalarıdır; sözcüğün bununla ilgisiz başka bir kullanımıdır.

Kontrol noktası oluşturma, tek bir GPU'da büyük dil modellerine (LLM'ler) ince ayar yaparken yaygındır; Hugging Face Trainer bu özelliği gradient_checkpointing=True ile etkinleştirir. Ayrıca özellik haritalarının belleğin çoğunu kapladığı büyük tıbbi veya hava görüntüleri üzerinde görüntü bölümleme modelleri eğitirken de kullanılır. Ultralytics YOLO26 eğitimi tüm aktivasyonları bellekte tutar ve bunları yığın boyutuyla sığdırır: eğitim modundaki batch=-1, belleği farklı yığın boyutlarında profilleyen ve GPU belleğinin %60'ını dolduracağı tahmin edilen boyutu seçen AutoBatch'i çalıştırır; batch=0.70 gibi bir kesir ise hedefi %70 olarak ayarlar.

Çözümleri keşfet

Sporda bilgisayarlı görü

Sporda bilgisayarlı görü

Ultralytics YOLO'nun oyuncu ve top takibi, performans analitiği, antrenörlük içgörüleri ve sporcu rehabilitasyonuyla spor alanında görsel yapay zekâyı nasıl güçlendirdiğini keşfet.
Daha fazla bilgi edin
Hava görüntüleri için bilgisayarlı görü

Hava görüntüleri için bilgisayarlı görü

İHA ve hava görüntülerini Ultralytics YOLO ile tarım, su ürünleri yetiştiriciliği, koruma çalışmaları ve jeo-uzamsal analiz için gerçek zamanlı içgörülere dönüştür.
Daha fazla bilgi edin
Havacılıkta bilgisayarlı görü

Havacılıkta bilgisayarlı görü

Uçak denetimi, pistteki yabancı madde tespiti, havaalanı yer operasyonları ve kompozit malzeme kusurlarının tespiti için Ultralytics YOLO ile havacılık ve uzay sektöründe bilgisayarlı görü uygula.
Daha fazla bilgi edin
Güvenlikte bilgisayarlı görü

Güvenlikte bilgisayarlı görü

Ultralytics YOLO modelleriyle her sahayı koru. Görsel yapay zekâ; çevre izleme, tehdit tespiti, plaka tanıma ve iş yeri güvenliğini destekler.
Daha fazla bilgi edin
Robotikte bilgisayarlı görü

Robotikte bilgisayarlı görü

Ultralytics YOLO modelleriyle daha akıllı makinelere güç ver. Robotikte görsel yapay zekâ; otonom navigasyonu, algılamayı, nesne takibini ve gerçek zamanlı kontrolü destekler.
Daha fazla bilgi edin
Lojistikte bilgisayarlı görü

Lojistikte bilgisayarlı görü

Ultralytics YOLO modelleriyle lojistiği kolaylaştır. Görüntü yapay zekâsı; paket denetimini, ayrıştırmayı, araç takibini ve gerçek zamanlı depo güvenliği izlemeyi mümkün kılar.
Daha fazla bilgi edin
Perakendede bilgisayarlı görü

Perakendede bilgisayarlı görü

Ultralytics YOLO modelleriyle perakendeyi yeniden tasarla. Görüntü yapay zekâsı; envanter takibini, raf izlemeyi, kuyruk yönetimini ve daha kapsamlı müşteri analizlerini mümkün kılar.
Daha fazla bilgi edin
Sağlık hizmetlerinde bilgisayarlı görü

Sağlık hizmetlerinde bilgisayarlı görü

Ultralytics YOLO modelleriyle sağlık çözümleri geliştir. Sağlık hizmetlerinde görüntü yapay zekâsı; daha hızlı tıbbi görüntüleme, daha akıllı tanı ve hasta takibini mümkün kılar.
Daha fazla bilgi edin
Üretimde bilgisayarlı görü

Üretimde bilgisayarlı görü

Ultralytics YOLO modelleriyle üretimi optimize et. Görsel yapay zekâ; kalite kontrolünü, kusur tespitini, kişisel koruyucu donanım uyumunu ve montaj hattı otomasyonunu destekler.
Daha fazla bilgi edin
Otomotivde bilgisayarlı görü

Otomotivde bilgisayarlı görü

Ultralytics YOLO modelleriyle otomotivde bilgisayarlı görüden yararlan. Görsel yapay zekâ; daha akıllı yollar için yol güvenliğini, sürüş desteğini ve araç otomasyonunu ileri taşır.
Daha fazla bilgi edin
Tarımda bilgisayarlı görü

Tarımda bilgisayarlı görü

Ultralytics YOLO modelleriyle akıllı tarıma görüntü yapay zekâsı kazandır. Daha yüksek ve akıllı verim için mahsul izleme, hayvan takibi ve hassas tarımı destekle.
Daha fazla bilgi edin

Geleceğin yapay zekasını birlikte inşa edelim!

Makine öğreniminin geleceğine yolculuğuna başla