Licenza YOLO
Torna al glossario di Ultralytics

Gradient Checkpointing

Il checkpointing dei gradienti memorizza solo alcune attivazioni durante il passaggio in avanti e ricalcola le altre durante la backpropagation, scambiando capacità di calcolo con memoria.

Il checkpointing del gradiente è una tecnica di addestramento che riduce l'uso di memoria conservando solo alcune attivazioni intermedie del passaggio in avanti e ricalcolando le altre quando la retropropagazione ne ha bisogno. La tecnica è chiamata anche checkpointing delle attivazioni o rimaterializzazione. Nel loro articolo dell'aprile 2016 Training Deep Nets with Sublinear Memory Cost, Tianqi Chen, Bing Xu, Chiyuan Zhang e Carlos Guestrin l'hanno resa popolare per il deep learning, mostrando che una rete con n layer può essere addestrata con una memoria proporzionale a √n al costo di un passaggio in avanti aggiuntivo. Su una rete residua da 1.000 layer per ImageNet, il loro metodo ha ridotto la memoria da 48 GB a 7 GB, aumentando il tempo di addestramento di circa il 30%.

Come funziona il gradient checkpointing#

Durante un normale passaggio in avanti, il motore di autograd memorizza l'output di quasi ogni operazione, perché il calcolo dei gradienti in seguito richiede questi risultati. Nelle reti profonde, con batch di grandi dimensioni, immagini ad alta risoluzione o sequenze lunghe, queste attivazioni occupano molta più memoria GPU rispetto ai pesi del modello. Il checkpointing suddivide la rete in segmenti e conserva solo l'input di ciascun segmento. Quando il passaggio all'indietro raggiunge un segmento, il motore riesegue il passaggio in avanti del segmento a partire dall'input salvato, esegue la retropropagazione attraverso il segmento e libera le attivazioni ricostruite prima di passare al segmento precedente:

PyTorch espone questa funzione tramite torch.utils.checkpoint.checkpoint, mentre JAX la espone tramite jax.checkpoint. Contando le attivazioni memorizzate da autograd per una rete con otto blocchi, si vede il risparmio e si verifica che i gradienti non cambiano:

import torch
from torch import nn
from torch.utils.checkpoint import checkpoint

torch.manual_seed(0)
model = nn.Sequential(*[nn.Sequential(nn.Linear(1024, 4096), nn.GELU(), nn.Linear(4096, 1024)) for _ in range(8)])
x = torch.randn(256, 1024)
weights = {p.data_ptr() for p in model.parameters()}
saved, grads = [], []

for use_checkpoint in (False, True):
    saved.clear()
    # Record every tensor autograd keeps for the backward pass
    with torch.autograd.graph.saved_tensors_hooks(lambda t: saved.append(t) or t, lambda t: t):
        h = x
        for block in model:  # a checkpointed block keeps only its input and reruns its forward pass in backward
            h = checkpoint(block, h, use_reentrant=False) if use_checkpoint else block(h)
    h.square().mean().backward()
    activations = sum(t.numel() * t.element_size() for t in saved if t.data_ptr() not in weights)
    print(f"checkpoint={use_checkpoint}: {activations / 2**20:.0f} MB of stored activations")
    grads.append(model[0][0].weight.grad.clone())
    model.zero_grad()

print("Identical gradients:", torch.equal(*grads))

Stampa 72 MB delle attivazioni memorizzate senza checkpointing, 8 MB con il checkpointing e Identical gradients: True. Ogni blocco memorizza normalmente 9 MB: il suo input da 1 MB più due tensori nascosti da 4 MB; con il checkpointing conserva solo l'input, mentre il passaggio all'indietro ricostruisce un blocco alla volta, occupando 9 MB.

Scegliere cosa ricalcolare#

Il checkpointing di ogni blocco offre il massimo risparmio di memoria, ma riesegue quasi tutto il passaggio in avanti, con circa un terzo di calcolo in più per un layer tipico. Il ricalcolo selettivo si concentra sulle operazioni i cui output sono grandi ma economici da calcolare. Vijay Korthikanti di NVIDIA e colleghi hanno ricalcolato solo il nucleo dell'attenzione Transformer: il calcolo dei punteggi, softmax, dropout e ponderazione dei valori. In combinazione con il parallelismo di sequenza, hanno ridotto di cinque volte la memoria delle attivazioni, eliminando oltre il 90% del sovraccarico dovuto al ricalcolo. Flash attention applica la stessa idea all'interno di un singolo kernel ricalcolando i punteggi di attenzione durante il passaggio all'indietro invece di memorizzarli. GPipe memorizza le attivazioni solo ai confini tra gli stadi del parallelismo della pipeline e ricalcola tutto ciò che si trova all'interno di ciascuno stadio.

Il ricalcolo deve riprodurre esattamente il passaggio in avanti originale. PyTorch ripristina lo stato del generatore di numeri casuali affinché le maschere di dropout coincidano, mentre i modelli Transformers di Hugging Face disattivano la cache KV quando vengono addestrati con il checkpointing abilitato, perché lo stato memorizzato per l'inferenza è incompatibile con la riesecuzione dei layer.

  • Accumulo del gradiente: Suddivide un batch grande in micro-batch eseguiti uno alla volta, riducendo le attivazioni per passaggio senza calcoli aggiuntivi, ma aumentando il numero di passaggi.
  • Precisione mista: Memorizza le attivazioni in formati a 16 bit come BF16, dimezzandone l'occupazione in memoria e accelerando in genere l'addestramento.
  • Checkpoint di addestramento: File contenenti pesi e stato dell'ottimizzatore, salvati per riprendere l'addestramento o per la distribuzione: è un uso del termine non correlato.

Il checkpointing è comune quando si mettono a punto modelli linguistici di grandi dimensioni (LLMs) su una singola GPU, dove il Trainer di Hugging Face consente di attivarlo con gradient_checkpointing=True, e quando si addestrano modelli di segmentazione delle immagini su immagini mediche o aeree di grandi dimensioni, le cui mappe delle caratteristiche occupano gran parte della memoria. L'addestramento di Ultralytics YOLO26 memorizza tutte le attivazioni e regola invece la dimensione del batch per farle rientrare nella memoria disponibile: batch=-1 in modalità di addestramento esegue AutoBatch, che analizza l'utilizzo della memoria con diverse dimensioni del batch e sceglie quella che dovrebbe occupare il 60% della memoria GPU, e un valore frazionario come batch=0.70 imposta questo obiettivo al 70%.

Esplora le soluzioni

La visione artificiale nello sport

La visione artificiale nello sport

Scopri come Ultralytics YOLO alimenta la computer vision nello sport con il tracciamento di giocatori e palloni, l'analisi delle prestazioni, gli approfondimenti per gli allenatori e la riabilitazione degli atleti.
Scopri di più
Computer vision per immagini aeree

Computer vision per immagini aeree

Trasforma immagini aeree e riprese da drone in informazioni utili in tempo reale per agricoltura, acquacoltura, conservazione e analisi geospaziale con Ultralytics YOLO.
Scopri di più
Computer vision nel settore aerospaziale

Computer vision nel settore aerospaziale

Applica la visione artificiale nel settore aerospaziale con Ultralytics YOLO per l'ispezione degli aeromobili, il rilevamento di FOD sulle piste, le operazioni di terra aeroportuali e il rilevamento di difetti nei materiali compositi.
Scopri di più
Visione artificiale nella sicurezza

Visione artificiale nella sicurezza

Proteggi ogni sito con i modelli Ultralytics YOLO. L'IA visiva alimenta il monitoraggio perimetrale, il rilevamento delle minacce, il riconoscimento delle targhe e la sicurezza sul lavoro.
Scopri di più
Visione artificiale nella robotica

Visione artificiale nella robotica

Dai più potenza alle macchine intelligenti con i modelli Ultralytics YOLO. Nell'ambito della robotica, l'IA visiva alimenta la navigazione autonoma, la percezione, il tracciamento degli oggetti e il controllo in tempo reale.
Scopri di più
Visione artificiale nella logistica

Visione artificiale nella logistica

Semplifica la logistica con i modelli Ultralytics YOLO. L'IA per la visione consente l'ispezione dei pacchi, la selezione, il tracciamento dei veicoli e il monitoraggio della sicurezza nei magazzini in tempo reale.
Scopri di più
Visione artificiale nel commercio al dettaglio

Visione artificiale nel commercio al dettaglio

Ripensa il commercio al dettaglio con i modelli Ultralytics YOLO. L'IA per la visione consente di tracciare le scorte, monitorare gli scaffali, gestire le code e ottenere informazioni più approfondite sui clienti.
Scopri di più
Visione artificiale in ambito sanitario

Visione artificiale in ambito sanitario

Crea soluzioni sanitarie con i modelli Ultralytics YOLO. In ambito sanitario, l'IA per la visione consente di elaborare più rapidamente le immagini mediche, migliorare la diagnostica e monitorare i pazienti.
Scopri di più
Computer vision nella produzione

Computer vision nella produzione

Ottimizza la produzione con i modelli Ultralytics YOLO. La visione basata sull'IA migliora il controllo qualità, il rilevamento dei difetti, la conformità ai requisiti sui DPI e l'automazione delle linee di assemblaggio.
Scopri di più
Computer vision nel settore automobilistico

Computer vision nel settore automobilistico

Applica la computer vision al settore automobilistico con i modelli Ultralytics YOLO. La visione basata sull'IA migliora la sicurezza stradale, i sistemi di assistenza alla guida e l'automazione dei veicoli, per strade più intelligenti.
Scopri di più
Visione artificiale in agricoltura

Visione artificiale in agricoltura

Porta l'IA visiva nell'agricoltura intelligente con i modelli Ultralytics YOLO. Gestisci il monitoraggio delle colture, il tracciamento del bestiame e l'agricoltura di precisione per ottenere raccolti più abbondanti e intelligenti.
Scopri di più

Costruiamo insieme il futuro dell'IA!

Inizia il tuo percorso verso il futuro del machine learning