PagedAttention

PagedAttention è un algoritmo di gestione della memoria altamente efficiente, progettato per ottimizzare la velocità di inferenza e il throughput dei modelli linguistici di grandi dimensioni (LLMs). Ispirata ai concetti di memoria virtuale e paging dei sistemi operativi tradizionali, questa tecnica affronta l'enorme consumo di memoria associato alla cache chiave-valore (spesso indicata come cache KV) durante la generazione del testo. Suddividendo i blocchi di memoria contigui richiesti dalla cache in "pagine" più piccole e non contigue, PagedAttention elimina efficacemente sia la frammentazione interna sia quella esterna della memoria. Questo consente ai server AI di elaborare simultaneamente un numero significativamente maggiore di richieste in batch, massimizzando l'utilizzo della GPU.

PagedAttention vs. Flash Attention#

Sebbene entrambe le tecniche ottimizzino le prestazioni delle reti neurali, intervengono su colli di bottiglia diversi. Flash Attention è un'ottimizzazione a livello computazionale che accelera il meccanismo di attenzione stesso, riducendo al minimo le letture e le scritture lente nella gerarchia della GPU. PagedAttention, invece, è una strategia di allocazione della memoria. Si concentra esclusivamente sulla struttura e sull'archiviazione della memoria per la finestra di contesto, consentendo una scalabilità dinamica senza preallocare blocchi di memoria grandi e inutilizzati.

Applicazioni nel mondo reale#

L'efficienza della memoria resa possibile da PagedAttention ha trasformato il modo in cui i modelli generativi di grandi dimensioni vengono distribuiti in produzione.

1. Servizio API ad alto throughput: i sistemi di produzione che servono modelli simili a GPT-4 utilizzano PagedAttention tramite framework come vLLM. Condividendo i blocchi di memoria tra richieste di utenti diversi, i provider possono servire fino a quattro volte più utenti sullo stesso hardware, riducendo drasticamente il costo di esecuzione dei servizi AI basati sul cloud.

2. Strategie di decodifica complesse: quando un modello AI genera contemporaneamente più risposte potenziali, ad esempio durante la ricerca a fascio o il campionamento parallelo, PagedAttention consente a queste sequenze parallele di condividere in sicurezza le stesse pagine di memoria fondamentali. In questo modo il sistema evita di duplicare memoria ridondante, rendendo significativamente più rapide le attività di ragionamento complesse.

Efficienza della memoria nella visione artificiale#

Sebbene PagedAttention sia utilizzato principalmente nell'elaborazione del linguaggio naturale, il principio alla base della rigorosa ottimizzazione della memoria è altrettanto importante nella visione artificiale (CV). Quando si distribuiscono modelli su dispositivi edge con risorse hardware limitate, evitare l'espansione incontrollata della memoria è essenziale. Ultralytics YOLO26 offre nativamente un'efficienza di inferenza in tempo reale, evitando la necessità di una gestione complessa della cache grazie a un'architettura end-to-end senza NMS.

Per gli sviluppatori che desiderano gestire senza problemi i requisiti di memoria ed esportazione delle pipeline di rilevamento degli oggetti, la Ultralytics Platform offre strumenti di distribuzione automatizzati che preparano i modelli per un'esecuzione ottimale sull'hardware.

Esempio di codice#

PagedAttention opera sotto la superficie nei framework di serving, sostituendo le funzioni di attenzione standard con kernel CUDA ottimizzati. Di seguito è riportato un esempio concettuale che mostra come si potrebbe definire l'attenzione standard in PyTorch, che sistemi come vLLM intercettano e ottimizzano automaticamente utilizzando il paging durante la distribuzione del modello.

import torch
import torch.nn.functional as F

# Simulated Key, Query, and Value tensors for a standard attention block
batch_size, num_heads, sequence_length, head_dim = 1, 8, 1024, 64
query = torch.randn(batch_size, num_heads, sequence_length, head_dim)
key = torch.randn(batch_size, num_heads, sequence_length, head_dim)
value = torch.randn(batch_size, num_heads, sequence_length, head_dim)

# Standard attention computation (often replaced by PagedAttention kernels in production LLM servers)
attention_output = F.scaled_dot_product_attention(query, key, value)

print(f"Computed attention shape: {attention_output.shape}")

Sfruttando strategie avanzate di allocazione della memoria, il settore dell'AI continua a superare i limiti del possibile, garantendo che i modelli fondamentali di grandi dimensioni possano essere scalati e utilizzati in modo efficiente in tutto il mondo.