PagedAttention

PagedAttention ist ein hocheffizienter Speicherverwaltungsalgorithmus, der entwickelt wurde, um die Inferenzgeschwindigkeit und den Durchsatz von Large Language Models (LLMs) zu optimieren. Inspiriert von den Konzepten des virtuellen Speichers und des Pagings in herkömmlichen Betriebssystemen, adressiert diese Technik den massiven Speicherverbrauch, der mit dem Key-Value-Cache (oft als KV cache bezeichnet) während der Textgenerierung verbunden ist. Indem die für den Cache erforderlichen kontinuierlichen Speicherblöcke in kleinere, nicht zusammenhängende "Pages" aufgeteilt werden, eliminiert PagedAttention effektiv sowohl interne als auch externe Speicherfragmentierung. Dies ermöglicht es KI-Servern, deutlich mehr Anfragen gleichzeitig zu verarbeiten und die GPU-Auslastung zu maximieren.

Link to this sectionPagedAttention vs. Flash Attention#

Während beide Techniken die Leistung neuronaler Netze optimieren, zielen sie auf unterschiedliche Engpässe ab. Flash Attention ist eine Optimierung auf Berechnungsebene, die den Attention-Mechanismus selbst beschleunigt, indem langsame Speicherlese- und Schreibvorgänge innerhalb der GPU-Hierarchie minimiert werden. Im Gegensatz dazu ist PagedAttention eine Speicherzuweisungsstrategie. Sie konzentriert sich ausschließlich darauf, wie der Speicher für das Kontextfenster strukturiert und gespeichert wird, was eine dynamische Skalierung ermöglicht, ohne große, verschwenderische Speicherblöcke vorab zuzuweisen.

Link to this sectionPraxisanwendungen#

Die durch PagedAttention erschlossene Speichereffizienz hat die Art und Weise verändert, wie groß angelegte generative Modelle in der Produktion eingesetzt werden.

1. High-Throughput API Serving: Produktionssysteme, die Modelle wie GPT-4 bedienen, nutzen PagedAttention über Frameworks wie vLLM. Durch das Teilen von Speicherblöcken über verschiedene Benutzeranfragen hinweg können Anbieter bis zu viermal so viele Benutzer auf derselben Hardware bedienen, was die Kosten für den Betrieb cloudbasierter KI-Dienste drastisch senkt.

2. Complex Decoding Strategies: Wenn ein KI-Modell mehrere potenzielle Antworten gleichzeitig generiert (wie bei der Strahlensuche oder parallelen Abtastung), ermöglicht PagedAttention diesen parallelen Sequenzen, sicher dieselben grundlegenden Speicherseiten zu teilen. Dies verhindert, dass das System redundanten Speicher dupliziert, wodurch komplexe logische Aufgaben erheblich schneller werden.

Link to this sectionSpeichereffizienz im Computer Vision#

Während PagedAttention hauptsächlich in der natürlichen Sprachverarbeitung eingesetzt wird, ist das zugrunde liegende Prinzip der strengen Speicheroptimierung ebenso wichtig im Computer Vision (CV). Beim Bereitstellen von Modellen auf hardwarebeschränkten Edge-Geräten ist die Vermeidung von Speicherblähungen unerlässlich. Ultralytics YOLO26 erreicht nativ Echtzeit-Inferenz-Effizienz und umgeht die Notwendigkeit einer komplexen Cache-Verwaltung durch den Einsatz einer End-to-End-, NMS-freien Architektur.

Für Entwickler, die die Speicher- und Exportanforderungen von Objekterkennungs-Pipelines nahtlos handhaben möchten, bietet die Ultralytics Platform automatisierte Bereitstellungstools, die Modelle für eine optimale Hardwareausführung paketieren.

Link to this sectionCode-Beispiel#

PagedAttention arbeitet unter der Oberfläche in Serving-Frameworks und ersetzt Standard-Attention-Funktionen durch optimierte Cuda-Kernels. Nachfolgend ist ein konzeptionelles Beispiel, das zeigt, wie man Standard-Attention in PyTorch definieren könnte, was Systeme wie vLLM während des Modelleinsatzes automatisch abfangen und mittels Paging optimieren.

import torch
import torch.nn.functional as F

# Simulated Key, Query, and Value tensors for a standard attention block
batch_size, num_heads, sequence_length, head_dim = 1, 8, 1024, 64
query = torch.randn(batch_size, num_heads, sequence_length, head_dim)
key = torch.randn(batch_size, num_heads, sequence_length, head_dim)
value = torch.randn(batch_size, num_heads, sequence_length, head_dim)

# Standard attention computation (often replaced by PagedAttention kernels in production LLM servers)
attention_output = F.scaled_dot_product_attention(query, key, value)

print(f"Computed attention shape: {attention_output.shape}")

Durch die Nutzung fortschrittlicher Speicherzuweisungsstrategien verschiebt die KI-Branche weiterhin die Grenzen des Machbaren und stellt sicher, dass massive grundlegende Modelle weltweit effizient skaliert und genutzt werden können.