PagedAttention
Узнай, как PagedAttention оптимизирует управление памятью LLM и эффективность KV-кэша. Изучи его влияние на пропускную способность и сравни его с производительностью Ultralytics YOLO26.
PagedAttention — высокоэффективный алгоритм управления памятью, предназначенный для оптимизации скорости инференса и пропускной способности больших языковых моделей (LLMs). Вдохновлённый концепциями виртуальной памяти и страничной адресации в традиционных операционных системах, этот метод решает проблему огромного потребления памяти, связанную с кэшем ключей и значений (часто называемым KV-кэшем) при генерации текста. Разбивая непрерывные блоки памяти, необходимые для кэша, на небольшие непоследовательные «страницы», PagedAttention эффективно устраняет внутреннюю и внешнюю фрагментацию памяти. Благодаря этому AI-серверы могут одновременно обрабатывать значительно больше запросов, максимально загружая GPU.
PagedAttention и Flash Attention#
Хотя оба метода оптимизируют производительность нейронных сетей, они нацелены на разные узкие места. Flash Attention — это оптимизация на уровне вычислений, которая ускоряет сам механизм внимания, сводя к минимуму медленные операции чтения и записи в иерархии памяти GPU. В отличие от него, PagedAttention — это стратегия выделения памяти. Она сосредоточена исключительно на структуре и хранении памяти для контекстного окна, обеспечивая динамическое масштабирование без предварительного выделения больших и неэффективных блоков памяти.
Практические применения#
Эффективность использования памяти, обеспечиваемая PagedAttention, изменила подход к развертыванию крупномасштабных генеративных моделей в продуктивной среде.
-
Высокопроизводительная выдача через API: Продуктивные системы, обслуживающие модели уровня GPT-4, используют PagedAttention через такие фреймворки, как vLLM. Благодаря совместному использованию блоков памяти разными пользовательскими запросами провайдеры могут обслуживать до в четыре раза больше пользователей на том же оборудовании, значительно снижая стоимость работы облачных AI-сервисов.
-
Сложные стратегии декодирования: Когда AI-модель одновременно генерирует несколько возможных ответов (например, при поиске по лучу или параллельной выборке), PagedAttention позволяет этим параллельным последовательностям безопасно совместно использовать одни и те же базовые страницы памяти. Это предотвращает дублирование избыточной памяти системой и значительно ускоряет сложные задачи рассуждения.
Эффективность использования памяти в компьютерном зрении#
Хотя PagedAttention в основном применяется в обработке естественного языка, лежащий в его основе принцип строгой оптимизации памяти не менее важен для компьютерного зрения (CV). При развертывании моделей на периферийных устройствах с ограниченными ресурсами крайне важно не допускать чрезмерного расхода памяти. Ultralytics YOLO26 изначально обеспечивает эффективность инференса в реальном времени, устраняя необходимость в сложном управлении кэшем благодаря архитектуре без NMS, работающей от начала до конца.
Для разработчиков, которым нужно легко обрабатывать требования к памяти и экспорту в конвейерах обнаружения объектов, Ultralytics Platform предлагает автоматизированные инструменты развертывания, которые подготавливают модели для оптимального выполнения на оборудовании.
Пример кода#
PagedAttention работает на нижнем уровне фреймворков обслуживания моделей, заменяя стандартные функции внимания оптимизированными ядрами CUDA. Ниже приведён концептуальный пример определения стандартного механизма внимания в PyTorch, который такие системы, как vLLM, автоматически перехватывают и оптимизируют с помощью страничной адресации при развертывании модели.
import torch
import torch.nn.functional as F
# Simulated Key, Query, and Value tensors for a standard attention block
batch_size, num_heads, sequence_length, head_dim = 1, 8, 1024, 64
query = torch.randn(batch_size, num_heads, sequence_length, head_dim)
key = torch.randn(batch_size, num_heads, sequence_length, head_dim)
value = torch.randn(batch_size, num_heads, sequence_length, head_dim)
# Standard attention computation (often replaced by PagedAttention kernels in production LLM servers)
attention_output = F.scaled_dot_product_attention(query, key, value)
print(f"Computed attention shape: {attention_output.shape}")Используя передовые стратегии выделения памяти, индустрия AI продолжает расширять границы возможного, обеспечивая эффективное масштабирование и доступ к масштабным базовым моделям по всему миру.
