Cache de Prompt

O caching de prompts é uma técnica de otimização especializada utilizada na implementação de grandes modelos de linguagem (LLMs) para para reduzir significativamente a latência da inferência e custos computacionais. No contexto da IA generativa, o processamento de um prompt envolve a conversão de texto em representações numéricas e o cálculo das relações entre cada token utilizando um mecanismo de atenção. Quando uma parte substancial Quando uma parte substancial de um pedido - como uma instrução longa do sistema ou um conjunto de exemplos - permanece estática em vários pedidos, o permite ao sistema armazenar os estados matemáticos intermédios (especificamente pares chave-valor) desse texto estático. texto estático. Em vez de voltar a calcular estes estados para cada nova consulta, o motor de inferência recupera-os da memória, permitindo que o modelo concentre o seu poder de processamento apenas nas partes novas e dinâmicas da entrada.

Mecanismos e benefícios

O mecanismo central por detrás do armazenamento em cache de mensagens depende da gestão eficiente da janela de contexto de forma eficiente. Quando um LLM processa a entrada, gera uma "Cache KV" (Key-Value Cache) que representa o entendimento do modelo sobre o texto até texto até esse momento. A cache de prompts trata o segment inicial do prompt (o prefixo) como um ativo reutilizável.

• Redução da latência: Ao saltar o cálculo do prefixo em cache, o Tempo para o primeiro token (TTFT) é drasticamente reduzido, levando a respostas mais rápidas em em cenários de inferência em tempo real.
• Eficiência de custos: Desde unidades de processamento gráfico (GPUs) gastam menos tempo processando tokens redundantes, os recursos computacionais gerais necessários por pedido diminuem, reduzindo as despesas operacionais da execução de serviços de inteligência artificial (IA).
• Aumento do rendimento: Os sistemas podem lidar com um volume maior de solicitações simultâneas porque a carga computacional para cada pedido individual é minimizada.

Aplicações no Mundo Real

O cache imediato está transformando a maneira como os desenvolvedores criam e dimensionam aplicações de aprendizagem automática (ML), particularmente aquelas que envolvem processamento pesado de texto.

1. Assistentes de codificação sensíveis ao contexto: Em ferramentas que fornecem autocompletar de código, todo o conteúdo do ficheiro atual e das bibliotecas referenciadas serve frequentemente como contexto de solicitação. Este "prefixo" pode ter milhares de tokens. Ao usar o prompt caching, o assistente pode armazenar em cache o estado do arquivo. À medida que o programador escreve (adicionando (adicionando novos tokens), o modelo processa apenas os novos caracteres em vez de reler toda a estrutura do ficheiro, permitindo os tempos de resposta de menos de um segundo observados nos modernos ambientes de desenvolvimento integrado (IDEs).
2. Análise de documentos e P&R: Considere um sistema concebido para responder a perguntas sobre um manual em PDF de 50 páginas de 50 páginas. Utilizando a Retrieval-Augmented Generation (RAG), o texto do manual é introduzido no modelo. Sem o armazenamento em cache, sempre que um utilizador faz uma pergunta, o modelo tem de processar novamente todo o manual e a pergunta. Com o caching imediato, o trabalho computacional pesado de compreensão do manual é efectuado uma vez e armazenado. o manual é feito uma vez e armazenado. As perguntas subsequentes são anexadas a este estado de cache, tornando a interação de resposta a perguntas fluida e eficiente.

Conceito de aplicação técnica

Embora o armazenamento em cache seja interno aos servidores de inferência LLM, a compreensão da estrutura de dados ajuda a clarificar o conceito. A "cache" armazena essencialmente tensores (matrizes multidimensionais) que representam os estados de atenção.

O seguinte trecho de Python usando torch demonstra a forma e o conceito de um tensor de cache Chave-Valor, que é o que é armazenado e reutilizado durante o cache imediato:

import torch

# Simulate a KV Cache tensor for a transformer model
# Shape: (Batch_Size, Num_Heads, Sequence_Length, Head_Dim)
batch_size, num_heads, seq_len, head_dim = 1, 32, 1024, 128

# Create a random tensor representing the pre-computed state of a long prompt
kv_cache_state = torch.randn(batch_size, num_heads, seq_len, head_dim)

print(f"Cached state shape: {kv_cache_state.shape}")
print(f"Number of cached parameters: {kv_cache_state.numel()}")
# In practice, this tensor is passed to the model's forward() method
# to skip processing the first 1024 tokens.

Distinguir conceitos relacionados

É importante diferenciar o prompt caching de outros termos do glossário glossárioUltralytics para aplicar a estratégia de otimização correta.

• Vs. Engenharia de prompts: A engenharia de prompts centra-se na elaboração do conteúdo e da estrutura da entrada de texto para obter a melhor resposta. O caching de prompts centra-se na otimização da execução computacional dessa entrada.
• Vs. Pesquisa semântica: A pesquisa semântica (frequentemente usada em saídas de cache) procura por consultas semelhantes para retornar uma resposta pré-escrita. O cache de prompts ainda executa o modelo para gerar uma resposta única; ele simplesmente avança rapidamente através da leitura do contexto de entrada.
• Vs. Afinação fina: O ajuste fino altera permanentemente os pesos pesos do modelo para aprender novas informações. O não altera os pesos do modelo; armazena temporariamente os estados de ativação de uma sessão.
• Vs. Quantização do modelo: A quantização reduz a precisão dos parâmetros do modelo para economizar memória e acelerar a inferência em geral. O caching de prompts é uma otimização em tempo de execução específica para os dados de entrada, frequentemente utilizada em conjunto com a quantização.

Embora a memorização de pedidos seja nativa do Processamento de linguagem natural (PNL), os princípios de eficiência são universais. Na visão computacional (CV), modelos como YOLO11 são optimizados arquitetonicamente para a velocidade, assegurando que as tarefas de deteção de objectos atinjam taxas de de quadros sem precisar do mesmo tipo de cache de estado usado em modelos de linguagem autorregressivos. No entanto, à medida que modelos multimodais evoluem para processar vídeo e texto em conjunto, o armazenamento em cache de tokens visuais está a tornar-se uma área emergente de investigação descrita em artigos no arXiv.