Semantic Caching

O cache semântico é uma técnica avançada de otimização usada principalmente em IA generativa e para Modelos de Linguagem de Grande Escala (LLMs) que armazena e recupera respostas com base no significado (semântica) de uma consulta, em vez do seu texto exato. Ao identificar quando um novo prompt faz a mesma pergunta fundamental que uma pergunta respondida anteriormente, o cache semântico evita a necessidade de invocar novamente o modelo de IA, reduzindo drasticamente o tempo de processamento e os custos da API.

Como funciona o cache semântico#

Ao contrário do cache tradicional, que exige correspondências de strings idênticas, um cache semântico converte as consultas recebidas em vetores numéricos de alta dimensionalidade conhecidos como embeddings. Quando um utilizador envia um prompt, os sistemas que utilizam o cache semântico do Redis ou armazenamentos em memória semelhantes realizam uma pesquisa vetorial para comparar o novo vetor com vetores armazenados anteriormente numa base de dados vetorial.

Esta comparação baseia-se em métricas de distância matemática, sendo a mais comum a similaridade do cosseno. Se a pontuação de similaridade entre a nova consulta e uma consulta em cache exceder um limite predefinido (por exemplo, 0.95), isso é registado como uma "cache hit". O sistema devolve instantaneamente a resposta armazenada, ignorando completamente o motor de inferência. Se a pontuação ficar abaixo do limite, ocorre uma "cache miss", levando o modelo a gerar uma nova resposta e a armazenar o novo par embedding-resposta para interações futuras. Este fluxo de trabalho é altamente eficaz em arquiteturas de cloud modernas para dimensionar aplicações de IA.

Aplicações no mundo real#

O cache semântico é fundamental para implementar soluções de IA económicas em vários domínios.

• Chatbots de suporte ao cliente: Num balcão de suporte de TI, centenas de utilizadores podem fazer variações da mesma pergunta (por exemplo, "Como redefino a minha palavra-passe?" vs. "Passos para recuperar uma palavra-passe esquecida"). O cache semântico reconhece estas intenções como idênticas, garantindo que o modelo calcula a resposta apenas uma vez. Isto reduz drasticamente a latência de inferência e o uso de tokens para soluções de gestão de API.
• Descoberta visual e RAG: Em pipelines multimodais, as plataformas utilizam a extração de características para colocar em cache os embeddings de imagens de referência. Quando um utilizador carrega uma imagem para encontrar itens visualmente semelhantes, o sistema pode recuperar instantaneamente resultados armazenados em cache com correspondência semântica, acelerando rapidamente o sistema de recomendação visual sem precisar de codificar repetidamente grandes entradas visuais. Os programadores integram frequentemente ferramentas como o LangChain para orquestrar estas camadas de cache.

Diferenciação entre termos de cache relacionados#

Para compreender plenamente a otimização de IA, é útil distinguir o cache semântico de outras formas de gestão de memória:

• Em comparação com o cache de prompts: O cache de prompts envolve guardar os estados matemáticos pré-calculados de um contexto estático (como o prefixo de um documento longo) durante uma sessão ativa para acelerar consultas subsequentes. O cache semântico armazena o resultado textual ou visual final de uma interação completa para responder a intenções completamente novas, mas idênticas.
• Em comparação com o KV Cache: O KV cache é um mecanismo de memória de baixo nível dentro de uma arquitetura Transformer que guarda estados de atenção intermédios durante a geração de texto token a token para facilitar a inferência em tempo real. O cache semântico funciona na camada da aplicação, armazenando em cache toda a troca de entrada e saída antes de esta chegar às camadas do modelo.

Simulação do cache semântico em visão#

O seguinte excerto de Python demonstra como simular o mecanismo principal de um cache semântico utilizando PyTorch e o pacote ultralytics. Ao calcular a similaridade entre uma imagem previamente armazenada em cache e uma nova imagem de consulta utilizando um modelo de classificação Ultralytics YOLO26, o sistema pode determinar se é necessária uma passagem completa de inferência.

import torch
from ultralytics import YOLO

# Load an Ultralytics YOLO26 classification model for embedding generation
model = YOLO("yolo26n-cls.pt")

# Extract the embedding for a previously 'cached' reference image
cached_embed = model.embed("reference_shoe.jpg")[0].flatten()

# Extract the embedding for a new user query image
new_embed = model.embed("user_uploaded_shoe.jpg")[0].flatten()

# Calculate cosine similarity to check for a semantic cache hit
similarity = torch.nn.functional.cosine_similarity(cached_embed, new_embed, dim=0)

# Apply a threshold to determine if the images are semantically equivalent
if similarity > 0.90:
    print(f"Cache hit! Similarity: {similarity.item():.2f}. Returning cached response.")
else:
    print(f"Cache miss! Similarity: {similarity.item():.2f}. Running full inference.")

Para equipas que procuram gerir conjuntos de dados e implementar modelos de visão computacional altamente otimizados, capazes de se integrarem perfeitamente em arquiteturas de cache avançadas, a Ultralytics Platform fornece um ambiente intuitivo e completo para treinar, acompanhar e disponibilizar modelos em escala.