Semantic Caching

Il caching semantico è una tecnica di ottimizzazione avanzata utilizzata principalmente nell'ambito della IA generativa e per i modelli linguistici di grandi dimensioni (LLMs), che memorizza e recupera le risposte in base al significato (semantica) di una query anziché al suo testo esatto. Identificando quando un nuovo prompt pone la stessa domanda fondamentale di uno a cui è già stata data risposta, il caching semantico evita di richiamare nuovamente il modello di IA, riducendo drasticamente i tempi di elaborazione e i costi dell'API.

Come funziona il caching semantico#

A differenza del caching tradizionale, che richiede corrispondenze identiche tra stringhe, una cache semantica converte le query in ingresso in vettori numerici ad alta dimensionalità, noti come embedding. Quando un utente invia un prompt, i sistemi che utilizzano il caching semantico Redis o analoghi archivi in memoria eseguono una ricerca vettoriale per confrontare il nuovo vettore con quelli memorizzati in precedenza all'interno di un database vettoriale.

Questo confronto si basa su metriche di distanza matematica, tra cui la più comune è la similarità del coseno. Se il punteggio di similarità tra la nuova query e una query memorizzata nella cache supera una soglia predefinita (ad esempio, 0.95), viene registrato un "cache hit". Il sistema restituisce immediatamente la risposta memorizzata, saltando completamente il motore di inferenza. Se il punteggio è inferiore alla soglia, si verifica un "cache miss", che richiede al modello di generare una nuova risposta e di memorizzare la nuova coppia embedding-risposta per interazioni future. Questo flusso di lavoro è altamente efficace nelle moderne architetture cloud per scalare le applicazioni di IA.

Applicazioni nel mondo reale#

Il caching semantico è fondamentale per implementare soluzioni di IA convenienti in termini di costi in vari ambiti.

• Chatbot per l'assistenza clienti: In un servizio di assistenza IT, centinaia di utenti potrebbero porre varianti della stessa domanda (ad esempio, "Come reimposto la password?" rispetto a "Procedura per password dimenticata"). Il caching semantico riconosce questi intenti come identici, garantendo che il modello calcoli la risposta una sola volta. Questo riduce drasticamente la latenza di inferenza e l'utilizzo di token per le soluzioni di gestione delle API.
• Ricerca visiva e RAG: Nelle pipeline multimodali, le piattaforme utilizzano l'estrazione delle caratteristiche per memorizzare nella cache gli embedding delle immagini di riferimento. Quando un utente carica un'immagine per trovare elementi visivamente simili, il sistema può recuperare immediatamente risultati memorizzati nella cache e corrispondenti semanticamente, accelerando rapidamente il sistema di raccomandazione visiva senza dover codificare ripetutamente grandi input visivi. Gli sviluppatori integrano spesso strumenti come LangChain per orchestrare questi livelli di caching.

Distinguere i termini correlati al caching#

Per comprendere appieno l'ottimizzazione dell'IA, è utile distinguere il caching semantico da altre forme di gestione della memoria:

• Rispetto al caching dei prompt: Il caching dei prompt consiste nel salvare gli stati matematici precalcolati di un contesto statico (come il prefisso di un documento lungo) durante una sessione attiva, per velocizzare le query successive. Il caching semantico memorizza l'output testuale o visivo finale di un'interazione completa, per gestire intenti completamente nuovi ma identici.
• Rispetto alla KV Cache: La KV cache è un meccanismo di memoria di basso livello all'interno di un'architettura Transformer, che salva gli stati intermedi dell'attenzione durante la generazione del testo token per token, per facilitare l'inferenza in tempo reale. Il caching semantico opera a livello applicativo e memorizza nella cache l'intero scambio input-output prima ancora che raggiunga i livelli del modello.

Simulare il caching semantico nella visione artificiale#

Il seguente frammento di codice Python mostra come simulare il meccanismo di base di una cache semantica utilizzando PyTorch e il pacchetto ultralytics. Calcolando la similarità tra un'immagine memorizzata in precedenza nella cache e una nuova immagine di query utilizzando un modello di classificazione Ultralytics YOLO26, il sistema può determinare se sia necessario eseguire un passaggio completo di inferenza.

import torch
from ultralytics import YOLO

# Load an Ultralytics YOLO26 classification model for embedding generation
model = YOLO("yolo26n-cls.pt")

# Extract the embedding for a previously 'cached' reference image
cached_embed = model.embed("reference_shoe.jpg")[0].flatten()

# Extract the embedding for a new user query image
new_embed = model.embed("user_uploaded_shoe.jpg")[0].flatten()

# Calculate cosine similarity to check for a semantic cache hit
similarity = torch.nn.functional.cosine_similarity(cached_embed, new_embed, dim=0)

# Apply a threshold to determine if the images are semantically equivalent
if similarity > 0.90:
    print(f"Cache hit! Similarity: {similarity.item():.2f}. Returning cached response.")
else:
    print(f"Cache miss! Similarity: {similarity.item():.2f}. Running full inference.")

Per i team che desiderano gestire dataset e implementare modelli di visione artificiale altamente ottimizzati, integrabili senza problemi con architetture di caching avanzate, la Ultralytics Platform offre un ambiente intuitivo e completo per addestrare, monitorare e distribuire modelli su larga scala.