KV Cache

La KV Cache (Key-Value Cache) est une technique d'optimisation critique utilisée principalement dans les Grands Modèles de Langage (LLM) et d'autres architectures basées sur Transformer pour accélérer la latence d'inférence et réduire les coûts de calcul. Essentiellement, la KV cache stocke les matrices Clé (Key) et Valeur (Value) générées par le mécanisme d'attention pour les jetons précédents dans une séquence. En enregistrant ces calculs intermédiaires, le modèle évite de recalculer les états d'attention pour tout l'historique de la conversation à chaque génération d'un nouveau jeton. Ce processus transforme le flux de travail de génération de texte d'une opération à complexité quadratique en une opération linéaire, rendant possibles les interactions en temps réel avec des chatbots et des agents IA.

Link to this sectionMécanisme et avantages#

Dans un modèle Transformer standard, générer le mot suivant nécessite de prêter attention à tous les mots précédents pour comprendre le contexte. Sans mise en cache, le modèle devrait recalculer les relations mathématiques pour toute la séquence à chaque étape. La KV cache résout ce problème en agissant comme une banque de mémoire.

• Amélioration de la vitesse : En récupérant les clés et valeurs pré-calculées depuis la mémoire, le système accélère considérablement le moteur d'inférence. C'est essentiel pour les applications nécessitant une faible latence, comme l'inférence en temps réel dans les bots de service client.
• Efficacité des ressources : Bien qu'elle augmente l'utilisation de la mémoire (VRAM), elle réduit considérablement le calcul (FLOPs) nécessaire par jeton. Ce compromis est souvent géré via des techniques comme la quantification de modèle ou le paging, de manière similaire à la gestion de la RAM par les systèmes d'exploitation.
• Contexte étendu : Une gestion efficace de la KV cache permet aux modèles de traiter une fenêtre de contexte plus large, leur permettant de traiter de longs documents ou de maintenir des conversations cohérentes sur de longues périodes.

Link to this sectionApplications concrètes#

La KV cache est un composant fondamental du déploiement de l'IA générative moderne, mais ses principes s'étendent également à la vision par ordinateur (CV).

1. Chatbots génératifs : Des services comme ChatGPT ou Claude reposent largement sur la KV cache. Lorsqu'un utilisateur pose une question de suivi, le modèle ne relit pas tout l'historique du chat depuis le début. Au lieu de cela, il ajoute la nouvelle entrée aux états mis en cache du tour précédent, permettant des réponses quasi instantanées.

2. Compréhension vidéo : Dans les tâches de compréhension vidéo, les modèles traitent les images de manière séquentielle. Similairement aux jetons textuels, les caractéristiques visuelles des images passées peuvent être mises en cache pour aider le modèle à suivre des objets ou reconnaître des actions sans retraiter tout l'historique vidéo. C'est particulièrement pertinent pour la reconnaissance d'action où le contexte temporel est crucial.

Link to this sectionGestion efficace de la mémoire#

À mesure que les modèles grandissent, la taille de la KV cache peut devenir un goulot d'étranglement, consommant des gigaoctets de mémoire GPU. Des avancées récentes se concentrent sur l'optimisation de ce stockage.

• PagedAttention : Inspiré par la mémoire virtuelle dans les systèmes d'exploitation, PagedAttention (introduit par vLLM) permet à la KV cache d'être stockée dans des blocs de mémoire non contigus. Cela réduit la fragmentation et permet des tailles de lot plus importantes lors du service de modèle.
• Quantification de la KV Cache : Pour économiser de l'espace, les développeurs appliquent souvent une précision mixte ou une quantification int8 spécifiquement aux valeurs mises en cache. Cela réduit l'empreinte mémoire, permettant aux dispositifs d'IA en périphérie (edge AI) avec une RAM limitée d'exécuter des modèles performants.
• Mise en cache des invites (Prompt Caching) : Une technique connexe où les états KV d'une invite système statique (par exemple, "Tu es un assistant de codage utile") sont calculés une fois et réutilisés à travers de nombreuses sessions utilisateur différentes. C'est une fonctionnalité clé pour optimiser les flux de travail de prompt engineering à grande échelle.

Link to this sectionDistinguer les concepts apparentés#

Il est utile de distinguer la KV Cache d'autres termes de mise en cache et d'optimisation :

• KV Cache vs Mise en cache des invites : La KV Cache fait généralement référence à la mémoire dynamique, jeton par jeton, utilisée lors d'un flux de génération unique. La mise en cache des invites fait spécifiquement référence au stockage de l'état traité d'une instruction d'entrée fixe pour être réutilisé lors de plusieurs appels d'inférence indépendants.
• KV Cache vs Embeddings : Les embeddings sont des représentations vectorielles de données d'entrée (texte ou images) qui capturent le sens sémantique. La KV cache stocke les activations (clés et valeurs) dérivées de ces embeddings au sein des couches d'attention, spécifiquement dans le but de générer des séquences.
• KV Cache vs Poids du modèle : Les poids du modèle sont les paramètres statiques et appris du réseau neuronal. La KV cache consiste en des données dynamiques et temporaires générées lors de la passe avant d'une séquence d'entrée spécifique.

Link to this sectionExemple : Contexte dans les modèles de vision#

Bien que la mise en cache KV soit plus célèbre dans le domaine du TAL, le concept de maintien de l'état s'applique aux modèles de vision avancés. Dans l'exemple ci-dessous, nous simulons l'idée de transmettre un état (contexte) dans un scénario de suivi vidéo en utilisant Ultralytics YOLO26. Ici, le tracker maintient l'identité des objets à travers les images, conceptuellement similaire à la façon dont une cache maintient le contexte à travers les jetons.

from ultralytics import YOLO

# Load the Ultralytics YOLO26 model
model = YOLO("yolo26n.pt")

# Track objects in a video, maintaining identity state across frames
# The 'track' mode effectively caches object features to link detections
results = model.track(source="https://ultralytics.com/images/bus.jpg", show=False)

# Print the ID of the tracked objects
if results[0].boxes.id is not None:
    print(f"Tracked IDs: {results[0].boxes.id.numpy()}")

Les développeurs souhaitant gérer des jeux de données et déployer des modèles optimisés peuvent utiliser la plateforme Ultralytics, qui simplifie le pipeline depuis l'annotation des données jusqu'au déploiement de modèle efficace. Pour ceux intéressés par les mécanismes plus profonds de l'attention, des bibliothèques comme PyTorch fournissent les blocs fondamentaux où ces mécanismes de mise en cache sont implémentés.