Mise en cache des messages

Fonctionnement de la mise en cache des invites

Lorsqu'un LLM traite une invite, il passe par plusieurs étapes de calcul, y compris la tokenisation et des calculs complexes dans ses couches de réseau neuronal, impliquant souvent des mécanismes d'attention. La mise en cache des invites stocke généralement l'état de calcul intermédiaire (comme les paires clé-valeur dans les couches d'attention de l'architecture Transformer, souvent appelées cache KV) associé à une invite donnée ou à un préfixe d'une invite. Lorsqu'une nouvelle invite arrive, le système vérifie si son préfixe correspond à une invite précédemment traitée et mise en cache. Si une correspondance est trouvée, l'état intermédiaire mis en cache est récupéré, ce qui permet au modèle de contourner les étapes de calcul initiales et de commencer à générer la réponse à partir de cet état sauvegardé. Cette méthode est particulièrement efficace dans le cadre de l'IA conversationnelle ou de scénarios dans lesquels les invites ont un point de départ commun. Les systèmes utilisent souvent des magasins clé-valeur comme Redis ou Memcached pour gérer efficacement ces caches.

Avantages de la mise en cache rapide

La mise en place d'une mise en cache rapide présente plusieurs avantages :

• Réduction de la latence : Accélère considérablement les temps de réponse pour les requêtes répétées ou similaires, améliorant ainsi l'expérience de l'utilisateur dans les applications interactives telles que les chatbots.
• Réduction des coûts de calcul : Diminue la charge sur le matériel coûteux comme les GPU, ce qui permet de réaliser des économies, en particulier lors de l'utilisation de ressources informatiques en nuage ou d'appels d'API à des LLM commerciaux.
• Amélioration du débit : Permet au système de traiter plus de demandes simultanément car les ressources sont libérées plus rapidement.
• Cohérence : Assure des réponses identiques pour des invites identiques, ce qui peut être souhaitable dans certaines applications.

Applications dans le monde réel

La mise en cache rapide est précieuse dans divers systèmes pilotés par l'intelligence artificielle :

1. L'IA conversationnelle et les assistants virtuels : Dans les systèmes tels que les assistants virtuels du service client, de nombreuses conversations commencent par des salutations similaires ou des questions communes (par exemple, "Quelles sont vos heures d'ouverture ?", "Comment puis-je réinitialiser mon mot de passe ?"). La mise en cache du traitement initial de ces entrées communes permet au système de répondre beaucoup plus rapidement. Par exemple, l'état de traitement après avoir traité la demande "Bonjour, j'ai besoin d'aide pour..." peut être mis en cache et réutilisé instantanément pour plusieurs utilisateurs qui formulent des demandes similaires. Explorez l'IA dans le service à la clientèle.
2. Plateformes de génération de contenu : Les outils utilisés pour la génération de texte, comme les assistants d'écriture ou les générateurs de code, reçoivent souvent des invites avec des instructions récurrentes ou des préfixes de contexte (par exemple, "Traduire le texte suivant en français :", "Écrire le code Python pour..."). La mise en cache de l'état correspondant à ces préfixes accélère le processus de génération, ce qui est particulièrement utile dans les environnements interactifs ou à fort volume. En savoir plus sur les cas d'utilisation de l'IA générative.

Mise en cache de l'invite et concepts connexes

Il est utile de distinguer la mise en cache rapide d'autres techniques apparentées :

• Prompt Engineering: Se concentre sur la conception d'invites efficaces pour susciter les réponses souhaitées de la part du modèle d'IA. La mise en cache optimise l'exécution de ces invites, quelle que soit la qualité de leur conception.
• Enrichissement des messages: Il s'agit d'ajouter un contexte ou des informations de clarification à l'invite d'un utilisateur avant qu' elle ne soit envoyée au modèle. La mise en cache a lieu pendant ou après le traitement de l'invite (potentiellement enrichie) par le modèle.
• Prompt Tuning (Tuning de l'invite) et LoRA: Il s'agit de méthodes de réglage fin efficace des paramètres (PEFT) qui adaptent le comportement d'un modèle en formant de petits ensembles de paramètres supplémentaires, ce qui permet de personnaliser le modèle pour des tâches spécifiques. La mise en cache est une optimisation du temps d'inférence qui ne modifie pas le modèle lui-même.
• Génération améliorée par récupération (RAG): Améliore les invites en récupérant des informations pertinentes dans des bases de connaissances externes et en les ajoutant au contexte de l'invite. Alors que la RAG modifie l'entrée, la mise en cache peut toujours être appliquée au traitement de l'invite combinée (requête originale + données récupérées).
• Mise en cache de la sortie standard : la mise en cache web traditionnelle stocke la sortie finale d'une requête. La mise en cache des invites stocke souvent des états de calcul intermédiaires dans le pipeline de traitement du modèle, ce qui permet une réutilisation plus souple, en particulier pour les invites qui partagent des préfixes communs mais ont des terminaisons différentes.

Bien que la mise en cache des messages soit principalement associée aux LLM, le principe sous-jacent de la mise en cache des calculs pourrait potentiellement s'appliquer à des modèles multimodaux complexes dans lesquels les messages textes interagissent avec d'autres modalités, bien qu'il soit moins courant dans les tâches de vision par ordinateur standard telles que la détection d'objets à l'aide de modèles tels que YOLO d'Ultralytics(voir les comparaisons de modèles YOLO). Des plateformes comme Ultralytics HUB rationalisent le déploiement et la gestion des modèles d'IA, où des optimisations comme la mise en cache peuvent être cruciales pour les performances dans les environnements de production(en savoir plus sur les meilleures pratiques de déploiement).