Chunked Prefill

Le préremplissage par blocs est une technique de planification de l’inférence qui divise un long prompt d’entrée en groupes plus petits de tokens, au lieu de traiter l’intégralité du prompt en une seule opération ininterrompue. Un moteur d’inférence peut intercaler ces blocs avec la génération de tokens pour d’autres requêtes, empêchant ainsi un long prompt de monopoliser le GPU. Il en résulte généralement une latence plus régulière avec des charges concurrentes, une meilleure utilisation du matériel et un service plus prévisible pour les applications interactives de grands modèles de langage.

Fonctionnement du préremplissage par blocs#

L’inférence autorégressive avec Transformer comporte deux phases principales :

• Préremplissage : Le modèle traite tous les tokens d’entrée, calcule leurs états d’attention et alimente le cache KV. Le préremplissage évalue de nombreux tokens en parallèle et est généralement limité par la puissance de calcul.
• Décodage : Le modèle génère la sortie un token à la fois tout en lisant les états précédemment mis en cache. Le décodage est souvent limité par la bande passante mémoire plutôt que par la puissance de calcul brute.

Sans partitionnement, une requête de 20 000 tokens peut occuper une étape d’inférence bien plus longtemps qu’une requête courte. Les générations actives peuvent alors subir des pauses, ce qui augmente la latence inter-tokens même lorsque leurs propres prompts sont courts.

Avec le préremplissage par blocs, le planificateur attribue à chaque itération un budget de tokens. Il planifie d’abord les opérations de décodage actives, puis utilise le budget restant pour un ou plusieurs blocs de prompt. Si un prompt ne tient pas dans le budget, ses tokens restants attendent une itération ultérieure. Les recommandations actuelles d’optimisation de vLLM décrivent cette approche comme un moyen de combiner le travail de préremplissage intensif en calcul avec le décodage intensif en mémoire.

Le partitionnement modifie le moment où les tokens du prompt sont traités, mais pas leur ordre ni leur signification. Chaque bloc terminé étend l’état d’attention mis en cache de la requête jusqu’à ce que le prompt complet soit prêt et que le décodage puisse commencer.

Pourquoi le préremplissage par blocs est important#

Le préremplissage par blocs répond à plusieurs objectifs de performance concurrents dans le déploiement de modèles en production :

• Latence inter-tokens : Donner la priorité aux requêtes de décodage existantes permet aux réponses diffusées de continuer sans longues pauses.
• Temps jusqu’au premier token : Les blocs volumineux terminent plus rapidement le traitement d’un nouveau prompt, tandis que les blocs très petits peuvent retarder son premier token généré.
• Débit : Combiner le travail de préremplissage et de décodage peut utiliser plus efficacement les capacités de calcul du GPU et la bande passante mémoire.
• Équité : Les prompts longs sont moins susceptibles de bloquer de nombreuses requêtes courtes et interactives.

Le paramètre de taille des blocs ou du budget de tokens constitue donc un compromis. La configuration du planificateur vLLM expose des réglages pour les limites de tokens traités par lot, les préremplissages partiels et les seuils applicables aux prompts longs. Les budgets plus petits favorisent généralement un décodage réactif, tandis que les budgets plus grands favorisent une ingestion plus rapide des prompts.

Le partitionnement ne supprime pas tous les goulets d’étranglement. Les contextes longs consomment toujours de la mémoire de cache, et une admission trop agressive peut provoquer une pression sur le cache, la préemption de requêtes ou un travail répété. Tu dois mesurer la latence d’inférence médiane et de longue traîne, le temps jusqu’au premier token, la latence inter-tokens, le débit et l’utilisation de la mémoire du GPU avec des distributions de prompts réalistes.

Concepts d’inférence associés#

Le préremplissage par blocs est étroitement lié à plusieurs optimisations, mais il répond à un objectif distinct :

• Regroupement continu : Ajoute et supprime dynamiquement des requêtes pendant la génération. Le préremplissage par blocs le complète en rendant planifiable le traitement des prompts longs à des limites définies au niveau des tokens.
• Mise en cache des prompts : Réutilise les états précédemment calculés pour un préfixe de prompt répété. Le préremplissage par blocs planifie un nouveau calcul ; il ne l’ignore pas.
• Gestion paginée du cache KV : Organise les états d’attention mis en cache en blocs mémoire. La présentation de TensorRT-LLM de NVIDIA inclut la mise en cache paginée et le traitement par lots à la volée, en plus des optimisations du traitement des prompts.
• Traitement dynamique par lots : Combine des requêtes distinctes en lots, comme l’explique le guide du traitement dynamique par lots de NVIDIA Triton. Il ne divise pas nécessairement un long prompt individuel en préremplissages partiels.
• Préremplissage et décodage désagrégés : Exécute les phases sur des workers distincts. Les recommandations de NVIDIA pour le déploiement du préremplissage et du décodage montrent comment mettre à l’échelle ces étapes indépendamment.

Bien que le workflow de déploiement Triton de Ultralytics YOLO26 prenne en charge l’inférence en vision par ordinateur évolutive et le traitement automatique par lots, la détection d’objets standard avec YOLO ne comporte pas de phase autorégressive de préremplissage de texte. Le préremplissage par blocs s’applique principalement aux modèles génératifs de langage et multimodaux.

Applications concrètes#

1. Assistants documentaires : Un assistant augmenté par récupération peut recevoir un long rapport tout en répondant simultanément à des utilisateurs posant de courtes questions. Partitionner le préremplissage du rapport permet aux conversations en cours de poursuivre leur décodage au lieu de se figer jusqu’au traitement de l’intégralité du contexte.

2. Analyse vidéo multimodale : Un modèle vision-langage peut recevoir des caractéristiques d’image, des descriptions d’objets et une longue instruction textuelle. Un pipeline de vision peut d’abord produire des détections avec la prédiction Ultralytics YOLO, puis envoyer le contexte visuel structuré au modèle génératif. Le préremplissage par blocs aide à planifier les tokens visuels et textuels ainsi produits avec les autres requêtes. Le workflow multimodal d’encodage, de préremplissage et de décodage de NVIDIA illustre pourquoi la gestion indépendante de ces étapes peut améliorer l’évolutivité.

Recommandations pratiques de déploiement#

Active le préremplissage par blocs uniquement avec un moteur de déploiement qui prend officiellement en charge l’architecture cible. Par exemple, la configuration du backend TensorRT-LLM documente les contrôles de contexte partitionné pour les déploiements pris en charge.

Évalue les performances avec une concurrence, des longueurs d’entrée et des longueurs de sortie réalistes, plutôt que de te fier à une seule requête. Commence avec le budget de tokens recommandé par le runtime, puis ajuste-le en surveillant le temps jusqu’au premier token et la latence inter-tokens. Enfin, teste des charges mixtes contenant à la fois des prompts très longs et très courts ; c’est dans ce contexte que le préremplissage par blocs apporte sa plus grande valeur opérationnelle.