Prompt Compression

La compression d'invites raccourcit l'entrée d'un grand modèle de langage (LLM) tout en préservant les informations nécessaires à sa réponse ; une requête utilise ainsi moins de tokens, s'exécute plus rapidement et tient dans la fenêtre de contexte. Les méthodes vont de la suppression de mots prévisibles par un petit modèle de langage au résumé de longs historiques, en passant par l'entraînement de tokens compacts appris qui remplacent des passages entiers. La compression est avantageuse lorsque les invites sont longues et fréquemment envoyées, par exemple dans des pipelines de génération augmentée par récupération (RAG) qui insèrent de nombreux documents récupérés, des agents d'IA dont l'historique s'allonge à chaque étape, et des applications contenant de longues instructions et de nombreux exemples. Les fournisseurs facturent chaque token d'entrée, et le calcul de l'attention augmente avec la longueur de l'entrée ; une invite réduite de moitié diminue donc approximativement de moitié le coût d'entrée et réduit la latence d'inférence.

Fonctionnement de la compression des invites#

La compression forte des invites transforme le texte en un texte plus court que tout LLM, y compris un modèle API fermé, peut lire. La plupart des méthodes évaluent chaque token avec un petit modèle de langage et suppriment ceux qu'il juge faciles à prédire, car ils contiennent le moins d'informations. Selective Context applique cette idée aux mots et aux expressions, et LLMLingua de Microsoft ajoute un contrôleur de budget qui attribue différents taux de compression aux instructions, aux exemples et à la question, ainsi qu'un élagage itératif au niveau des tokens ; il atteint jusqu'à 20x de compression avec peu de perte de performances. LLMLingua-2 reformule la compression comme une classification de tokens avec un encodeur bidirectionnel tel que XLM-RoBERTa, entraîné sur des exemples de compression distillés à partir d'un LLM plus grand. Il s'exécute 3x à 6x plus vite que les méthodes précédentes et accélère la latence de bout en bout de 1,6x à 2,9x pour une compression de 2x à 5x. Les méthodes abstractives demandent plutôt à un modèle de résumer le contexte ; elles compressent davantage, mais peuvent omettre des détails nécessaires pour répondre à la question.

La compression souple des invites transforme le texte en quelques intégrations apprises que le modèle lit à la place des tokens d'origine. Les tokens gist entraînent LLaMA-7B et FLAN-T5-XXL à condenser une instruction en quelques tokens spéciaux, avec jusqu'à 26x de compression et jusqu'à 40 % de FLOPs en moins. Ces méthodes nécessitent l'accès aux poids du modèle et s'appliquent donc aux modèles ouverts.

L'essentiel de la compression au niveau des tokens tient en quelques lignes de PyTorch. Cet exemple utilise GPT-2, avec ses 124 millions de paramètres, depuis Hugging Face Transformers pour calculer l'information propre de chaque token — le logarithme négatif de la probabilité du token étant donné tout ce qui le précède — et conserve la moitié la plus surprenante :

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("gpt2")
model = AutoModelForCausalLM.from_pretrained("gpt2")
prompt = (
    "The quarterly maintenance report states that, as of the end of the quarter, a total of three conveyor "
    "belts on line 4 were found to have worn bearings, and all of them were replaced on March 12 by the night shift."
)
ids = tokenizer(prompt, return_tensors="pt").input_ids[0]

# Self-information of each token, -log p(token | preceding tokens), under a small language model
with torch.no_grad():
    logits = model(ids[None]).logits[0, :-1]
info = -logits.log_softmax(-1).gather(1, ids[1:, None]).squeeze(1)

# Keep the first token and the more surprising half of the rest, in their original order
keep = torch.cat([torch.tensor([True]), info > info.median()])
compressed = tokenizer.decode(ids[keep])
print(f"{len(ids)} -> {keep.sum().item()} tokens: {compressed}")

Le programme affiche 46 -> 23 tokens: The quarterly maintenance report states, a three convey on line 4 found worn bearings all replaced on March 12 by night shift. Les faits sont préservés, notamment la ligne 4, les roulements usés, le 12 mars et l'équipe de nuit, tandis que le remplissage prévisible comme « à la fin du trimestre » disparaît. Le fragment « convey », vestige de « conveyor belts », est un artefact typique de l'élagage token par token ; certaines méthodes élaguent donc des mots ou des expressions entiers.

Compression des images#

Les modèles vision-langage transforment chaque image en centaines de tokens visuels, dont beaucoup sont redondants. FastV élague la moitié des tokens d'image après la deuxième couche et réduit les FLOPs de 45 % pour LLaVA-1.5-13B sans perte de performances ; la fusion de tokens applique une idée similaire au sein des transformeurs de vision. Un détecteur d'objets peut aussi servir à compresser les images : Ultralytics YOLO26 réduit une photo à Results.summary(), une liste comprenant le nom de classe, la confiance et les coordonnées de boîte de chaque objet. Un pipeline LLM qui a seulement besoin de savoir quels objets sont présents et où ils se trouvent peut ainsi envoyer quelques dizaines de tokens par objet au lieu d'une image qui coûte des centaines, voire plus d'un millier de tokens.

Compression des invites et techniques apparentées#

• Mise en cache des invites : Mémorise les états calculés par le modèle pour un préfixe d'invite répété afin de ne pas les recalculer. La longueur de l'invite ne change pas ; les deux techniques se combinent bien : compresse la partie variable d'une invite et mets en cache sa partie fixe.
• Compression du cache KV : Élimine ou quantifie les états clé-valeur dans le modèle pendant la génération. La compression d'invites agit sur l'entrée avant que le modèle ne la voie.
• Ingénierie des invites : Les utilisateurs rédigent à la main des invites claires et concises. La compression est automatique et s'applique à du contenu que personne ne modifie, comme les documents récupérés.
• Ingénierie du contexte : Pratique plus générale qui consiste à décider ce qui entre dans le contexte d'un modèle à chaque étape. La compression en est un outil, au même titre que la récupération et le filtrage.
• Enrichissement des invites : Ajoute à une invite du contexte récupéré ou généré. Les pipelines enrichissent souvent l'invite avant de compresser le résultat.

Applications concrètes#

• Pipelines RAG : Les passages récupérés sont compressés avant la génération, ce qui permet d'intégrer davantage de sources dans le budget et de concentrer le modèle sur les phrases qui répondent à la question.
• Historiques d'agents : Les agents de programmation et de recherche condensent leur historique lorsque le contexte se remplit, en remplaçant les anciennes sorties d'outils et les anciens échanges par un résumé, car la précision diminue lorsque les longs contextes s'encombrent de contenu obsolète.
• Invites few-shot : Les longues listes d'exemples résolus se compressent bien. Le contrôleur de budget de LLMLingua supprime d'abord des démonstrations entières, classées selon leur perplexité, puis élague les tokens individuellement, tout en conservant 85 % de l'instruction et 90 % de la question dans les paramètres par défaut de l'article.