Prompt Compression

La compression de prompt est une technique d'optimisation avancée conçue pour réduire la longueur et la complexité du texte d'entrée fourni aux grands modèles de langage (LLM) et aux modèles multi-modaux. En supprimant algorithmiquement les mots redondants, le contexte non pertinent et les mots vides tout en préservant la signification sémantique essentielle, la compression de prompt permet aux systèmes d'IA de traiter les informations plus efficacement. Cette méthode est de plus en plus cruciale pour minimiser les coûts de calcul, réduire la latence d'inférence et empêcher les modèles de dépasser leur fenêtre de contexte maximale.

Link to this sectionComment fonctionne la compression de prompt#

Au niveau architectural, la compression de prompt utilise souvent des modèles plus petits et spécialisés ou des algorithmes de théorie de l'information pour évaluer l'importance de chaque jeton dans un prompt donné. Des techniques comme la fusion de jetons et l'élagage basé sur l'entropie identifient et suppriment les jetons qui contribuent peu à la signification globale. Cela garantit que l'entrée finale ne contient que les informations les plus denses.

Des recherches récentes provenant d'organisations faisant autorité soulignent que des prompts hautement compressés peuvent maintenir leurs performances sur des tâches de raisonnement complexes tout en réduisant considérablement la consommation de jetons. Pour les développeurs intégrant l'IA dans des applications évolutives, suivre les directives d'optimisation de prompt d'OpenAI et tirer parti des frameworks de compression est une bonne pratique standard pour un déploiement efficace.

Link to this sectionApplications concrètes#

La compression de prompt apporte une valeur immédiate dans les scénarios nécessitant le traitement rapide de données textuelles ou visuelles volumineuses :

• Génération augmentée par récupération (RAG) : Dans les applications de recherche en entreprise, les pipelines RAG récupèrent souvent des dizaines de documents longs pour répondre à une seule requête utilisateur. Les algorithmes de compression de prompt réduisent ces documents récupérés, les distillant en résumés factuels concis avant de les transmettre au modèle de génération. Cela évite le dépassement de jetons et accélère l'inférence en temps réel.
• Agents d'IA autonomes : Les agents et les chatbots doivent conserver une mémoire à long terme des interactions des utilisateurs. Au lieu de transmettre tout l'historique de la conversation à chaque nouvelle requête, les techniques de compression résument les tours de dialogue plus anciens, garantissant que l'agent reste conscient du contexte sans entraîner de coûts de calcul exponentiels.

Link to this sectionCompression de prompt vs techniques connexes#

Pour construire des pipelines robustes d'opérations d'apprentissage automatique (MLOps), il est important de distinguer la compression de prompt des concepts connexes :

• Vs. Mise en cache de prompt : La mise en cache stocke les états de calcul internes de textes précédemment traités pour éviter de les recalculer. La compression, quant à elle, modifie et raccourcit activement le texte d'entrée lui-même avant que tout traitement n'ait lieu.
• Vs. Ingénierie de prompt : L'ingénierie de prompt est l'art humain de concevoir des instructions efficaces. La compression est une réduction automatisée et algorithmique de ces instructions.
• Vs. Enrichissement de prompt : L'enrichissement étend un prompt en ajoutant un contexte externe, tandis que la compression le réduit. Ils sont souvent utilisés ensemble : un système peut enrichir un prompt avec des résultats de base de données, puis compresser la charge utile finale avant l'inférence.

Link to this sectionMise en œuvre en vision par ordinateur#

En Vision par ordinateur (CV), les principes de compression de prompt s'appliquent lors de l'utilisation de modèles à vocabulaire ouvert qui acceptent des requêtes textuelles pour identifier des objets. Garder les descriptions de classe concises garantit un encodage textuel plus rapide et réduit la surcharge mémoire.

Pour les environnements de production à classes fixes où la vitesse est primordiale, les développeurs passent généralement de modèles basés sur des prompts textuels à des modèles à architecture fixe hautement optimisés comme Ultralytics YOLO26. Tu peux gérer efficacement tes jeux de données et entraîner ces modèles de pointe en utilisant la Plateforme Ultralytics.

from ultralytics import YOLO

# Load an open-vocabulary YOLO-World model
model = YOLO("yolov8s-world.pt")

# Principle of prompt compression: Use concise, distilled class names
# instead of lengthy, complex descriptions for faster text encoding
compressed_prompts = ["helmet", "vest", "forklift"]
model.set_classes(compressed_prompts)

# Run inference with the optimized class list
results = model.predict("https://ultralytics.com/images/bus.jpg")
results[0].show()