Prompt Compression

La compresión de prompts es una técnica de optimización avanzada diseñada para reducir la longitud y la complejidad del texto de entrada proporcionado a los Large Language Models (LLMs) y multi-modal models. Mediante la eliminación algorítmica de palabras redundantes, contexto irrelevante y palabras vacías (stop words) mientras se preserva el significado semántico principal, la compresión de prompts permite que los sistemas de IA procesen la información de manera más eficiente. Este método es cada vez más fundamental para minimizar los costes computacionales, reducir la inference latency y evitar que los modelos superen su context window máximo.

Cómo funciona la compresión de prompts#

A nivel arquitectónico, la compresión de prompts suele utilizar modelos más pequeños y especializados o algoritmos de la teoría de la información para evaluar la importancia de cada token en un prompt determinado. Técnicas como token merging and entropy-based pruning identifican y eliminan los tokens que aportan poco al significado general. Esto garantiza que la entrada final contenga únicamente la información más densa.

Investigaciones recientes de organizaciones autorizadas destacan que los prompts altamente comprimidos pueden mantener el rendimiento en tareas de razonamiento complejo al tiempo que reducen significativamente el consumo de tokens. Para los desarrolladores que integran IA en aplicaciones escalables, cumplir con las prompt optimization guidelines by OpenAI y aprovechar los marcos de compresión es una práctica recomendada estándar para un despliegue eficiente.

Aplicaciones en el mundo real#

La compresión de prompts proporciona un valor inmediato en escenarios que requieren el procesamiento rápido de datos textuales o visuales extensos:

• Retrieval-Augmented Generation (RAG): En las aplicaciones de búsqueda empresarial, los pipelines de RAG suelen recuperar docenas de documentos extensos para responder a una sola consulta de usuario. Los algoritmos de compresión de prompts reducen estos documentos recuperados, destilándolos en resúmenes factuales concisos antes de introducirlos en el modelo de generación. Esto evita el desbordamiento de tokens y acelera la real-time inference.
• Autonomous AI Agents: Los agentes y los chatbots deben mantener una memoria a largo plazo de las interacciones de los usuarios. En lugar de pasar todo el historial de la conversación en cada nueva consulta, las técnicas de compresión resumen los turnos de diálogo más antiguos, lo que garantiza que el agente siga siendo consciente del contexto sin incurrir en costes computacionales exponenciales.

Compresión de prompts frente a técnicas relacionadas#

Para construir pipelines robustos de machine learning operations (MLOps), es importante distinguir la compresión de prompts de conceptos relacionados:

• Frente a Prompt Caching: El almacenamiento en caché guarda los estados computacionales internos del texto procesado previamente para evitar volver a calcularlos. La compresión, por otro lado, altera y acorta activamente el texto de entrada en sí mismo antes de que se produzca cualquier procesamiento.
• Frente a Prompt Engineering: La ingeniería de prompts es el arte dirigido por humanos de diseñar instrucciones efectivas. La compresión es una reducción automatizada y algorítmica de dichas instrucciones.
• Frente a Prompt Enrichment: El enriquecimiento amplía un prompt añadiendo contexto externo, mientras que la compresión lo reduce. A menudo se utilizan juntos: un sistema puede enriquecer un prompt con resultados de bases de datos y luego comprimir la carga útil final antes de la inferencia.

Implementación en visión artificial#

En Computer Vision (CV), los principios de compresión de prompts se aplican cuando se utilizan modelos de vocabulario abierto que aceptan consultas de texto para identificar objetos. Mantener las descripciones de las clases concisas garantiza una codificación textual más rápida y reduce la sobrecarga de memoria.

Para entornos de producción de clases fijas donde la velocidad es primordial, los desarrolladores suelen pasar de modelos guiados por texto a modelos de arquitectura fija altamente optimizados como Ultralytics YOLO26. Puedes gestionar eficientemente los conjuntos de datos y entrenar estos modelos de última generación utilizando el Ultralytics Platform.

from ultralytics import YOLO

# Load an open-vocabulary YOLO-World model
model = YOLO("yolov8s-world.pt")

# Principle of prompt compression: Use concise, distilled class names
# instead of lengthy, complex descriptions for faster text encoding
compressed_prompts = ["helmet", "vest", "forklift"]
model.set_classes(compressed_prompts)

# Run inference with the optimized class list
results = model.predict("https://ultralytics.com/images/bus.jpg")
results[0].show()