Context Rot

La degradación del contexto es la pérdida gradual de fiabilidad que ocurre cuando un modelo de IA recibe más contexto del que puede utilizar eficazmente. Incluso cuando una ventana de contexto anunciada puede albergar técnicamente cientos de miles de tokens, un modelo de lenguaje grande puede pasar por alto hechos relevantes, seguir instrucciones desactualizadas o razonar con menos precisión a medida que aumenta la entrada. Un estudio de 2025 sobre la degradación del contexto de Chroma observó este rendimiento no uniforme en 18 modelos y varias tareas controladas. (trychroma.com)

Link to this sectionCómo ocurre la degradación del contexto#

Las entradas largas imponen mayores exigencias al mecanismo de atención del modelo. La evidencia importante debe competir con instrucciones repetidas, documentos irrelevantes, resultados de herramientas y turnos de conversación antiguos. La posición del contexto, la similitud semántica, los hechos contradictorios y la complejidad de la tarea pueden afectar a lo que utiliza el modelo.

El benchmark de contexto largo RULER de 2024 descubrió que los modelos que funcionaban bien en la recuperación simple a menudo empeoraban a medida que aumentaban la longitud de la secuencia y la complejidad de la tarea. El benchmark NoLiMa de 2025 reveló caídas mayores cuando encontrar una respuesta requería razonamiento semántico en lugar de hacer coincidir palabras idénticas. Por lo tanto, no existe un recuento universal de tokens (incluidos los modelos Gemini) en el que comience la degradación del contexto; el umbral depende del modelo, la estructura del prompt y la tarea. (arxiv.org)

Link to this sectionEjemplos del mundo real#

• Asistentes de atención al cliente: un chatbot al que se le dan años de tickets puede dar prioridad a una política obsoleta o pasar por alto una actualización reciente de la cuenta. La investigación que utiliza la memoria conversacional LongMemEval y el benchmark multimodal LoCoMo muestra que extraer, actualizar y razonar sobre largos historiales de interacción sigue siendo un desafío. (arxiv.org)
• Agentes de inspección visual: un modelo de visión-lenguaje que supervisa una fábrica puede volverse menos fiable si cada fotograma, detección y registro de mantenimiento se coloca en un único prompt. Un mejor flujo de trabajo utiliza Ultralytics YOLO26 para extraer hechos visuales concisos antes del razonamiento del modelo de lenguaje.
• Agentes de codificación: cargar un repositorio completo, todas las definiciones de herramientas y el historial completo del terminal puede oscurecer el objetivo actual. La guía de ingeniería de contexto de Anthropic recomienda curar el contexto, mientras que su enfoque de habilidades de agente carga recursos detallados solo cuando es necesario. (anthropic.com)

Este flujo de trabajo de predicción YOLO demuestra cómo convertir detecciones sin procesar en un contexto estructurado y compacto:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
result = model("https://ultralytics.com/images/bus.jpg")[0]
labels = [model.names[int(cls)] for cls in result.boxes.cls]
context = {"frame": 1, "objects": sorted(set(labels))}
print(context)

Link to this sectionCómo reducir la degradación del contexto#

• Recupera solo la evidencia relevante: utiliza fragmentación semántica y un reranker en lugar de enviar todos los documentos disponibles.
• Comprime información antigua: reemplaza los historiales largos por resúmenes verificados, decisiones y tareas sin resolver. La investigación sugiere que la longitud de la entrada puede reducir el rendimiento incluso después de una recuperación exitosa. (arxiv.org)
• Preserva prefijos estables: el almacenamiento en caché de prompts de OpenAI y el almacenamiento en caché de contexto de Gemini pueden reducir los costes de procesamiento repetido, aunque el almacenamiento en caché por sí solo no mejora la calidad del contexto.
• Usa ventanas deslizantes: Google recomienda la compresión de la ventana de contexto para sesiones largas en vivo, reteniendo información reciente mientras se eliminan los tokens más antiguos. (ai.google.dev)
• Evalúa en longitudes realistas: aplica monitorización de modelos y reproduce pruebas controladas con el kit de herramientas abierto de degradación del contexto.

La degradación del contexto difiere de la alucinación, que es una salida sin soporte; del olvido catastrófico, que cambia el conocimiento del modelo durante el entrenamiento; y de la desviación de datos (data drift), que refleja cambios en las entradas de producción. La degradación del contexto es principalmente un fallo en la selección y el razonamiento del contexto durante la inferencia, lo que convierte a la ingeniería de contexto eficaz en su principal defensa.