Context Rot
La degradación del contexto es la caída de precisión de un LLM a medida que crece su entrada, incluso cuando esta sigue estando muy por debajo del límite de la ventana de contexto. Explica las pruebas, las causas y las soluciones.
La degradación del contexto es la disminución de la precisión de un modelo de lenguaje grande (LLM) cuando aumenta la longitud de su entrada, aunque esta quepa holgadamente en su ventana de contexto. Un modelo que responde correctamente a un prompt de 300 tokens puede pasar por alto el mismo dato, seguir una instrucción obsoleta o confundir detalles parecidos cuando ese dato aparece entre 100.000 tokens de historial de conversación, documentos y resultados de herramientas. El informe sobre la degradación del contexto de Chroma, publicado en julio de 2025, midió este efecto en 18 modelos de Anthropic, OpenAI, Google y Alibaba, entre ellos Claude Opus 4, GPT-4.1, Gemini 2.5 Pro y Qwen3, y observó una caída de la precisión al aumentar la longitud de la entrada en todos los modelos, incluso en una tarea tan sencilla como copiar una lista larga de palabras repetidas.
Cómo se manifiesta la degradación del contexto#
Las pruebas de recuperación sencillas la ocultan. En una prueba de la aguja en el pajar (NIAH), el dato insertado suele compartir palabras con la pregunta, y los modelos de vanguardia ya obtienen puntuaciones cercanas al 100 % con cientos de miles de tokens. Las pruebas más difíciles revelan la caída:
- Posición: El estudio de 2023 Lost in the Middle observó que los modelos responden mejor cuando el pasaje pertinente aparece al principio o al final del prompt y peor cuando aparece en medio.
- Complejidad de la tarea: El benchmark RULER de NVIDIA añade tareas de seguimiento de varios pasos y agregación, y observó que solo la mitad de los 17 modelos que afirmaban admitir 32K tokens o más obtuvo resultados satisfactorios con 32K.
- Sin coincidencia literal: NoLiMa formula cada pregunta con un solapamiento mínimo de palabras con la respuesta, por lo que el modelo debe inferir la relación. Con 32K tokens, 11 de los 13 modelos bajaron de la mitad de sus puntuaciones con contexto corto, y GPT-4o cayó del 99.3 % al 69.7 %.
- Distractores y memoria: En las pruebas de Chroma, un solo pasaje parecido a la respuesta redujo la precisión. En las preguntas de conversación de LongMemEval, todos los modelos obtuvieron puntuaciones mucho más altas con prompts centrados de unos 300 tokens que con historiales completos de unos 113.000 tokens.
Por qué ocurre#
La autoatención reparte una cantidad fija de peso softmax entre todos los tokens, así que cada token añadido compite con las pruebas relevantes; Anthropic denomina a este límite el presupuesto de atención del modelo. Los modelos también aprenden sus patrones de atención a partir de datos de entrenamiento en los que las secuencias cortas son más habituales que las largas, y las instrucciones antiguas, los datos reemplazados y los pasajes casi duplicados ofrecen al modelo varias respuestas plausibles entre las que elegir. La estructura también importa: en las pruebas de Chroma, los textos de referencia con oraciones inconexas y desordenadas perjudicaron menos la precisión que los ensayos coherentes.
Degradación del contexto y términos relacionados#
- Ventana de contexto: El límite estricto de tokens que acepta un modelo. La degradación del contexto se produce antes de alcanzar ese límite.
- Alucinación: Cualquier resultado que no esté respaldado por la entrada o por hechos. Los prompts largos y con distracciones aumentan su frecuencia; en las pruebas con distractores de Chroma, los modelos GPT alucinaron con más frecuencia, mientras que los modelos Claude se negaron a responder con más frecuencia.
- Olvido catastrófico: Pérdida de habilidades anteriores al modificar los pesos de un modelo durante el entrenamiento. La degradación del contexto no modifica ningún peso y se produce durante la inferencia.
- Deriva de datos: Cambio a lo largo del tiempo en las entradas que recibe un modelo implementado.
Cómo reducir la degradación del contexto#
La solución es la ingeniería del contexto: incluir en cada llamada el conjunto más pequeño posible de tokens relevantes para el modelo. La generación aumentada por recuperación (RAG), junto con la segmentación semántica y un reordenador, envía unos pocos pasajes pertinentes en lugar de conjuntos enteros de documentos; la compresión de prompts acorta lo que queda. La guía de Anthropic sobre ingeniería del contexto para agentes de IA añade tres técnicas para tareas largas: la compactación, que sustituye los turnos antiguos por un resumen; las notas estructuradas que el agente de IA escribe fuera de la ventana y consulta más adelante, una forma de memoria episódica; y los subagentes, que exploran usando decenas de miles de tokens en sus propias ventanas y devuelven resúmenes de entre 1.000 y 2.000 tokens.
Las habilidades de agente aplican el mismo principio de carga justo a tiempo a las instrucciones. En Ultralytics Agent Skills, una habilidad de enrutamiento yolo asigna una solicitud a una de seis habilidades del ciclo de vida, como yolo-training o yolo-export, de modo que un agente de programación solo carga orientación detallada sobre YOLO para la etapa en la que está trabajando.










