Licencia YOLO
Volver al glosario de Ultralytics

Context Rot

La degradación del contexto es la caída de precisión de un LLM a medida que crece su entrada, incluso cuando esta sigue estando muy por debajo del límite de la ventana de contexto. Explica las pruebas, las causas y las soluciones.

La degradación del contexto es la disminución de la precisión de un modelo de lenguaje grande (LLM) cuando aumenta la longitud de su entrada, aunque esta quepa holgadamente en su ventana de contexto. Un modelo que responde correctamente a un prompt de 300 tokens puede pasar por alto el mismo dato, seguir una instrucción obsoleta o confundir detalles parecidos cuando ese dato aparece entre 100.000 tokens de historial de conversación, documentos y resultados de herramientas. El informe sobre la degradación del contexto de Chroma, publicado en julio de 2025, midió este efecto en 18 modelos de Anthropic, OpenAI, Google y Alibaba, entre ellos Claude Opus 4, GPT-4.1, Gemini 2.5 Pro y Qwen3, y observó una caída de la precisión al aumentar la longitud de la entrada en todos los modelos, incluso en una tarea tan sencilla como copiar una lista larga de palabras repetidas.

Cómo se manifiesta la degradación del contexto#

Las pruebas de recuperación sencillas la ocultan. En una prueba de la aguja en el pajar (NIAH), el dato insertado suele compartir palabras con la pregunta, y los modelos de vanguardia ya obtienen puntuaciones cercanas al 100 % con cientos de miles de tokens. Las pruebas más difíciles revelan la caída:

  • Posición: El estudio de 2023 Lost in the Middle observó que los modelos responden mejor cuando el pasaje pertinente aparece al principio o al final del prompt y peor cuando aparece en medio.
  • Complejidad de la tarea: El benchmark RULER de NVIDIA añade tareas de seguimiento de varios pasos y agregación, y observó que solo la mitad de los 17 modelos que afirmaban admitir 32K tokens o más obtuvo resultados satisfactorios con 32K.
  • Sin coincidencia literal: NoLiMa formula cada pregunta con un solapamiento mínimo de palabras con la respuesta, por lo que el modelo debe inferir la relación. Con 32K tokens, 11 de los 13 modelos bajaron de la mitad de sus puntuaciones con contexto corto, y GPT-4o cayó del 99.3 % al 69.7 %.
  • Distractores y memoria: En las pruebas de Chroma, un solo pasaje parecido a la respuesta redujo la precisión. En las preguntas de conversación de LongMemEval, todos los modelos obtuvieron puntuaciones mucho más altas con prompts centrados de unos 300 tokens que con historiales completos de unos 113.000 tokens.

Por qué ocurre#

La autoatención reparte una cantidad fija de peso softmax entre todos los tokens, así que cada token añadido compite con las pruebas relevantes; Anthropic denomina a este límite el presupuesto de atención del modelo. Los modelos también aprenden sus patrones de atención a partir de datos de entrenamiento en los que las secuencias cortas son más habituales que las largas, y las instrucciones antiguas, los datos reemplazados y los pasajes casi duplicados ofrecen al modelo varias respuestas plausibles entre las que elegir. La estructura también importa: en las pruebas de Chroma, los textos de referencia con oraciones inconexas y desordenadas perjudicaron menos la precisión que los ensayos coherentes.

  • Ventana de contexto: El límite estricto de tokens que acepta un modelo. La degradación del contexto se produce antes de alcanzar ese límite.
  • Alucinación: Cualquier resultado que no esté respaldado por la entrada o por hechos. Los prompts largos y con distracciones aumentan su frecuencia; en las pruebas con distractores de Chroma, los modelos GPT alucinaron con más frecuencia, mientras que los modelos Claude se negaron a responder con más frecuencia.
  • Olvido catastrófico: Pérdida de habilidades anteriores al modificar los pesos de un modelo durante el entrenamiento. La degradación del contexto no modifica ningún peso y se produce durante la inferencia.
  • Deriva de datos: Cambio a lo largo del tiempo en las entradas que recibe un modelo implementado.

Cómo reducir la degradación del contexto#

La solución es la ingeniería del contexto: incluir en cada llamada el conjunto más pequeño posible de tokens relevantes para el modelo. La generación aumentada por recuperación (RAG), junto con la segmentación semántica y un reordenador, envía unos pocos pasajes pertinentes en lugar de conjuntos enteros de documentos; la compresión de prompts acorta lo que queda. La guía de Anthropic sobre ingeniería del contexto para agentes de IA añade tres técnicas para tareas largas: la compactación, que sustituye los turnos antiguos por un resumen; las notas estructuradas que el agente de IA escribe fuera de la ventana y consulta más adelante, una forma de memoria episódica; y los subagentes, que exploran usando decenas de miles de tokens en sus propias ventanas y devuelven resúmenes de entre 1.000 y 2.000 tokens.

Las habilidades de agente aplican el mismo principio de carga justo a tiempo a las instrucciones. En Ultralytics Agent Skills, una habilidad de enrutamiento yolo asigna una solicitud a una de seis habilidades del ciclo de vida, como yolo-training o yolo-export, de modo que un agente de programación solo carga orientación detallada sobre YOLO para la etapa en la que está trabajando.

Explora las soluciones

Visión artificial en el deporte

Visión artificial en el deporte

Descubre cómo Ultralytics YOLO impulsa la visión artificial en el deporte con el seguimiento de jugadores y balones, analíticas de rendimiento, información útil para entrenadores y rehabilitación de deportistas.
Más información
Visión artificial para imágenes aéreas

Visión artificial para imágenes aéreas

Convierte imágenes aéreas y de drones en información útil en tiempo real para la agricultura, la acuicultura, la conservación y el análisis geoespacial con Ultralytics YOLO.
Más información
Visión artificial en el sector aeroespacial

Visión artificial en el sector aeroespacial

Aplica la visión artificial en el sector aeroespacial con Ultralytics YOLO para inspeccionar aeronaves, detectar objetos extraños en pistas, gestionar operaciones en tierra y detectar defectos en materiales compuestos.
Más información
Visión artificial en seguridad

Visión artificial en seguridad

Protege todas tus instalaciones con los modelos Ultralytics YOLO. La IA visual permite supervisar perímetros, detectar amenazas, reconocer matrículas y mejorar la seguridad laboral.
Más información
Visión artificial en robótica

Visión artificial en robótica

Potencia máquinas más inteligentes con los modelos Ultralytics YOLO. La IA visual en robótica impulsa la navegación autónoma, la percepción, el seguimiento de objetos y el control en tiempo real.
Más información
Visión artificial en logística

Visión artificial en logística

Agiliza la logística con modelos Ultralytics YOLO. La IA visual permite inspeccionar paquetes, clasificarlos, realizar el seguimiento de vehículos y supervisar la seguridad del almacén en tiempo real.
Más información
Visión artificial en el comercio minorista

Visión artificial en el comercio minorista

Reinventa el comercio minorista con modelos Ultralytics YOLO. La IA visual permite realizar el seguimiento del inventario, supervisar estanterías, gestionar colas y obtener información más útil sobre los clientes.
Más información
Visión artificial en el sector sanitario

Visión artificial en el sector sanitario

Desarrolla soluciones sanitarias con modelos Ultralytics YOLO. La IA visual en el sector sanitario permite acelerar el diagnóstico por imagen, mejorar los diagnósticos y supervisar a los pacientes.
Más información
Visión artificial en la fabricación

Visión artificial en la fabricación

Optimiza la fabricación con modelos Ultralytics YOLO. La IA visual mejora el control de calidad, la detección de defectos, el cumplimiento de las normas de uso de EPI y la automatización de las líneas de montaje.
Más información
Visión artificial en la automoción

Visión artificial en la automoción

Aplica la visión artificial al sector de la automoción con modelos Ultralytics YOLO. La IA visual mejora la seguridad vial, la asistencia al conductor y la automatización de vehículos para lograr carreteras más inteligentes.
Más información
Visión artificial en la agricultura

Visión artificial en la agricultura

Incorpora la IA de visión a la agricultura inteligente con modelos Ultralytics YOLO. Impulsa la monitorización de cultivos, el seguimiento del ganado y la agricultura de precisión para obtener cosechas más abundantes e inteligentes.
Más información

¡Construyamos juntos el futuro de la IA!

Inicia tu recorrido hacia el futuro del aprendizaje automático