Context Rot

Контекстное вырождение — это постепенная потеря надежности, возникающая, когда ИИ-модель получает больше контекста, чем может эффективно использовать. Даже если заявленное контекстное окно технически способно вместить сотни тысяч токенов, большая языковая модель может упускать важные факты, следовать устаревшим инструкциям или рассуждать менее точно по мере увеличения входных данных. Исследование Chroma context rot study за 2025 год выявило эту неравномерную производительность на примере 18 моделей и нескольких контролируемых задач. (trychroma.com)

Link to this sectionПочему происходит контекстное вырождение#

Длинные входные данные предъявляют повышенные требования к механизму внимания модели. Важные данные вынуждены конкурировать с повторяющимися инструкциями, нерелевантными документами, выводами инструментов и старыми этапами диалога. Позиция контекста, семантическое сходство, противоречивые факты и сложность задачи — всё это может влиять на то, что именно модель будет использовать.

Бенчмарк RULER long-context benchmark 2024 года показал, что модели, хорошо справляющиеся с простым поиском, зачастую снижали показатели при увеличении длины последовательности и сложности задачи. Бенчмарк NoLiMa benchmark 2025 года выявил более резкие падения в случаях, когда для поиска ответа требовалось семантическое рассуждение, а не просто сопоставление идентичных слов. Таким образом, не существует универсального количества токенов — в том числе для моделей Gemini, — при котором начинается контекстное вырождение; пороговое значение зависит от модели, структуры промпта и самой задачи. (arxiv.org)

Link to this sectionПримеры из реальной жизни#

• Ассистенты поддержки клиентов: Чат-бот, которому предоставили многолетнюю историю обращений, может отдать приоритет устаревшей политике или пропустить недавнее обновление аккаунта. Исследования с использованием памяти диалогов LongMemEval conversational memory и мультимодального бенчмарка LoCoMo benchmark показывают, что извлечение, обновление и рассуждение на основе длинных историй взаимодействий остаются сложной задачей. (arxiv.org)
• Агенты визуального контроля: Зрительно-языковая модель, контролирующая работу завода, может стать менее надежной, если каждый кадр, детекция и журнал технического обслуживания добавляются в один промпт. Более эффективный рабочий процесс предполагает использование Ultralytics YOLO26 для извлечения кратких визуальных фактов перед тем, как передавать их на логический анализ языковой модели.
• Агенты для программирования: Загрузка всего репозитория, всех определений инструментов и полной истории терминала может скрыть текущую задачу. Руководство Anthropic’s context-engineering guidance рекомендует курировать контекст, а их подход Agent Skills approach предполагает загрузку детальных ресурсов только тогда, когда это необходимо. (anthropic.com)

Этот рабочий процесс предсказания YOLO демонстрирует, как преобразовывать необработанные результаты детекции в компактный структурированный контекст:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
result = model("https://ultralytics.com/images/bus.jpg")[0]
labels = [model.names[int(cls)] for cls in result.boxes.cls]
context = {"frame": 1, "objects": sorted(set(labels))}
print(context)

Link to this sectionКак уменьшить контекстное вырождение#

• Извлекай только релевантные данные: Используй семантическое разбиение на фрагменты и ранжировщик вместо того, чтобы отправлять все доступные документы.
• Сжимай старую информацию: Заменяй длинные истории на проверенные краткие сводки, принятые решения и нерешенные задачи. Исследования показывают, что длина входных данных может снижать производительность даже после успешного поиска информации. (arxiv.org)
• Сохраняй стабильные префиксы: Кэширование промптов OpenAI и кэширование контекста Gemini могут снизить затраты на повторную обработку, хотя само по себе кэширование не улучшает качество контекста.
• Используй скользящие окна: Google рекомендует сжатие контекстного окна для длительных сессий в реальном времени, сохраняя недавнюю информацию и удаляя более старые токены. (ai.google.dev)
• Проводи оценку на реалистичных объемах данных: Применяй мониторинг моделей и воспроизводи контролируемые тесты с помощью инструментария для контекстного вырождения.

Контекстное вырождение отличается от галлюцинаций, которые представляют собой не подтвержденный данными вывод; от катастрофического забывания, которое меняет знания модели в процессе обучения; и от дрейфа данных, который отражает изменение входных данных в продакшене. Контекстное вырождение — это прежде всего ошибка выбора контекста и логического вывода во время инференса, поэтому эффективный контекстный инжиниринг является главной защитой от него.