Context Rot
Деградация контекста — это снижение точности LLM по мере роста входных данных, даже если контекстное окно ещё не заполнено. Разбираем свидетельства, причины и способы решения проблемы.
Ухудшение работы из-за длинного контекста — это снижение точности большой языковой модели (LLM) по мере увеличения длины входных данных, даже если они намного короче её контекстного окна. Модель, правильно отвечающая на запрос из 300 токенов, может упустить тот же факт, следовать устаревшей инструкции или перепутать похожие детали, когда этот факт оказывается среди 100 000 токенов истории диалога, документов и результатов работы инструментов. В опубликованном в июле 2025 года отчёте Chroma об ухудшении работы из-за длинного контекста оценивались 18 моделей Anthropic, OpenAI, Google и Alibaba, включая Claude Opus 4, GPT-4.1, Gemini 2.5 Pro и Qwen3. Точность падала с увеличением длины входных данных у всех моделей, даже в такой простой задаче, как копирование длинного списка повторяющихся слов.
Как проявляется ухудшение работы из-за длинного контекста#
Простые тесты поиска этого не выявляют. В тесте «иголка в стоге сена» (NIAH) вставленный факт обычно содержит те же слова, что и вопрос, а новейшие модели достигают почти 100% точности при работе с сотнями тысяч токенов. Более сложные тесты выявляют ухудшение:
- Положение: Исследование Lost in the Middle 2023 года показало, что модели отвечают лучше всего, когда нужный фрагмент находится в начале или конце запроса, и хуже всего — когда он расположен посередине.
- Сложность задачи: Тест RULER от NVIDIA включает задачи с многошаговым отслеживанием и агрегированием данных. Он показал, что лишь половина из 17 моделей, заявленных как поддерживающие 32K токенов и более, удовлетворительно справлялась с задачами на 32K токенов.
- Нет точного совпадения: В NoLiMa вопросы сформулированы так, чтобы их слова как можно меньше совпадали с ответом, поэтому модель должна выводить связь самостоятельно. При длине контекста 32K токенов 11 из 13 моделей набрали меньше половины своих результатов при коротком контексте, а показатель GPT-4o упал с 99.3% до 69.7%.
- Отвлекающие факторы и память: В тестах Chroma один фрагмент, похожий на ответ, снижал точность; в тесте вопросов по диалогам LongMemEval все модели показывали намного лучшие результаты с целевыми запросами примерно на 300 токенов, чем с полной историей объёмом около 113 000 токенов.
Почему это происходит#
Самовнимание распределяет фиксированное количество весов softmax между всеми токенами, поэтому каждый новый токен конкурирует с важной информацией. Anthropic называет это ограничением бюджета внимания модели. Модели также усваивают закономерности внимания из обучающих данных, где короткие последовательности встречаются чаще длинных. Устаревшие инструкции, заменённые факты и почти одинаковые фрагменты оставляют модели несколько правдоподобных ответов на выбор. Важна и структура: в тестах Chroma стоги из перемешанных бессвязных предложений снижали точность меньше, чем связные эссе.
Ухудшение работы из-за длинного контекста и похожие термины#
- Контекстное окно: Жёсткое ограничение на количество токенов, которые принимает модель. Ухудшение работы из-за длинного контекста начинается ещё до достижения этого предела.
- Галлюцинация: Любой вывод, не подтверждённый входными данными или фактами. Длинные запросы с отвлекающими факторами повышают частоту галлюцинаций; в тестах Chroma с отвлекающими фрагментами модели GPT чаще всего галлюцинировали, а модели Claude чаще отказывались отвечать.
- Катастрофическое забывание: Утрата ранее освоенных навыков при изменении весов модели во время обучения. При ухудшении работы из-за длинного контекста веса не меняются, а проблема возникает во время инференса.
- Сдвиг данных: Изменение входных данных, которые получает развёрнутая модель, с течением времени.
Как уменьшить ухудшение работы из-за длинного контекста#
Решение — проектирование контекста: при каждом вызове передавать модели минимальный набор релевантных токенов. Генерация с дополненной выборкой (RAG) с семантическим разбиением на фрагменты и переранжировщиком передаёт несколько релевантных отрывков вместо целых наборов документов, а сжатие промпта сокращает оставшийся текст. В руководстве Anthropic по проектированию контекста для ИИ-агентов предлагаются три приёма для длительных задач: компактизация, заменяющая старые шаги кратким изложением; структурированные заметки, которые ИИ-агент записывает за пределами окна и читает позже, — это разновидность эпизодической памяти; и субагенты, которые исследуют задачу, используя десятки тысяч токенов в собственных окнах, а затем возвращают краткие сводки объёмом 1 000–2 000 токенов.
Навыки агента применяют тот же подход с загрузкой инструкций именно тогда, когда они нужны. В Ultralytics Agent Skills навык маршрутизатора yolo направляет запрос к одному из шести навыков жизненного цикла, например yolo-training или yolo-export, поэтому агент для программирования загружает подробные инструкции по YOLO только для текущего этапа работы.










