Лицензия YOLO
Назад к глоссарию Ultralytics

Context Rot

Деградация контекста — это снижение точности LLM по мере роста входных данных, даже если контекстное окно ещё не заполнено. Разбираем свидетельства, причины и способы решения проблемы.

Ухудшение работы из-за длинного контекста — это снижение точности большой языковой модели (LLM) по мере увеличения длины входных данных, даже если они намного короче её контекстного окна. Модель, правильно отвечающая на запрос из 300 токенов, может упустить тот же факт, следовать устаревшей инструкции или перепутать похожие детали, когда этот факт оказывается среди 100 000 токенов истории диалога, документов и результатов работы инструментов. В опубликованном в июле 2025 года отчёте Chroma об ухудшении работы из-за длинного контекста оценивались 18 моделей Anthropic, OpenAI, Google и Alibaba, включая Claude Opus 4, GPT-4.1, Gemini 2.5 Pro и Qwen3. Точность падала с увеличением длины входных данных у всех моделей, даже в такой простой задаче, как копирование длинного списка повторяющихся слов.

Как проявляется ухудшение работы из-за длинного контекста#

Простые тесты поиска этого не выявляют. В тесте «иголка в стоге сена» (NIAH) вставленный факт обычно содержит те же слова, что и вопрос, а новейшие модели достигают почти 100% точности при работе с сотнями тысяч токенов. Более сложные тесты выявляют ухудшение:

  • Положение: Исследование Lost in the Middle 2023 года показало, что модели отвечают лучше всего, когда нужный фрагмент находится в начале или конце запроса, и хуже всего — когда он расположен посередине.
  • Сложность задачи: Тест RULER от NVIDIA включает задачи с многошаговым отслеживанием и агрегированием данных. Он показал, что лишь половина из 17 моделей, заявленных как поддерживающие 32K токенов и более, удовлетворительно справлялась с задачами на 32K токенов.
  • Нет точного совпадения: В NoLiMa вопросы сформулированы так, чтобы их слова как можно меньше совпадали с ответом, поэтому модель должна выводить связь самостоятельно. При длине контекста 32K токенов 11 из 13 моделей набрали меньше половины своих результатов при коротком контексте, а показатель GPT-4o упал с 99.3% до 69.7%.
  • Отвлекающие факторы и память: В тестах Chroma один фрагмент, похожий на ответ, снижал точность; в тесте вопросов по диалогам LongMemEval все модели показывали намного лучшие результаты с целевыми запросами примерно на 300 токенов, чем с полной историей объёмом около 113 000 токенов.

Почему это происходит#

Самовнимание распределяет фиксированное количество весов softmax между всеми токенами, поэтому каждый новый токен конкурирует с важной информацией. Anthropic называет это ограничением бюджета внимания модели. Модели также усваивают закономерности внимания из обучающих данных, где короткие последовательности встречаются чаще длинных. Устаревшие инструкции, заменённые факты и почти одинаковые фрагменты оставляют модели несколько правдоподобных ответов на выбор. Важна и структура: в тестах Chroma стоги из перемешанных бессвязных предложений снижали точность меньше, чем связные эссе.

  • Контекстное окно: Жёсткое ограничение на количество токенов, которые принимает модель. Ухудшение работы из-за длинного контекста начинается ещё до достижения этого предела.
  • Галлюцинация: Любой вывод, не подтверждённый входными данными или фактами. Длинные запросы с отвлекающими факторами повышают частоту галлюцинаций; в тестах Chroma с отвлекающими фрагментами модели GPT чаще всего галлюцинировали, а модели Claude чаще отказывались отвечать.
  • Катастрофическое забывание: Утрата ранее освоенных навыков при изменении весов модели во время обучения. При ухудшении работы из-за длинного контекста веса не меняются, а проблема возникает во время инференса.
  • Сдвиг данных: Изменение входных данных, которые получает развёрнутая модель, с течением времени.

Как уменьшить ухудшение работы из-за длинного контекста#

Решение — проектирование контекста: при каждом вызове передавать модели минимальный набор релевантных токенов. Генерация с дополненной выборкой (RAG) с семантическим разбиением на фрагменты и переранжировщиком передаёт несколько релевантных отрывков вместо целых наборов документов, а сжатие промпта сокращает оставшийся текст. В руководстве Anthropic по проектированию контекста для ИИ-агентов предлагаются три приёма для длительных задач: компактизация, заменяющая старые шаги кратким изложением; структурированные заметки, которые ИИ-агент записывает за пределами окна и читает позже, — это разновидность эпизодической памяти; и субагенты, которые исследуют задачу, используя десятки тысяч токенов в собственных окнах, а затем возвращают краткие сводки объёмом 1 000–2 000 токенов.

Навыки агента применяют тот же подход с загрузкой инструкций именно тогда, когда они нужны. В Ultralytics Agent Skills навык маршрутизатора yolo направляет запрос к одному из шести навыков жизненного цикла, например yolo-training или yolo-export, поэтому агент для программирования загружает подробные инструкции по YOLO только для текущего этапа работы.

Изучи решения

Компьютерное зрение в спорте

Компьютерное зрение в спорте

Узнай, как Ultralytics YOLO обеспечивает компьютерное зрение в спорте: отслеживание игроков и мяча, аналитика результатов, полезные выводы для тренеров и реабилитация спортсменов.
Подробнее
Компьютерное зрение для аэросъёмки

Компьютерное зрение для аэросъёмки

Превращай снимки с дронов и аэрофотоснимки в полезные данные в реальном времени для сельского хозяйства, аквакультуры, охраны природы и геопространственного анализа с Ultralytics YOLO.
Подробнее
Компьютерное зрение в аэрокосмической отрасли

Компьютерное зрение в аэрокосмической отрасли

Применяй компьютерное зрение в аэрокосмической отрасли с Ultralytics YOLO: для осмотра самолётов, обнаружения посторонних предметов на взлётно-посадочных полосах, наземного обслуживания аэропортов и выявления дефектов композитных материалов.
Подробнее
Компьютерное зрение в сфере безопасности

Компьютерное зрение в сфере безопасности

Защити любой объект с помощью моделей Ultralytics YOLO. ИИ на базе компьютерного зрения обеспечивает мониторинг периметра, обнаружение угроз, распознавание номерных знаков и безопасность на рабочем месте.
Подробнее
Компьютерное зрение в робототехнике

Компьютерное зрение в робототехнике

Создавай более интеллектуальные машины с моделями Ultralytics YOLO. ИИ на базе компьютерного зрения в робототехнике обеспечивает автономную навигацию, восприятие, отслеживание объектов и управление в реальном времени.
Подробнее
Компьютерное зрение в логистике

Компьютерное зрение в логистике

Оптимизируй логистику с моделями Ultralytics YOLO. Визуальный AI обеспечивает проверку посылок, сортировку, отслеживание транспорта и мониторинг безопасности на складе в реальном времени.
Подробнее
Компьютерное зрение в розничной торговле

Компьютерное зрение в розничной торговле

Переосмысли розничную торговлю с моделями Ultralytics YOLO. Визуальный AI обеспечивает отслеживание запасов, мониторинг полок, управление очередями и более глубокое понимание поведения покупателей.
Подробнее
Компьютерное зрение в здравоохранении

Компьютерное зрение в здравоохранении

Создавай решения для здравоохранения с моделями Ultralytics YOLO. Визуальный AI в здравоохранении ускоряет медицинскую визуализацию, улучшает диагностику и мониторинг пациентов.
Подробнее
Компьютерное зрение в производстве

Компьютерное зрение в производстве

Оптимизируй производство с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ обеспечивает контроль качества, обнаружение дефектов, контроль использования СИЗ и автоматизацию сборочных линий.
Подробнее
Компьютерное зрение в автомобильной отрасли

Компьютерное зрение в автомобильной отрасли

Применяй компьютерное зрение в автомобильной отрасли с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ повышает безопасность дорожного движения, улучшает помощь водителю и автоматизацию автомобилей, делая дороги умнее.
Подробнее
Компьютерное зрение в сельском хозяйстве

Компьютерное зрение в сельском хозяйстве

Внедряй ИИ для компьютерного зрения в умное сельское хозяйство с моделями Ultralytics YOLO. Используй их для мониторинга посевов, отслеживания скота и точного земледелия, чтобы повысить урожайность и эффективность.
Подробнее

Давай вместе строить будущее ИИ!

Начни свой путь в будущее машинного обучения