Context Window

Контекстное окно — это максимальное количество токенов, которое модель может учитывать в одном запросе. Для большой языковой модели (LLM) весь входной и выходной текст расходует этот лимит: системный промпт, определения инструментов, история беседы, извлечённые документы, вопрос пользователя и сгенерированный ответ. Текст за пределами окна вообще не попадает к модели. Поэтому чат-бот теряет начало очень длинной беседы, когда предыдущие ходы обрезают. Размер окон вырос с 2 048 токенов у GPT-3 до 128K токенов у GPT-4 Turbo в конце 2023 года и миллиона у Gemini 1.5 Pro от Google в 2024 году; Llama 4 Scout от Meta заявляет о 10 миллионах.

Что заполняет контекстное окно#

Токенизация разбивает текст на части слов; в английском на один токен в среднем приходится около четырёх символов. Поэтому окно на 128K токенов вмещает примерно 300 страниц текста. Визуально-языковая модель (VLM) также расходует токены на изображения — обычно сотни токенов патчей на изображение. Поэтому длинное видео заполняет окно гораздо быстрее, чем его расшифровка. Сгенерированные токены расходуют тот же лимит, а провайдеры отдельно ограничивают длину выходных данных в его пределах. Поэтому приложения, которые поддерживают длинные беседы или ИИ-агентов, собирают промпт на каждом ходу и решают, что оставить:

Почему размер окон ограничен#

С длиной растут две статьи расходов. Механизм самовнимания сопоставляет каждый токен со всеми остальными, поэтому вычисления для внимания растут квадратично относительно количества токенов. Во время генерации текста KV-кэш хранит ключи и значения каждого предыдущего токена: Llama 3.1 8B с 32 слоями и 8 головами ключей и значений размерностью 128 каждая хранит 128 КиБ на токен в 16-битной точности — или 16 ГиБ при максимальном окне в 131 072 токена, то есть больше, чем 16 ГБ, занимаемые весами модели.

Размер окна также определяется обучением. Модель, обученная на последовательностях длиной 8K токенов, никогда не видела позиции за их пределами. Чтобы расширить окно, нужно масштабировать её поворотные позиционные эмбеддинги (RoPE) методами вроде YaRN и ненадолго дообучить на более длинном тексте. Для обслуживания моделей с длинным контекстом используют методы экономии памяти: flash attention вычисляет точное внимание, не сохраняя полную матрицу оценок; внимание с группированными запросами (GQA) уменьшает KV-кэш; внимание со скользящим окном ограничивает область внимания каждого токена недавними соседями; а кольцевое внимание распределяет одну последовательность между множеством GPU.

Заявленный и фактический контекст#

Модель, принимающая миллион токенов, не обязательно одинаково хорошо использует их все. Исследование 2023 года Lost in the Middle показало, что модели лучше всего отвечают, когда нужный фрагмент находится в начале или конце промпта, и хуже всего — когда он расположен посередине. Тесты «иголка в стоге сена» (NIAH) измеряют, удаётся ли найти единственный вставленный факт на разной глубине и при разной длине контекста. Более сложный тест RULER показал, что на уровне 32K токенов удовлетворительно справились лишь 17 из моделей, заявлявших поддержку 32K токенов и выше. Постепенное ухудшение качества по мере роста входных данных называют деградацией контекста; генерация с дополнением извлечённой информацией (RAG) и инженерия контекста помогают противодействовать этому, помещая в окно только релевантные материалы.

Контекстное окно и смежные понятия#

• Рецептивное поле: Область входного изображения, влияющая на один выход свёрточной нейронной сети (CNN). Рецептивное поле определяется размерами ядер и глубиной сети, тогда как контекстное окно ограничено бюджетом токенов.
• Размер пакета: Количество независимых последовательностей, обрабатываемых одновременно. Контекстное окно ограничивает длину каждой из них.
• Память: Память агента, например эпизодическая память, сохранённая во векторной базе данных, существует вне окна и при необходимости копируется в него.

Контекстные окна в обнаружении объектов с открытым словарём#

У текстовых кодировщиков в моделях компьютерного зрения тоже есть контекстные окна. Ultralytics YOLOE и YOLO-World кодируют промпт каждого класса с помощью текстового кодировщика семейства CLIP, чьё контекстное окно составляет 77 токенов. По умолчанию текстовый кодировщик Ultralytics обрезает более длинные промпты. Вот что отбрасывает тот же токенизатор CLIP:

import clip
from clip.simple_tokenizer import SimpleTokenizer

prompt = (
    "a warehouse worker wearing a yellow high-visibility vest, a white hard hat, blue gloves and clear safety "
    "glasses, standing beside a red forklift that carries wooden pallets stacked with brown cardboard boxes, "
    "under bright ceiling lights in a narrow aisle between tall metal shelves, next to a fire extinguisher "
    "mounted on the wall, a green emergency exit sign, an open loading dock door and a black dog"
)

# CLIP's BPE tokenizer wraps the text in start and end tokens
tokenizer = SimpleTokenizer()
print(f"Prompt length: {len(tokenizer.encode(prompt)) + 2} tokens")

# The text encoder reads a fixed 77-token window, so truncation drops the tail
tokens = clip.tokenize(prompt, truncate=True)[0]
kept = tokenizer.decode(tokens[1:-1].tolist())
print(f"Window: {len(tokens)} tokens ending in '{' '.join(kept.split()[-4:])}'")
print(f"'black dog' kept: {'black dog' in kept}")

В промпте 80 токенов, поэтому окно сохраняет первые 75 текстовых токенов и маркеры начала и конца, заканчивается словами «погрузочная платформа и» и отбрасывает фразу «чёрная собака», прежде чем кодировщик её увидит.