Context Parallelism
Параллелизм по контексту распределяет одну длинную входную последовательность между GPU, которые обмениваются ключами и значениями во время механизма внимания, уменьшая объём необходимой памяти на каждом GPU.
Параллелизм по контексту (CP) — это метод распределённого обучения, при котором одна длинная входная последовательность разбивается между несколькими GPU. Каждая GPU хранит непрерывную или чередующуюся часть токенов и все вычисленные на их основе активации, поэтому с добавлением устройств уменьшается объём памяти, необходимый каждому из них. Слои, обрабатывающие токены независимо, например нормализация и полносвязные блоки, работают с локальными токенами без обмена данными. Исключение — самовнимание: каждый запрос может обращаться к каждому ключу, поэтому GPU обмениваются ключами и значениями, чтобы получить точно такой же результат, как при применении внимания ко всей последовательности. Это системный метод, позволяющий обрабатывать заданное контекстное окно, длина которого фиксирована архитектурой и обучением модели.
Как GPU обмениваются ключами и значениями#
Реализации различаются главным образом способом передачи ключей и значений на GPU, которым они нужны:
- Кольцевое внимание: GPU соединяются в кольцо и передают блоки ключей и значений соседям, одновременно выполняя вычисления над своим блоком. Передача данных скрывается за вычислениями.
- All-gather: Каждая GPU собирает все ключи и значения, а затем вычисляет внимание для собственных запросов. Meta выбрала этот метод для Llama 3, поскольку он позволяет легко использовать маски документов, а при групповом внимании запросов ключи и значения намного меньше запросов.
- All-to-all: DeepSpeed Ulysses переставляет данные так, чтобы каждая GPU хранила все токены для некоторой части голов внимания. Это ограничивает степень параллелизма количеством голов.
Экспериментальный API параллелизма по контексту в PyTorch заменяет масштабированное скалярное произведение внимания кольцевым вниманием внутри блока context_parallel(). Megatron-Core от NVIDIA собирает ключи и значения посредством кольцевой передачи данных между узлами в прямом проходе, а в обратном проходе выполняет reduce-scatter для их градиентов. CP отличается от более раннего параллелизма последовательностей в Megatron, который разбивает только активации нормализации слоёв и dropout, дополняя тензорный параллелизм: CP разбивает входные данные и все активации вдоль последовательности.
Балансировка причинно-следственного внимания#
При причинно-следственной маске токен i обращается только к i предыдущим токенам и к самому себе, поэтому обработка более поздних токенов требует больше вычислений. Если выделить каждой GPU непрерывную четверть последовательности, первая GPU получит мало работы, а последняя — больше всего, и темп задаст самая загруженная GPU. Llama 3 и Megatron-Core делят последовательность на вдвое большее число частей, чем GPU, и назначают каждой GPU одну часть из начала последовательности и симметричную ей часть с конца:
import torch
seq_len, ranks = 8192, 4
positions = torch.arange(seq_len)
causal_work = positions + 1 # при причинно-следственной маске токен i обращается к i + 1 ключам
# Непрерывное разбиение: ранг r получает r-ю четверть последовательности
contiguous = [causal_work[shard].sum().item() for shard in positions.chunk(ranks)]
# Разбиение с балансировкой нагрузки: последовательность делится на 2 * ranks частей, ранг r получает часть r и симметричную ей часть с конца
chunks = positions.chunk(2 * ranks)
balanced = [causal_work[torch.cat([chunks[r], chunks[-1 - r]])].sum().item() for r in range(ranks)]
print("Contiguous, millions of scores per rank:", [round(w / 1e6, 1) for w in contiguous])
print("Balanced, millions of scores per rank: ", [round(w / 1e6, 1) for w in balanced])При непрерывном разбиении четыре GPU получают [2.1, 6.3, 10.5, 14.7] миллионов оценок внимания, то есть разброс составляет 7×, а при симметричном разбиении каждая получает 8.4 миллион.
Где применяют параллелизм по контексту#
Основное применение — обучение больших языковых моделей (LLM) на длинных документах и больших кодовых базах. Meta расширила Llama 3 405B до последовательностей длиной 131 072 токена, используя параллелизм по контексту с коэффициентом 16 наряду с тензорным, конвейерным и параллелизмом по данным на 16 384 GPU H100. Пропускная способность составила 38% от пиковой для BF16 против 41% на том же кластере при длине последовательности 8192 токена. Другое применение — видео: Meta обучила модель генерации видео Movie Gen с 30 миллиардами параметров на клипах, закодированных примерно в 73 000 токенов, используя параллелизм по контексту вместе с тензорным, последовательным и полностью шардингованным параллелизмом по данным. Длинные видео в моделях для работы с изображениями и текстом и системах понимания видео сталкиваются с тем же ограничением, поскольку каждый кадр добавляет сотни токенов.
Параллелизм по контексту сочетается с другими стратегиями:
- Конвейерный параллелизм: Распределяет слои модели между GPU.
- Параллелизм по данным: Разделяет батч между полными копиями модели.
- Flash attention: Позволяет не хранить матрицу внимания в памяти одной GPU. В реализациях параллелизма по контексту на каждой GPU выполняется аналогичное ядро для локального блока.
Для обработки последовательностей такой длины изображениям нужна очень высокая чёткость, поскольку длина последовательности растёт вместе с количеством патчей или позиций на карте признаков. Ultralytics YOLO26 выполняет самовнимание только на самой грубой карте признаков с шагом 32, в слоях 10 и 22 из конфигурации модели. Поэтому при размере imgsz=640 по умолчанию внимание охватывает 400 позиций, а при размере imgsz=1280 — 1600.










