Лицензия YOLO
Назад к глоссарию Ultralytics

Context Parallelism

Параллелизм по контексту распределяет одну длинную входную последовательность между GPU, которые обмениваются ключами и значениями во время механизма внимания, уменьшая объём необходимой памяти на каждом GPU.

Параллелизм по контексту (CP) — это метод распределённого обучения, при котором одна длинная входная последовательность разбивается между несколькими GPU. Каждая GPU хранит непрерывную или чередующуюся часть токенов и все вычисленные на их основе активации, поэтому с добавлением устройств уменьшается объём памяти, необходимый каждому из них. Слои, обрабатывающие токены независимо, например нормализация и полносвязные блоки, работают с локальными токенами без обмена данными. Исключение — самовнимание: каждый запрос может обращаться к каждому ключу, поэтому GPU обмениваются ключами и значениями, чтобы получить точно такой же результат, как при применении внимания ко всей последовательности. Это системный метод, позволяющий обрабатывать заданное контекстное окно, длина которого фиксирована архитектурой и обучением модели.

Как GPU обмениваются ключами и значениями#

Реализации различаются главным образом способом передачи ключей и значений на GPU, которым они нужны:

  • Кольцевое внимание: GPU соединяются в кольцо и передают блоки ключей и значений соседям, одновременно выполняя вычисления над своим блоком. Передача данных скрывается за вычислениями.
  • All-gather: Каждая GPU собирает все ключи и значения, а затем вычисляет внимание для собственных запросов. Meta выбрала этот метод для Llama 3, поскольку он позволяет легко использовать маски документов, а при групповом внимании запросов ключи и значения намного меньше запросов.
  • All-to-all: DeepSpeed Ulysses переставляет данные так, чтобы каждая GPU хранила все токены для некоторой части голов внимания. Это ограничивает степень параллелизма количеством голов.

Экспериментальный API параллелизма по контексту в PyTorch заменяет масштабированное скалярное произведение внимания кольцевым вниманием внутри блока context_parallel(). Megatron-Core от NVIDIA собирает ключи и значения посредством кольцевой передачи данных между узлами в прямом проходе, а в обратном проходе выполняет reduce-scatter для их градиентов. CP отличается от более раннего параллелизма последовательностей в Megatron, который разбивает только активации нормализации слоёв и dropout, дополняя тензорный параллелизм: CP разбивает входные данные и все активации вдоль последовательности.

Балансировка причинно-следственного внимания#

При причинно-следственной маске токен i обращается только к i предыдущим токенам и к самому себе, поэтому обработка более поздних токенов требует больше вычислений. Если выделить каждой GPU непрерывную четверть последовательности, первая GPU получит мало работы, а последняя — больше всего, и темп задаст самая загруженная GPU. Llama 3 и Megatron-Core делят последовательность на вдвое большее число частей, чем GPU, и назначают каждой GPU одну часть из начала последовательности и симметричную ей часть с конца:

import torch

seq_len, ranks = 8192, 4
positions = torch.arange(seq_len)
causal_work = positions + 1  # при причинно-следственной маске токен i обращается к i + 1 ключам

# Непрерывное разбиение: ранг r получает r-ю четверть последовательности
contiguous = [causal_work[shard].sum().item() for shard in positions.chunk(ranks)]

# Разбиение с балансировкой нагрузки: последовательность делится на 2 * ranks частей, ранг r получает часть r и симметричную ей часть с конца
chunks = positions.chunk(2 * ranks)
balanced = [causal_work[torch.cat([chunks[r], chunks[-1 - r]])].sum().item() for r in range(ranks)]

print("Contiguous, millions of scores per rank:", [round(w / 1e6, 1) for w in contiguous])
print("Balanced, millions of scores per rank:  ", [round(w / 1e6, 1) for w in balanced])

При непрерывном разбиении четыре GPU получают [2.1, 6.3, 10.5, 14.7] миллионов оценок внимания, то есть разброс составляет 7×, а при симметричном разбиении каждая получает 8.4 миллион.

Где применяют параллелизм по контексту#

Основное применение — обучение больших языковых моделей (LLM) на длинных документах и больших кодовых базах. Meta расширила Llama 3 405B до последовательностей длиной 131 072 токена, используя параллелизм по контексту с коэффициентом 16 наряду с тензорным, конвейерным и параллелизмом по данным на 16 384 GPU H100. Пропускная способность составила 38% от пиковой для BF16 против 41% на том же кластере при длине последовательности 8192 токена. Другое применение — видео: Meta обучила модель генерации видео Movie Gen с 30 миллиардами параметров на клипах, закодированных примерно в 73 000 токенов, используя параллелизм по контексту вместе с тензорным, последовательным и полностью шардингованным параллелизмом по данным. Длинные видео в моделях для работы с изображениями и текстом и системах понимания видео сталкиваются с тем же ограничением, поскольку каждый кадр добавляет сотни токенов.

Параллелизм по контексту сочетается с другими стратегиями:

  • Конвейерный параллелизм: Распределяет слои модели между GPU.
  • Параллелизм по данным: Разделяет батч между полными копиями модели.
  • Flash attention: Позволяет не хранить матрицу внимания в памяти одной GPU. В реализациях параллелизма по контексту на каждой GPU выполняется аналогичное ядро для локального блока.

Для обработки последовательностей такой длины изображениям нужна очень высокая чёткость, поскольку длина последовательности растёт вместе с количеством патчей или позиций на карте признаков. Ultralytics YOLO26 выполняет самовнимание только на самой грубой карте признаков с шагом 32, в слоях 10 и 22 из конфигурации модели. Поэтому при размере imgsz=640 по умолчанию внимание охватывает 400 позиций, а при размере imgsz=1280 — 1600.

Изучи решения

Компьютерное зрение в спорте

Компьютерное зрение в спорте

Узнай, как Ultralytics YOLO обеспечивает компьютерное зрение в спорте: отслеживание игроков и мяча, аналитика результатов, полезные выводы для тренеров и реабилитация спортсменов.
Подробнее
Компьютерное зрение для аэросъёмки

Компьютерное зрение для аэросъёмки

Превращай снимки с дронов и аэрофотоснимки в полезные данные в реальном времени для сельского хозяйства, аквакультуры, охраны природы и геопространственного анализа с Ultralytics YOLO.
Подробнее
Компьютерное зрение в аэрокосмической отрасли

Компьютерное зрение в аэрокосмической отрасли

Применяй компьютерное зрение в аэрокосмической отрасли с Ultralytics YOLO: для осмотра самолётов, обнаружения посторонних предметов на взлётно-посадочных полосах, наземного обслуживания аэропортов и выявления дефектов композитных материалов.
Подробнее
Компьютерное зрение в сфере безопасности

Компьютерное зрение в сфере безопасности

Защити любой объект с помощью моделей Ultralytics YOLO. ИИ на базе компьютерного зрения обеспечивает мониторинг периметра, обнаружение угроз, распознавание номерных знаков и безопасность на рабочем месте.
Подробнее
Компьютерное зрение в робототехнике

Компьютерное зрение в робототехнике

Создавай более интеллектуальные машины с моделями Ultralytics YOLO. ИИ на базе компьютерного зрения в робототехнике обеспечивает автономную навигацию, восприятие, отслеживание объектов и управление в реальном времени.
Подробнее
Компьютерное зрение в логистике

Компьютерное зрение в логистике

Оптимизируй логистику с моделями Ultralytics YOLO. Визуальный AI обеспечивает проверку посылок, сортировку, отслеживание транспорта и мониторинг безопасности на складе в реальном времени.
Подробнее
Компьютерное зрение в розничной торговле

Компьютерное зрение в розничной торговле

Переосмысли розничную торговлю с моделями Ultralytics YOLO. Визуальный AI обеспечивает отслеживание запасов, мониторинг полок, управление очередями и более глубокое понимание поведения покупателей.
Подробнее
Компьютерное зрение в здравоохранении

Компьютерное зрение в здравоохранении

Создавай решения для здравоохранения с моделями Ultralytics YOLO. Визуальный AI в здравоохранении ускоряет медицинскую визуализацию, улучшает диагностику и мониторинг пациентов.
Подробнее
Компьютерное зрение в производстве

Компьютерное зрение в производстве

Оптимизируй производство с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ обеспечивает контроль качества, обнаружение дефектов, контроль использования СИЗ и автоматизацию сборочных линий.
Подробнее
Компьютерное зрение в автомобильной отрасли

Компьютерное зрение в автомобильной отрасли

Применяй компьютерное зрение в автомобильной отрасли с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ повышает безопасность дорожного движения, улучшает помощь водителю и автоматизацию автомобилей, делая дороги умнее.
Подробнее
Компьютерное зрение в сельском хозяйстве

Компьютерное зрение в сельском хозяйстве

Внедряй ИИ для компьютерного зрения в умное сельское хозяйство с моделями Ultralytics YOLO. Используй их для мониторинга посевов, отслеживания скота и точного земледелия, чтобы повысить урожайность и эффективность.
Подробнее

Давай вместе строить будущее ИИ!

Начни свой путь в будущее машинного обучения