Ring Attention

Кольцевое внимание — это передовой метод машинного обучения (ML), предназначенный для масштабирования контекстного окна архитектур Transformer до практически бесконечной длины последовательности. Распределяя сложные вычисления механизма внимания между кластером GPU, соединённых в кольцевую топологию, он эффективно перекрывает обмен данными вычислениями. Этот архитектурный прорыв позволяет большим языковым моделям (LLMs) и визуальным трансформерам (ViT) обрабатывать огромные входные данные — например, целые книги или многочасовое непрерывное видео, — объём которых значительно превышает ёмкость памяти любого отдельного аппаратного устройства.

Преодоление ограничения контекстного окна#

В стандартных механизмах самовнимания потребление памяти растёт квадратично относительно длины входной последовательности. Это создаёт серьёзное узкое место для моделей глубокого обучения (DL), пытающихся анализировать данные большой протяжённости. Чтобы узнать больше о том, как сообщество разработчиков ИИ решает эту задачу, изучи работы Berkeley AI Research над моделями с большим контекстом.

Кольцевое внимание устраняет это квадратичное узкое место, разбивая запросы, ключи и значения на небольшие блоки. Каждый GPU в распределённой сети вычисляет один блок, а затем передаёт ключи и значения соседнему устройству в кольце. Эта циклическая передача продолжается до полного вычисления механизма внимания. Использование таких инструментов, как пакет распределённого взаимодействия PyTorch, позволяет разработчикам создавать сложные конвейеры обучения на нескольких устройствах.

Кольцевое внимание и Flash Attention#

Хотя оба метода оптимизируют использование памяти, они работают на разных уровнях. Flash Attention — это алгоритм, учитывающий особенности аппаратного обеспечения и минимизирующий затратные операции чтения и записи в SRAM одного GPU. Напротив, кольцевое внимание — это распределённый алгоритм, предназначенный для масштабирования вычислений между несколькими GPU. В современных рабочих процессах генеративного ИИ эти два метода часто объединяют, чтобы одновременно добиться эффективности аппаратного обеспечения на локальном уровне и масштабирования на множестве устройств, как подробно описано в оригинальной научной статье о кольцевом внимании на arXiv.

Практические применения#

Возможность одновременно обрабатывать миллионы токенов открывает перед современным ИИ мощные возможности:

1. Комплексный анализ документов и кодовых баз: кольцевое внимание позволяет моделям загружать в одном запросе миллионы строк кода или сложные собрания юридических документов. Это значительно повышает эффективность систем, использующих генерацию с дополнением извлечённой информацией (RAG), позволяя им обобщать контекст без усечения важных сведений. Эта концепция лежит в основе моделей с огромным контекстом, таких как архитектура Gemini от Google.

2. Расширенное понимание видео: в области компьютерного зрения (CV) обработка видеопоследовательностей высокого разрешения обычно требует агрессивного уменьшения частоты дискретизации. Кольцевое внимание позволяет моделям анализировать несжатые видеопотоки продолжительностью в несколько часов. Это повышает эффективность распознавания действий и непрерывного отслеживания объектов в системах безопасности и автономного вождения, сохраняя понимание временного контекста на протяжении длительных периодов.

Обработка визуальных последовательностей#

Хотя огромные распределённые модели внимания работают с бесконечными контекстами, практические приложения с приоритетом периферийных устройств требуют высокооптимизированных архитектур. Для инференса в реальном времени и обработки визуальных последовательностей Ultralytics YOLO26 обеспечивает лидирующую в отрасли производительность без чрезмерных вычислительных затрат, характерных для трансформеров, основанных исключительно на механизме внимания.

from ultralytics import YOLO

# Load the recommended YOLO26 model for high-speed object tracking
model = YOLO("yolo26n.pt")

# Perform robust multi-object tracking on a long video sequence
results = model.track(source="long_surveillance_feed.mp4", stream=True)

# Iterate through the stream to process temporal tracking data
for frame_result in results:
    print(f"Tracked {len(frame_result.boxes)} objects in current frame.")

При создании и масштабировании сложных решений для обнаружения объектов и сегментации изображений критически важно управлять оркестрацией аппаратного обеспечения. Платформа Ultralytics полностью упрощает этот процесс, предлагая инструменты для удобного обучения в облаке, автоматической разметки наборов данных и развёртывания моделей одним нажатием на различных аппаратных средах. Использование этих платформ гарантирует плавный переход передовых методов масштабирования из исследовательской среды в масштабируемые, готовые к эксплуатации конвейеры ИИ.