Longformer

Longformer — это специализированный тип архитектуры глубокого обучения, предназначенный для эффективной обработки длинных последовательностей данных и преодоления ограничений традиционных моделей. Изначально созданный для решения проблем стандартных трансформеров, которые обычно испытывают трудности с последовательностями длиннее 512 токенов из-за ограничений памяти, Longformer использует модифицированный механизм внимания. Благодаря снижению вычислительной сложности с квадратичной до линейной эта архитектура позволяет системам искусственного интеллекта за один проход анализировать целые документы, длинные расшифровки или сложные генетические последовательности без усечения входных данных.

Проблема узкого места в механизме внимания#

Чтобы понять значение Longformer, важно рассмотреть ограничения его предшественников, таких как BERT и ранние модели GPT-3. Стандартные трансформеры используют операцию «самовнимания», при которой каждый токен (слово или часть слова) обращает внимание на все остальные токены в последовательности. Это создает квадратичную вычислительную нагрузку: при удвоении длины последовательности объем памяти, необходимый на GPU, увеличивается в четыре раза. Поэтому большинство стандартных моделей устанавливают строгий предел размера входных данных, часто вынуждая специалистов по обработке данных разбивать документы на небольшие несвязанные фрагменты, что приводит к потере контекста.

Longformer решает эту проблему с помощью разреженного внимания. Вместо полного соединения каждого токена с каждым он использует сочетание локального внимания в окне и глобального внимания:

• Внимание со скользящим окном: каждый токен обращает внимание только на своих непосредственных соседей. Это позволяет учитывать локальный контекст и синтаксическую структуру, подобно тому как сверточная нейронная сеть (CNN) обрабатывает изображения.
• Скользящее окно с дилатацией: чтобы увеличить рецептивное поле без повышения вычислительной нагрузки, в окно можно добавить пропуски, позволяющие модели видеть текст на большем расстоянии.
• Глобальное внимание: конкретные предварительно выбранные токены (например, токен классификации [CLS]) обращают внимание на все остальные токены в последовательности, и все токены обращают внимание на них. Это позволяет модели сохранять общее представление обо всем входном тексте для таких задач, как суммаризация текста.

Практические применения#

Возможность одновременно обрабатывать тысячи токенов открывает новые перспективы для обработки естественного языка (NLP) и не только.

1. Анализ юридических и медицинских документов#

В таких сферах, как юриспруденция и здравоохранение, документы редко бывают короткими. Юридический договор или медицинская история пациента могут занимать десятки страниц. Традиционным большим языковым моделям (LLM) пришлось бы фрагментировать такие документы, из-за чего можно было бы упустить важные связи между пунктом на первой странице и определением на тридцатой. Longformer позволяет одновременно выполнять распознавание именованных сущностей (NER) и классификацию по всему документу, гарантируя, что общий контекст влияет на интерпретацию отдельных терминов.

2. Ответы на вопросы по объемным текстам (QA)#

Стандартные системы ответов на вопросы часто испытывают трудности, когда ответ требует объединить информацию, распределенную по длинной статье. Сохраняя полный текст в памяти, модели на основе Longformer могут выполнять многошаговое рассуждение, связывая факты из разных абзацев для формирования исчерпывающего ответа. Это критически важно для автоматизированных систем технической поддержки и инструментов академических исследований.

Различия между ключевыми терминами#

• Longformer и Transformer: стандартный Transformer использует полное внимание $N^2$, что делает его точным, но вычислительно затратным при работе с длинными входными данными. Longformer использует разреженное внимание $N$, жертвуя незначительной долей теоретической емкости ради огромного прироста эффективности и поддерживая входные последовательности длиной 4 096 токенов и более.
• Longformer и Transformer-XL: обе модели работают с длинными последовательностями, но Transformer-XL использует механизм рекуррентности (кэширование предыдущих состояний) для запоминания прошлых сегментов. Longformer обрабатывает длинную последовательность естественным образом за один проход, что упрощает параллельное обучение на таких платформах, как платформа Ultralytics.
• Longformer и BigBird: это очень похожие архитектуры, разработанные примерно в одно время. Обе используют механизмы разреженного внимания для достижения линейного масштабирования. BigBird дополнительно вводит специальный компонент случайного внимания в сочетании со скользящими окнами.

Концепции реализации#

Хотя Longformer является архитектурой, а не конкретной функцией, важно понимать, как подготавливать данные для моделей с длинным контекстом. В современных фреймворках, таких как PyTorch, это часто предполагает работу с эмбеддингами, размер которых превышает стандартные ограничения.

В следующем примере показано создание искусственного входного тензора для сценария с длинным контекстом в сравнении с типичным размером, используемым в стандартных моделях обнаружения, таких как YOLO26.

import torch

# Standard BERT-like models typically cap at 512 tokens
standard_input = torch.randint(0, 30000, (1, 512))

# Longformer architectures can handle significantly larger inputs (e.g., 4096)
# This allows the model to "see" the entire sequence at once.
long_context_input = torch.randint(0, 30000, (1, 4096))

print(f"Standard Input Shape: {standard_input.shape}")
print(f"Long Context Input Shape: {long_context_input.shape}")

# In computer vision, a similar concept applies when processing high-res images
# without downsampling, preserving fine-grained details.

Значение для компьютерного зрения#

Хотя Longformer изначально разрабатывался для работы с текстом, лежащие в его основе принципы повлияли на компьютерное зрение. Идея ограничения внимания локальной областью аналогична локализованным операциям в задачах компьютерного зрения. Vision Transformers (ViT) сталкиваются с похожими проблемами масштабирования при работе с изображениями высокого разрешения, поскольку число пикселей (или патчей) может быть огромным. Методы, основанные на разреженном внимании Longformer, используются для повышения эффективности классификации изображений и обнаружения объектов, помогая таким моделям, как YOLO26, сохранять высокую скорость при обработке детализированных визуальных данных.

Для дальнейшего изучения особенностей архитектуры ознакомься с оригинальной статьей о Longformer от AllenAI, в которой подробно представлены результаты тестирования и теоретические обоснования. Кроме того, эффективное обучение таких крупных моделей часто выигрывает от применения таких методов, как обучение со смешанной точностью и продвинутые алгоритмы оптимизации.