Longformer

Longformer 是一种专门的 Deep Learning 架构，旨在高效处理长序列数据，从而克服传统模型的局限性。Longformer 最初是为了解决标准 Transformers 的限制而引入的，后者通常由于内存限制而在处理长于 512 个 token 的序列时遇到困难，它采用了一种修改后的 attention mechanism。通过将计算复杂度从二次方降低到线性，该架构使 AI 系统能够单次通过分析整个文档、长篇记录或复杂的基因序列，而无需截断输入。

注意力瓶颈问题#

要理解 Longformer 的重要性，必须了解诸如 BERT 和早期 GPT-3 等前代模型的局限性。标准 Transformer 使用“自注意力”（self-attention）操作，其中每个 token（单词或单词的一部分）关注序列中的所有其他 token。这会产生二次方的计算成本；将序列长度加倍会使 GPU 所需的内存翻四倍。因此，大多数标准模型对输入大小施加了严格的限制，通常迫使数据科学家将文档切分为更小的、不连贯的片段，从而导致上下文丢失。

Longformer 通过引入 Sparse Attention（稀疏注意力）解决了这个问题。它不再使用完全的全连接，而是结合了窗口化局部注意力和全局注意力：

• **滑动窗口注意力（Sliding Window Attention）：**每个 token 仅关注其直接相邻项。这捕获了局部上下文和句法结构，类似于 Convolutional Neural Network (CNN) 处理图像的方式。
• **膨胀滑动窗口（Dilated Sliding Window）：**为了在不增加计算量的情况下增加 receptive field，窗口可以包含间隙，从而让模型能够“看到”文本中更远的地方。
• **全局注意力（Global Attention）：**特定的预选 token（例如分类 token [CLS]）会关注序列中的所有其他 token，并且所有 token 也都会关注它们。这确保了模型针对诸如 text summarization 等任务时，能够保留对整个输入的高级理解。

实际应用#

能够同时处理数千个 token 为 Natural Language Processing (NLP) 及其他领域开辟了新的可能性。

法律和医疗文档分析#

在法律和医疗等行业中，文档很少是很短的。法律合同或患者的病历可以跨越数十页。传统 Large Language Models (LLMs) 要求将这些文档进行碎片化处理，这可能会漏掉第 1 页上的条款与第 30 页上的定义之间至关重要的依赖关系。Longformer 允许同时对整个文档进行 Named Entity Recognition (NER) 和分类，从而确保全局上下文影响特定术语的解释。

长文本问答 (QA)#

标准的 Question Answering 系统在回答问题需要综合分布在长篇文章中的信息时，往往会遇到困难。通过将全文保留在内存中，基于 Longformer 的模型可以执行多跳推理，连接在不同段落中找到的事实以生成全面的答案。这对于自动化技术支持系统和学术研究工具至关重要。

区分关键术语#

• **Longformer 与 Transformer：**标准 Transformer 使用完整的 $N^2$ 注意力，这使得它对于长输入而言很精确，但计算成本很高。Longformer 使用稀疏的 $N$ 注意力，以牺牲微不足道的理论容量为代价换取了巨大的效率提升，从而允许输入 4,096 个或更多 token。
• **Longformer 与 Transformer-XL：**虽然两者都处理长序列，但 Transformer-XL 依赖循环机制（缓存以前的状态）来记住过去的片段。Longformer 原生地一次性处理长序列，这简化了在诸如 Ultralytics Platform 等平台上的并行训练。
• **Longformer 与 BigBird：**这些是大约在同一时期开发的非常相似的架构。两者都使用稀疏注意力机制来实现线性缩放。BigBird 除了滑动窗口之外，还引入了一个特定的随机注意力组件。

实现概念#

虽然 Longformer 是一种架构而不是特定的功能，但了解如何为长上下文模型准备数据至关重要。在诸如 PyTorch 等现代框架中，这通常涉及管理超出标准限制的 embeddings。

以下示例演示了如何为长上下文场景创建一个模拟输入张量，并将其与诸如 YOLO26 等标准检测模型中使用的典型大小进行对比。

import torch

# Standard BERT-like models typically cap at 512 tokens
standard_input = torch.randint(0, 30000, (1, 512))

# Longformer architectures can handle significantly larger inputs (e.g., 4096)
# This allows the model to "see" the entire sequence at once.
long_context_input = torch.randint(0, 30000, (1, 4096))

print(f"Standard Input Shape: {standard_input.shape}")
print(f"Long Context Input Shape: {long_context_input.shape}")

# In computer vision, a similar concept applies when processing high-res images
# without downsampling, preserving fine-grained details.

与计算机视觉的相关性#

尽管 Longformer 最初是为文本设计的，但其背后的原理已经影响了 Computer Vision。将注意力限制在局部邻域的概念类似于视觉任务中的局部操作。视觉 Transformer (ViT) 在处理高分辨率图像时也面临类似的缩放问题，因为像素（或图块）的数量可能非常庞大。源自 Longformer 稀疏注意力的技术被用于提高 image classification 和 object detection 的效率，帮助诸如 YOLO26 等模型在处理详细视觉数据时保持高速。

有关架构细节的进一步阅读，AllenAI 撰写的 original Longformer paper 提供了深入的基准测试和理论依据。此外，对此类大型模型的高效训练通常受益于诸如 mixed precision 和高级 optimization algorithms 等技术。