Longformer

Longformer 是一种基于 Transformer 的高级模型，旨在高效处理超长文档。该模型由艾伦人工智能研究所的研究人员开发，其主要创新点是一种随序列长度线性扩展的注意力机制，与 BERT 等标准 Transformer 模型的二次扩展不同。这种效率使其能够在包含数千甚至数万个标记的文本上执行复杂的自然语言处理（NLP）任务，而这对于早期的架构来说，计算量是难以承受的。

Longformer 如何工作

Longformer 效率的核心在于其独特的关注模式，它取代了标准变形金刚的完全自我关注机制。Longformer 结合了两种关注模式，而不是每个标记都关注其他标记：

• 滑动窗口（本地）关注：大多数标记只关注两侧固定数量的相邻标记。这就捕捉到了局部上下文，类似于人类读者根据其周围的单词来理解单词。这种方法的灵感来源于卷积神经网络（CNN）在利用局部模式方面取得的成功。
• 全球关注： 少数预选标记被指定为具有全局注意力，这意味着它们可以关注整个序列中的所有其他标记。这些 "全局 "标记可收集整个文档中的高级信息。对于特定任务 微调这些全球代币往往是战略性选择，例如 [CLS] 用于分类任务的标记。

这种组合在计算效率和捕捉理解复杂文档所需的长距离依赖关系之间实现了平衡。原始研究详见论文"Longformer：长文档转换器"。

人工智能和机器学习的应用

Longformer 处理长序列的能力为许多以前不切实际的应用提供了可能性。

• 长文档分析：它可以对整本书、长篇研究论文或复杂的法律文件执行文本摘要或问题解答等任务。例如，一家法律技术公司可以使用基于 Longformer 的模型自动扫描数千页的发现文件，以查找相关证据。
• 对话系统和聊天机器人：在聊天机器人或虚拟助手环境中，Longformer 可以保留更长的对话历史，从而在更长的时间内实现更连贯、更能感知上下文的互动。
• 基因组学和生物信息学：它的结构非常适合分析长 DNA 或蛋白质序列，帮助研究人员在庞大的基因数据集中找出模式和功能。研究实验室可以利用它来查找整个染色体中的特定基因序列。

预训练的 Longformer 模型可在Hugging Face 等平台上广泛使用，开发人员可根据不同任务对其进行调整。

与相关术语的比较

Longformer 是为克服长序列标准变压器的局限性而设计的多种型号之一。

• 标准变压器：关键区别在于注意力机制。Longformer 的高效注意力模式是为长序列设计的，而标准变形金刚中的完全自我注意力对于长输入来说过于耗费内存和计算。
• ReformerReformer 是另一种高效的转换器，它使用对位置敏感的散列（LSH）注意和可逆层等技术来减少资源使用。虽然两者都以长序列为目标，但它们采用了不同的技术策略来实现高效。
• Transformer-XL：该模型引入了递归和相对位置嵌入来管理较长的上下文，因此对文本生成等自动回归任务特别有效。相比之下，Longformer 的设计目的是一次性处理具有双向上下文的单个长文档。

虽然这些 NLP 模型不同于Ultralytics YOLO 等计算机视觉（CV）模型，后者擅长物体检测等任务，但提高计算效率是共同的主题。降低复杂性的创新（如 Longformer 中的创新）对于使强大的深度学习模型适用于实时推理和在不同硬件上部署模型至关重要。使用Ultralytics HUB 等平台可以简化对此类高级模型的管理。