变形金刚-XL

Transformer-XL 是 Transformer-Extra Long 的缩写，是一种先进的神经网络架构，旨在克服原始Transformer模型的主要局限之一：无法处理超长数据序列。Transformer-XL由谷歌人工智能公司和卡内基梅隆大学的研究人员共同开发，它引入了一种新颖的递归机制，允许模型学习固定长度上下文之外的依赖关系。这使它能够比其前辈更有效地处理涉及长文本（如书籍或文章）的任务，使其成为自然语言处理（NLP）领域的一项关键发展。

该架构的创新之处在于解决了上下文割裂的问题，即标准的 Transformer 在孤立的片段中处理数据，会丢失从一个片段到下一个片段的所有上下文信息。Transformer-XL 通过缓存和重复使用为前几个分段计算的隐藏状态来解决这个问题，并在这些分段之间建立经常性连接。这样，信息就可以在各分段之间流动，从而为模型提供了一种记忆形式和更大的有效上下文窗口。

如何使用

Transformer-XL 的有效性源于其在结构上对标准 Transformer 的两大核心改进：

• 片段级递归机制：Transformer-XL 不再独立处理每个文本片段，而是重新使用之前处理过的片段的隐藏状态作为当前片段的上下文。这项技术的灵感来源于递归神经网络（RNN）的机制，它能防止上下文支离破碎，使模型对数据建立更丰富、更长远的理解。这对于保持长文本生成的连贯性至关重要。
• 相对位置嵌入：最初的 Transformer 使用绝对位置嵌入来理解词序，但这种方法在跨片段重复使用隐藏状态时会变得不一致。Transformer-XL 引入了一种更复杂的相对定位方案。它不是对标记的绝对位置进行编码，而是对注意力机制中标记之间的相对距离进行编码。这使得该模型在处理新的、更长的序列时更具鲁棒性和通用性。

相关性和应用

Transformer-XL 的长程依赖建模能力使其在各种顺序任务中，尤其是在 NLP 中，发挥了巨大作用。

• 语言建模：通过捕捉比以往模型更长的上下文，它在字符级和词级语言建模基准（如enwik8和WikiText-103）上取得了最先进的结果。这种对语言结构的更好理解对于生成连贯且与上下文相关的文本至关重要。例如，基于 Transformer-XL 的模型可以编写一部小说，其中第一章中提到的细节会在最后一章中被持续记忆和引用。
• 长文档处理：涉及长文档的任务，如文本摘要、长篇文章的问题解答或整本书或代码库的分析，都能从扩展的上下文窗口中大大受益。人工智能法律助理可以使用这种架构来阅读一份长达数百页的合同，并准确回答关于相互关联条款的问题，无论这些条款在文档中相隔多远。
• 强化学习：在需要长期规划的强化学习任务中，它的记忆能力也得到了提高。

虽然 Transformer-XL 主要用于 NLP，但高效处理长序列的原理与机器学习 (ML) 息息相关，可能会影响用于时间序列分析的架构，甚至是处理视频数据的计算机视觉 (CV)方面。架构创新往往会相互渗透；例如，变形器本身就启发了用于图像分析的视觉变形器（ViT）。抱抱脸"（Hugging Face）等平台承载了实现和预训练模型，促进了研究和应用开发。您可以在论文《Transformer-XL：超越固定长度语境的细心语言模型"。了解这些先进的架构有助于开发和微调各种领域的模型，包括通过Ultralytics HUB 等平台管理和部署的模型。

与相关术语的比较

• 标准转换器：主要区别在于对上下文的处理。标准转换器以固定、孤立的块处理信息，导致上下文支离破碎。Transformer-XL 引入了一种递归机制来连接这些信息块，使其能够为跨信息块的依赖关系建模。
• Longformer虽然两种模型都是针对长序列设计的，但 Longformer 采用了不同的注意力模式--滑动窗口和全局注意力标记的组合--以实现高效率。它通常用于需要在单个长输入上进行双向语境的任务，而 Transformer-XL 的优势在于自动回归生成，在这种情况下，来自过去片段的语境至关重要。
• ReformerReformer 也以长序列为目标，但通过不同的方法实现效率，即位置敏感散列（LSH）注意和可逆残差层。它的重点是减少内存使用量和计算成本，而 Transformer-XL 的核心创新是通过递归克服上下文碎片。