Reformer

探索 Reformer 架构，这是一种针对长序列的高效 Transformer 变体。了解 LSH 注意力和 RevNets 如何为 AI 研究优化内存。

Reformer 是 Transformer 架构的一种高效变体，旨在处理对于标准模型来说计算成本过高的极长数据序列。Reformer 的引入旨在解决传统深度学习系统固有的内存瓶颈，它将注意力机制的复杂度从二次方降至线对数级别。这一创新使人工智能研究人员能够在单个 GPU 上，针对跨越数万个 token 的上下文窗口（例如整本书、高分辨率图像或长篇音乐作品）训练模型。

Reformer 的核心创新#

Reformer 通过两项主要的架构更改实现了高效性，这使它有别于 BERT 或最初的 GPT 系列等模型。这些技术解决了在模型训练期间存储激活值所需的大量内存。

局部敏感哈希 (LSH) 注意力： 在标准的 Transformer 中，序列中的每个元素都与其他所有元素进行注意力交互，从而产生巨大的计算负载。Reformer 使用局部敏感哈希将相似的向量分组在一起。模型无需计算所有配对的注意力分数，而是仅计算一小部分最近邻的分数，从而显著加快了推理引擎的速度。
可逆残差层 (RevNets)： 传统的神经网络必须存储每一层的激活值，以便在反向传播期间计算梯度。Reformer 采用了可逆神经网络，允许在反向传递过程中从输出重新计算层的输入。这项技术消除了缓存中间激活的需求，从而为更大的批次大小释放了内存。

Reformer 与标准 Transformer 的对比#

虽然这两种架构都依赖于自注意力机制，但它们在机器学习生态系统中服务于不同的目的。

标准 Transformer： 非常适合中短长度的序列。然而，其内存使用量随序列长度 ($L$) 呈二次方增长 ($O(L^2)$)。它是用于情感分析或聊天机器人等任务的许多大型语言模型 (LLMs) 的骨干。
Reformer： 针对极端长度进行了优化 ($O(L \log L)$)。为了能够处理标准 Transformer 无法处理的输入（例如处理极长的时间序列分析数据或生成逐像素图像），它在某些情况下牺牲了少量的准确率。

实际应用#

Reformer 处理庞大上下文窗口的能力为那些数据难以碎片化的领域开辟了新的可能性。

基因组分析： DNA 序列由数百万个碱基对组成。Reformer 能够分析这些长字符串，在不丢失更广泛上下文的情况下识别生物信息学中的模式，从而协助预测蛋白质结构。
长文本生成： 与可能在几段后失去连贯性的标准文本生成模型不同，Reformer 可以在数千个单词中保持一致性，这使其适合生成长篇法律合同或整部小说章节的摘要。

计算机视觉中的效率#

虽然 Reformer 通常与文本相关联，但效率原则在计算机视觉中至关重要。正如 Reformer 优化 Transformer 一样，诸如 YOLO26 等现代视觉模型针对实时推理优化了卷积神经网络 (CNN)。在通过Ultralytics 平台将模型部署到硬件资源受限的边缘设备时，理解内存限制至关重要。

以下代码演示了如何使用 PyTorch 检查模型的内存占用情况，这个概念对于开发像 Reformer 这样具有内存效率的架构至关重要。

import torch
import torch.nn as nn

# Define a simple Transformer layer (Standard, not Reformer optimized)
layer = nn.TransformerEncoderLayer(d_model=512, nhead=8)
model = nn.TransformerEncoder(layer, num_layers=6)

# Create a long sequence input (Sequence Length: 2000, Batch: 1, Features: 512)
# Standard Transformers struggle as this length increases.
input_data = torch.rand(2000, 1, 512)

# Check parameter count to understand model complexity
params = sum(p.numel() for p in model.parameters())
print(f"Model Parameters: {params:,}")

# Perform a forward pass
output = model(input_data)
print(f"Output shape: {output.shape}")