Reformer
Reformer 是一种 Transformer 变体，采用 LSH 注意力和可逆层，使单个 GPU 能够处理超长序列。介绍其用途和视觉应用。
Reformer 是一种高效的 Transformer架构变体，旨在处理标准模型难以承受其计算开销的超长数据序列。Reformer 的推出旨在解决传统深度学习系统固有的内存瓶颈，并将注意力机制的复杂度从二次方降低到线性对数级。这项创新让人工智能研究人员能够在单个 GPU上训练上下文窗口包含数万个 token 的模型，例如处理整本书、高分辨率图像或长篇音乐作品。
Reformer 的核心创新#
Reformer 通过两项主要架构改动实现高效运行，这些改动使其区别于 BERT 或原始 GPT 系列等模型。这些技术解决了模型训练期间存储激活值所需的大量内存问题。
- 局部敏感哈希 (LSH) 注意力： 在标准 Transformer 中，序列中的每个元素都会关注其他所有元素，从而产生巨大的计算负荷。Reformer 使用局部敏感哈希将相似向量分组。模型不再为所有元素对计算注意力分数，而只对少量最近邻进行计算，大幅加快了推理引擎的运行速度。
- 可逆残差层 (RevNets)： 传统神经网络必须存储每一层的激活值，才能在反向传播期间计算梯度。Reformer 使用可逆神经网络，使模型能够在反向传播期间根据某层的输出重新计算其输入。这项技术无需缓存中间激活值，从而释放用于增大批量大小的内存。
Reformer 与标准 Transformer 的比较#
尽管两种架构都依赖自注意力机制，但它们在机器学习生态系统中承担着不同的用途。
- 标准 Transformer： 适用于中短序列。不过，随着序列长度 ($L$) 增长，其内存用量会按二次方增长 ($O(L^2)$)。许多用于情感分析或聊天机器人等任务的大语言模型 (LLMs)都以它为核心架构。
- Reformer： 针对超长序列 ($O(L \log L)$) 进行了优化。在某些场景下，它会牺牲少量准确率，换取处理标准 Transformer 无法处理的输入的能力，例如处理极长的时间序列分析数据或逐像素生成图像。
实际应用#
Reformer 处理超大上下文窗口的能力，为那些无法轻易拆分的数据领域开辟了新的可能性。
-
基因组分析： DNA 序列由数百万个碱基对组成。Reformer 可以分析这些长序列，在不丢失整体上下文的情况下识别生物信息学模式，帮助预测蛋白质结构。
-
长篇文本生成： 与几段文字后就可能失去连贯性的标准文本生成模型不同，Reformer 可以让数千个词语保持前后一致，因此适合生成长篇法律合同摘要或整章小说。
提升计算机视觉中的效率#
Reformer 虽然通常与文本相关，但高效这一原则在计算机视觉领域同样至关重要。正如 Reformer 优化了 Transformer 一样，YOLO26等现代视觉模型也针对实时推理优化了卷积神经网络 (CNN)。通过Ultralytics Platform将模型部署到边缘设备时，硬件资源有限，因此了解内存限制至关重要。
下面的代码展示了如何使用 PyTorch检查模型的内存占用；这一概念是 Reformer 等内存高效架构研发的核心。
import torch
import torch.nn as nn
# Define a simple Transformer layer (Standard, not Reformer optimized)
layer = nn.TransformerEncoderLayer(d_model=512, nhead=8)
model = nn.TransformerEncoder(layer, num_layers=6)
# Create a long sequence input (Sequence Length: 2000, Batch: 1, Features: 512)
# Standard Transformers struggle as this length increases.
input_data = torch.rand(2000, 1, 512)
# Check parameter count to understand model complexity
params = sum(p.numel() for p in model.parameters())
print(f"Model Parameters: {params:,}")
# Perform a forward pass
output = model(input_data)
print(f"Output shape: {output.shape}")
