Reformer

Reformer是一种高效架构，旨在改进标准的 Transformer模式，在处理超长序列时大幅降低内存消耗和计算成本。 处理超长序列时的内存消耗和计算成本。传统的变换器为 自然语言处理 (NLP)、 其内存使用量与序列长度成四次方关系，因此在长文档上运行成本很高。而 Reformer 解决了这一瓶颈问题，可在单个 GPU （图形处理器）上处理多达 100 万个词块的序列、 为 深度学习 (DL)。

改革者背后的核心创新

Reformer 引入了两项主要技术，以实现线性复杂度 $O(L)$，而不是二次复杂度 $O(L^2)$、 与前代产品相比，它能更有效地处理海量数据。

• 位置敏感散列（LSH） 注意力 在标准关注机制中，每个 标记都会关注其他标记，这需要大量计算。Reformer 使用 LSH 将相似向量分组 为一组。然后，只在这些桶内计算注意力，从而以极高的准确度近似于完整的注意力矩阵。 准确度很高，但成本很低。这样，模型就能专注于输入的相关部分，而无需 扫描整个序列。
• 可逆残留层：训练深度 神经网络通常需要存储 激活，以便在反向传播过程中计算梯度。 反向传播。Reformer 采用可逆 层，可以在反向传递过程中即时重新计算激活，而不是存储在内存中。 这一创新使模型的内存效率大大提高，从而可以训练更深层次的网络。

实际应用

处理大量上下文的能力使 Reformer 在执行对理解数据的全局结构至关重要的任务时发挥了独特的作用。 数据的全局结构至关重要。

• 基因组分析： DNA 序列由数百万个碱基对组成 碱基对，其中遥远的元素可以相互影响。Reformer 可以获取这些长序列，以确定基因功能或预测蛋白质结构。 这项任务通常需要大量内存，而标准模型 像 BERT。
• 长文档摘要：在法律和金融领域，专业人员经常分析长达数百页的文档。 长达数百页的文件。基于 Reformer 的模型可以一次性处理整本书或法律合同，以执行文本摘要或文本分析。 进行文本摘要或 问题解答，在长距离上保持连贯性。 递归神经网络（RNN） 不同，递归神经网络（RNN）可能会在梯度消失的情况下陷入困境。
• 生成高分辨率图像：通过将像素视为一个序列，Reformer 可应用于 图像生成任务，创建连贯的 高分辨率视觉效果，而不会耗尽内存。

与相关术语的区别

必须将 Reformer 与其他序列模型区分开来。虽然 Longformer也以长序列为目标，但它使用了一种 滑动窗口注意机制与全局注意相结合。相比之下，Reformer 依靠哈希算法（LSH） 来动态查找相关标记。此外，虽然 YOLO11在计算机视觉方面进行了速度优化，而 Reformer 速度进行了优化，而 Reformer 则针对序列建模中的内存效率进行了优化。 内存效率。不过，二者的共同目标都是在受限硬件上实现性能最大化。 硬件上实现性能最大化。

实施高效推理

虽然 Reformer 是一个特定的架构，但高效推理的概念在人工智能领域却是普遍存在的。下面的 示例演示了如何使用 ultralytics 视频流--一种 在这种情况下，优化速度和内存至关重要。

from ultralytics import YOLO

# Load the YOLO11n model, optimized for speed and efficiency
model = YOLO("yolo11n.pt")

# Run inference on a video source (treating frames as a sequence)
# stream=True uses a generator to process frames one by one, saving memory
results = model.predict(source="https://ultralytics.com/images/bus.jpg", stream=True)

for result in results:
    # Process each frame's detection results efficiently
    print(f"Detected {len(result.boxes)} objects in current frame.")

了解 Reformer 这样的架构对于引领人工智能的发展至关重要。 对人工智能的发展至关重要，因为它们突破了 的界限。 人工智能 (AI) 的计算可行性。更多 更多关于高效模型训练的信息，请浏览Ultralytics 指南。