Attention Sinks

注意力汇是现代大型语言模型（LLMs）和视觉语言模型（VLMs）架构中发现的一种关键现象，可确保连续生成长篇文本或数据时的稳定性。在注意力机制中，神经网络会动态地为输入的不同部分分配“权重”。研究人员观察到，无论序列最前面的几个 token 具有怎样的实际语义，自回归模型都会将大量多余的注意力分数倾倒到这些 token 上。这些初始 token 充当“注意力汇”，提供一个数学锚点，防止模型的注意力分数崩溃。通过将这些汇 token 永久保留在模型的KV cache中，开发者可以实现无限序列生成，同时避免准确率下降或因内存限制而崩溃。

注意力汇如何稳定模型#

注意力汇的必要性源于 Transformer 中使用的 Softmax 操作。由于注意力分数的总和必须始终为 1，模型在处理高度局部化的数据时需要一个位置来分配不必要的注意力。提示中的最早 token 会自然地吸收这些多余的注意力。

过去，在生成超长序列时，工程师会使用窗口化技术，将较早的 token 从内存中移除。然而，丢弃最初的汇 token 会导致性能立即崩溃。现代实现（例如 StreamingLLM）会将这些初始 token 与最新 token 一起显式保留。这种高度优化的内存管理方法正由OpenAI 视觉领域的发展和Google DeepMind 的研究积极探索，并且已在PyTorch 生态系统中原生支持。

区分相关的注意力概念#

要全面理解 AI 模型如何优化上下文，将注意力汇与其他内存和硬件策略进行对比会很有帮助：

• **注意力汇 vs. 滑动窗口注意力：**滑动窗口注意力将模型的关注范围限制在固定数量的最新 token 内，以节省内存。然而，严格的滑动窗口会丢弃最初的 token，从而导致不稳定。注意力汇通过使用这些关键的初始 token 锚定窗口，对此进行了改进。
• **注意力汇 vs. Flash Attention：**Flash Attention 是一种硬件级优化，可加快 GPU 上的内存读写速度。相比之下，注意力汇是一项架构层面的发现，揭示了必须将哪些 token 保留在内存中，才能维持逻辑稳定性。

实际应用#

注意力汇的发现解锁了跨多个行业的高效连续处理能力。

1. **连续运行的 AI 智能体和聊天机器人：**通过保留注意力汇，AI 智能体或客服机器人可以连续数小时不间断地进行对话。它会有选择地遗忘中间 token，同时保留初始汇 token 和近期上下文，从而在避免内存不足错误的同时保持对话连贯性。

2. **实时视频理解：**在智能监控和持续监测中，保持稳定的上下文窗口至关重要。模型可以连续数天分析视频流，其效率可与针对边缘设备优化的视觉架构相媲美。

实现高效的连续推理#

虽然注意力汇主要用于优化大规模生成模型，但在计算机视觉（CV）中，应用高效且注重内存的推理循环同样具有普遍意义。使用Ultralytics YOLO26处理连续视频流时，利用 Python 生成器可以确保长时间运行期间的内存稳定性，类似于管理局部上下文窗口。

from ultralytics import YOLO

# Load the recommended Ultralytics YOLO26 model for efficient, real-time edge processing
model = YOLO("yolo26n.pt")

# Process a continuous video stream efficiently without memory overflow
results = model.predict(source="rtsp://continuous_camera_stream", stream=True)

# Iterate through the generator to maintain a stable memory footprint over time
for frame_result in results:
    print(f"Detected {len(frame_result.boxes)} objects in the current frame.")

要将这些高效的连续目标检测流水线扩展到企业应用，需要强大的管理工具。开发者可以使用Ultralytics Platform来简化模型部署和自动化数据集管理，帮助团队轻松构建稳定、长期运行的视觉应用。