Attention Sinks

Attention sinks 是在现代 大型语言模型 (LLMs) 和 视觉语言模型 (VLMs) 的架构中发现的一个关键现象，它能确保在持续、长文本或数据生成过程中的稳定性。在 注意力机制 中，神经网络会动态地为输入的各个部分分配“权重”。研究人员发现，自回归模型天生就会将大量的多余注意力得分倾倒到序列的最初几个token上，而不管它们的实际语义是什么。这些初始token充当了“attention sink”，提供了一个数学锚点，防止模型的注意力得分崩溃。通过将这些 sink token 永久保留在模型的 KV 缓存 中，开发者可以实现无限序列生成，而不会降低准确率或因内存限制而崩溃。

Attention Sinks 如何稳定模型#

对 attention sinks 的需求源自 Transformers 中使用的 Softmax 运算。由于注意力得分的总和必须始终为 1，因此模型在处理高度局部的数 据时，需要一个地方来分配不必要的注意力。提示词中的最早token会自然地吸收这部分多余的权重。

从历史上看，在生成极长的序列时，工程师会使用窗口技术将较早的token从内存中逐出。然而，丢弃初始的 sink token 会导致性能立即崩溃。现代实现（如 StreamingLLM）明确地保留了这些初始token以及最新的token。这种经过高度优化的内存管理方法正在 OpenAI 视觉开发 和 Google DeepMind 研究 中被积极探索，并且在 PyTorch 生态系统 中得到原生支持。

区分相关的注意力概念#

为了充分理解 AI 模型如何优化上下文，将 attention sinks 与其他内存和硬件策略进行对比会有所帮助：

• Attention Sinks 与 滑动窗口注意力： 滑动窗口注意力将模型的关注点限制在固定数量的最新token上以节省内存。然而，严格的滑动窗口会丢弃第一个token，从而导致不稳定。Attention Sinks 通过用那些至关重要的第一个token锚定窗口来修改这一点。
• Attention Sinks 与 Flash Attention： Flash Attention 是一种硬件级别的优化，可加速 GPU 上的内存读写。相反，Attention Sinks 是一项关于必须在内存中保留哪些token以维持逻辑稳定性的架构发现。

实际应用#

Attention sinks 的发现已经在各行各业解锁了高效、持续的处理能力。

1. 持续的 AI 智能体和聊天机器人： 通过保留 attention sinks，AI 智能体 或客服机器人可以连续数小时流式传输不间断的对话。它会选择性地遗忘中间的token，同时保留初始的 sink 和最近的上下文，从而防止内存溢出错误，同时保持对话的连贯性。

2. 实时视频理解： 在 智能监控 和持续监控中，保持稳定的上下文窗口至关重要。模型可以分析连续的视频源数天，从而匹配边缘优化视觉架构的效率。

实现高效的持续推理#

虽然 attention sinks 主要优化大型生成模型，但在 计算机视觉 (CV) 中，应用高效、具有内存意识的推理循环普遍非常重要。当使用 Ultralytics YOLO26 处理连续视频流时，利用 Python 生成器可确保长期运行时的内存稳定性，类似于管理本地化的上下文窗口。

from ultralytics import YOLO

# Load the recommended Ultralytics YOLO26 model for efficient, real-time edge processing
model = YOLO("yolo26n.pt")

# Process a continuous video stream efficiently without memory overflow
results = model.predict(source="rtsp://continuous_camera_stream", stream=True)

# Iterate through the generator to maintain a stable memory footprint over time
for frame_result in results:
    print(f"Detected {len(frame_result.boxes)} objects in the current frame.")

为了将这些高效、持续的 目标检测 管道扩展以用于企业，需要强大的管理工具。开发者可以利用 Ultralytics Platform 来简化 模型部署 和自动化数据集管理，使团队能够轻松构建稳定、长期运行的视觉应用。