Self-Attention

探索深度学习中自注意力的基础知识。了解 Query、Key 和 Value 向量如何为 Transformer 和 Ultralytics YOLO26 提供卓越的 AI 能力。

自注意力是深度学习中的一个基础机制，它使模型能够权衡输入序列中不同元素彼此的重要性。与按顺序处理数据或仅关注局部邻域的传统架构不同，自注意力允许神经网络同时检查整个上下文。这一功能帮助系统识别数据中遥远部分之间的复杂关系，例如句子中的单词或图像中的不同区域。它是Transformer架构的核心构建块，该架构推动了生成式 AI和现代感知系统的巨大发展。

Self-attention 的工作原理#

该机制通过为每个输入特征分配一个权重（通常称为“注意力得分”）来模拟认知焦点。为了计算这些得分，模型将通常表示为嵌入的输入数据转换为三个不同的向量：Query、Key 和 Value。

Query (Q): 表示当前正在从序列其余部分寻求相关上下文的项目。
Key (K): 作为序列中每个项目的标签或标识符，用于与 Query 进行匹配。
Value (V): 包含将要被聚合的项目的实际信息内容。

模型将一个元素的 Query 与所有其他元素的 Keys 进行比较以确定兼容性。这些兼容性得分使用softmax函数进行归一化，以创建类似概率的权重。然后将这些权重应用于 Values，生成一个内容丰富的表示。这一过程使大语言模型 (LLMs)和视觉系统能够在过滤噪声的同时优先处理重要信息。

实际应用#

自注意力的通用性使其在人工智能 (AI)的各个领域得到了广泛采用。

**自然语言处理 (NLP)：**在机器翻译等任务中，自注意力通过将代词与其所指对象相连来消除歧义。例如，在句子“The animal didn't cross the street because it was too tired”中，模型使用自注意力将“it”与“animal”而不是“street”强烈关联起来。这种上下文感知能力为Google Translate等工具提供了动力。
**全局图像上下文：**在计算机视觉 (CV)中，诸如视觉 Transformer (ViT)之类的架构将图像分割为图块（patch），并应用自注意力来全局理解场景。这对于在复杂环境中进行目标检测至关重要，在这些环境中，识别物体依赖于对其周围环境的理解。

区分相关术语#

虽然经常与类似概念一起讨论，但这些术语有着明确的技术定义：

**注意力机制：**允许模型聚焦于特定数据部分的广泛技术类别。它包含交叉注意力（Cross-Attention），其中模型使用一个序列（如解码器输出）来查询不同的序列（如编码器输入）。
Self-Attention: 一种特定类型的注意力，其中 Query、Key 和 Value 全部源自同一个输入序列。它旨在学习单个数据集内部的依赖关系。
**Flash Attention：**由Stanford University的研究人员开发的一种优化算法，它在不改变数学输出的情况下，使自注意力的计算在GPUs上显著更快且更省内存。

代码示例#

以下 Python 代码片段展示了如何使用 RTDETR，这是一个包含在 ultralytics 包中的基于 Transformer 的目标检测器。与标准卷积网络不同，该模型严重依赖自注意力来处理视觉特征。

from ultralytics import RTDETR

# Load the RT-DETR model which utilizes self-attention for detection
model = RTDETR("rtdetr-l.pt")

# Perform inference on an image to detect objects with global context
# Self-attention helps the model understand relationships between distant objects
results = model("https://ultralytics.com/images/bus.jpg")

# Print the number of objects detected
print(f"Detected {len(results[0].boxes)} objects using Transformer attention.")