Cosine Similarity
余弦相似度根据两个向量之间的夹角衡量其相似程度,不考虑向量长度。介绍公式、相关度量、搜索应用和代码。
余弦相似度通过两个向量夹角的余弦值衡量它们有多相似:方向相同时为 1,互相垂直时为 0,方向相反时为 −1。它忽略向量长度,只比较方向,因此适用于方向承载含义的数据,例如来自不同长度文档的词频,或神经网络为文本和图像生成的嵌入。因此,它是比较语义搜索、检索增强生成(RAG)和推荐系统中各项内容的默认评分方式。
余弦相似度的计算方式#
余弦相似度是两个向量的点积除以它们长度的乘积:cos(θ) = (A·B) / (‖A‖·‖B‖),其中 ‖A‖ 是欧几里得长度,即各项平方和的平方根。将任一向量乘以正数都不会改变得分。词频或 TF-IDF 权重等不含负数的向量,得分始终在 0 到 1 之间。下面的示例将一个向量与其较长副本、一个垂直向量和它的反向向量进行比较:
import numpy as np
def cosine(u, v):
"""Return the cosine of the angle between two vectors."""
return u @ v / (np.linalg.norm(u) * np.linalg.norm(v))
a = np.array([1.0, 2.0, 3.0])
b = 10 * a # same direction, ten times longer
c = np.array([3.0, 0.0, -1.0]) # perpendicular to a
print(f"cos(a, b) = {cosine(a, b):.2f}, Euclidean distance = {np.linalg.norm(a - b):.1f}")
print(f"cos(a, c) = {cosine(a, c):.2f}, cos(a, -a) = {cosine(a, -a):.2f}")缩放后的副本得分为完美的 1.00,尽管它与原向量的欧几里得距离为 33.7;垂直向量得分为 0.00,反向向量得分为 −1.00。
向量经过归一化并转为单位长度后,余弦相似度就等于它们的点积,平方欧几里得距离则等于 2 − 2·cos(θ),因此按余弦相似度、点积或欧几里得距离对邻居排序,结果顺序相同。向量数据库和搜索库会在索引嵌入时先将其归一化,因此对整个集合中的向量进行查询评分,只需一次矩阵—向量乘法,这也是向量搜索的核心操作。深度学习框架可直接执行这项计算,例如 PyTorch 的 cosine_similarity 函数。
AI 中的应用#
- 语言模型检索:使用同一个模型为查询和文档片段库生成嵌入,然后将与查询余弦相似度最高的片段作为上下文传给语言模型。
- 人脸验证:使用 ArcFace 等损失函数训练的系统会在人脸身份之间增加角度边距,然后通过余弦相似度比较两个人脸嵌入,并在得分高于经过调优的阈值时接受匹配。
- 使用 CLIP 进行零样本分类:CLIP 通过计算图像嵌入与“a photo of a dog”等提示词嵌入之间的余弦相似度来为图像分类,再用学习得到的温度缩放分数,并对所有提示词应用 softmax。
- 对比学习:SimCLR 的 NT-Xent 等损失函数会用温度缩放两个嵌入的余弦相似度,使同一图像的不同视图彼此靠近,并让其他图像彼此远离。
- 基于物品的推荐:协同过滤通过余弦相似度比较物品的评分向量,因此被同一批顾客购买的商品会被视为相似。
在代码中比较图像嵌入#
YOLO26 模型通过 embed() 为每张图像返回一个嵌入;该方法会跳过预测头,并对模型倒数第二层的输出进行平均池化。下面的示例比较 YOLO26 图像分类模型对两张示例图像生成的嵌入:
import torch.nn.functional as F
from ultralytics import YOLO
# Load a YOLO26 classification model pretrained on ImageNet
model = YOLO("yolo26n-cls.pt")
# Generate one embedding vector per image
embeddings = model.embed(["https://ultralytics.com/images/bus.jpg", "https://ultralytics.com/images/zidane.jpg"])
# Cosine similarity between the two image embeddings
similarity = F.cosine_similarity(embeddings[0], embeddings[1], dim=0)
print(f"Cosine similarity: {similarity.item():.4f}")打印出的分数介于 −1 和 1 之间,分数越高,说明网络对这两张图像的表示越相似。
余弦相似度与相关度量的比较#
- 余弦距离:定义为 1 减去余弦相似度,范围为 0 到 2。它不满足三角不等式,因此不是真正的距离度量;但角度 θ 本身满足三角不等式。
- 点积:同时考虑两个向量的长度,因此方向相同的两个向量中,较长向量的得分会高于较短向量。许多双塔检索模型使用原始点积进行评分训练,此时向量长度可以承载信息,例如物品的总体受欢迎程度。
- 欧几里得距离:衡量两点之间的直线距离,并随长度差异增加,因此在词频空间中,同一主题下的短文档和长文档也会相距较远。
- K 近邻(KNN):一种需要使用相似度或距离来查找邻居的算法;在文本和嵌入应用中,通常会使用余弦相似度。
- 皮尔逊相关系数:先从每个向量的各项中减去该向量自身的均值,再计算两个向量的余弦相似度,结果与皮尔逊相关系数相同。










