Cosine Similarity
Косинусное сходство оценивает, насколько близки два вектора, по углу между ними, не учитывая их длину. Разбираем формулу, связанные меры, применение в поиске и код.
Косинусное сходство показывает, насколько похожи два вектора, по косинусу угла между ними: 1, если они направлены одинаково, 0, если они перпендикулярны, и −1, если направлены противоположно. Оно не учитывает длину векторов, а сравнивает только их направление. Это подходит для данных, в которых смысл задается направлением, например для количества слов в документах разной длины или эмбеддингов, которые нейронные сети создают для текста и изображений. Поэтому этот показатель по умолчанию используют для сравнения элементов в семантическом поиске, генерации с дополненной выборкой (RAG) и рекомендательных системах.
Как вычисляется косинусное сходство#
Косинусное сходство — это скалярное произведение двух векторов, деленное на произведение их длин: cos(θ) = (A·B) / (‖A‖·‖B‖), где ‖A‖ — евклидова длина, то есть квадратный корень из суммы квадратов элементов. Умножение любого вектора на положительное число не меняет оценку. Для векторов без отрицательных значений, например количества слов или весов TF-IDF, оценка всегда находится между 0 и 1. В этом примере сравниваются вектор, его копия большей длины, перпендикулярный вектор и противоположный вектор:
import numpy as np
def cosine(u, v):
"""Return the cosine of the angle between two vectors."""
return u @ v / (np.linalg.norm(u) * np.linalg.norm(v))
a = np.array([1.0, 2.0, 3.0])
b = 10 * a # same direction, ten times longer
c = np.array([3.0, 0.0, -1.0]) # perpendicular to a
print(f"cos(a, b) = {cosine(a, b):.2f}, Euclidean distance = {np.linalg.norm(a - b):.1f}")
print(f"cos(a, c) = {cosine(a, c):.2f}, cos(a, -a) = {cosine(a, -a):.2f}")Оценка копии, умноженной на коэффициент, равна идеальному значению 1,00, хотя евклидово расстояние до нее составляет 33,7 единицы. Оценка перпендикулярного вектора — 0,00, а противоположного — −1,00.
После нормализации векторов до единичной длины косинусное сходство равно их скалярному произведению, а квадрат евклидова расстояния равен 2 − 2·cos(θ). Поэтому сортировка соседей по косинусному сходству, скалярному произведению или евклидову расстоянию дает одинаковый порядок. Векторные базы данных и поисковые библиотеки однократно нормализуют эмбеддинги при индексации. Тогда оценка сходства запроса со всей коллекцией сводится к одному умножению матрицы на вектор — основной операции векторного поиска. Фреймворки глубокого обучения предоставляют готовую функцию для вычисления сходства, например функцию cosine_similarity в PyTorch.
Применение в ИИ#
- Поиск для языковых моделей: запрос и фрагменты из библиотеки документов встраиваются с помощью одной модели. Фрагменты с наибольшим косинусным сходством с запросом передаются языковой модели в качестве контекста.
- Сверка лиц: системы, обученные с помощью функций потерь вроде ArcFace, которая добавляет угловой зазор между идентификаторами, сравнивают эмбеддинги двух лиц по косинусному сходству и принимают совпадение, если оценка превышает настроенный порог.
- Классификация без примеров с CLIP: CLIP присваивает изображению метку, вычисляя косинусное сходство между его эмбеддингом и эмбеддингами таких промптов, как «фотография собаки», умножая оценки на обучаемый температурный коэффициент и применяя softmax ко всем промптам.
- Контрастивное обучение: функции потерь, например NT-Xent из SimCLR, делят косинусное сходство двух эмбеддингов на температурный коэффициент, сближая представления разных видов одного изображения и отдаляя представления других изображений.
- Рекомендации на основе объектов: при коллаборативной фильтрации объекты сравниваются по косинусному сходству векторов оценок, поэтому товары, купленные одними и теми же покупателями, считаются похожими.
Сравнение эмбеддингов изображений в коде#
Модели YOLO26 возвращают по одному эмбеддингу на изображение через embed(): эта функция пропускает голову предсказания и усредняет выходные данные предпоследнего слоя модели. В этом примере сравниваются эмбеддинги двух тестовых изображений, полученные моделью YOLO26 для классификации изображений:
import torch.nn.functional as F
from ultralytics import YOLO
# Load a YOLO26 classification model pretrained on ImageNet
model = YOLO("yolo26n-cls.pt")
# Generate one embedding vector per image
embeddings = model.embed(["https://ultralytics.com/images/bus.jpg", "https://ultralytics.com/images/zidane.jpg"])
# Cosine similarity between the two image embeddings
similarity = F.cosine_similarity(embeddings[0], embeddings[1], dim=0)
print(f"Cosine similarity: {similarity.item():.4f}")Выведенная оценка находится в диапазоне от −1 до 1. Чем она выше, тем более похожими сеть считает два изображения.
Косинусное сходство и смежные метрики#
- Косинусное расстояние: определяется как единица минус косинусное сходство и находится в диапазоне от 0 до 2. Оно не удовлетворяет неравенству треугольника, поэтому не является настоящей метрикой расстояния. Сам угол θ этому условию удовлетворяет.
- Скалярное произведение: учитывает длину обоих векторов, поэтому длинный вектор получает более высокую оценку, чем короткий вектор, направленный так же. Многие двухбашенные модели поиска обучаются оценивать сходство по обычному скалярному произведению, где длина вектора может передавать такие сведения, как общая популярность товара.
- Евклидово расстояние: измеряет расстояние по прямой между двумя точками и увеличивается при разнице в длине векторов. Поэтому короткий и длинный документы на одну тему оказываются далеко друг от друга в пространстве частот слов.
- Метод k ближайших соседей (KNN): алгоритму для поиска соседей нужна метрика сходства или расстояния. В задачах с текстом и эмбеддингами ему часто передают косинусное сходство.
- Корреляция Пирсона: равна косинусному сходству двух векторов после вычитания среднего значения каждого вектора из его элементов.










