Cosine Similarity
Die Kosinusähnlichkeit bewertet, wie ähnlich zwei Vektoren anhand des Winkels zwischen ihnen sind, ohne ihre Länge zu berücksichtigen. Hier geht es um die Formel, verwandte Maße, Suchanwendungen und Code.
Die Kosinusähnlichkeit misst, wie ähnlich sich zwei Vektoren sind, und zwar anhand des Kosinus des Winkels zwischen ihnen: 1, wenn sie in dieselbe Richtung zeigen, 0, wenn sie senkrecht zueinander stehen, und −1, wenn sie in entgegengesetzte Richtungen zeigen. Sie berücksichtigt nur die Richtung und ignoriert die Vektorlänge. Das eignet sich für Daten, deren Richtung die Bedeutung trägt, etwa Wortzählungen aus Dokumenten unterschiedlicher Länge oder Einbettungen, die neuronale Netze für Texte und Bilder erzeugen. Deshalb ist sie der Standardwert zum Vergleichen von Elementen bei der semantischen Suche, der Retrieval-Augmented Generation (RAG) und Empfehlungssystemen.
So wird die Kosinusähnlichkeit berechnet#
Die Kosinusähnlichkeit ergibt sich aus dem Skalarprodukt zweier Vektoren geteilt durch das Produkt ihrer Längen: cos(θ) = (A·B) / (‖A‖·‖B‖), wobei ‖A‖ die euklidische Länge bezeichnet, also die Quadratwurzel aus der Summe der quadrierten Einträge. Wird einer der Vektoren mit einer positiven Zahl skaliert, bleibt der Wert unverändert. Vektoren ohne negative Einträge, etwa Wortzählungen oder TF-IDF-Gewichte, erhalten immer einen Wert zwischen 0 und 1. Dieses Beispiel vergleicht einen Vektor mit einer längeren Kopie von sich selbst, einem senkrechten Vektor und seinem Gegenvektor:
import numpy as np
def cosine(u, v):
"""Return the cosine of the angle between two vectors."""
return u @ v / (np.linalg.norm(u) * np.linalg.norm(v))
a = np.array([1.0, 2.0, 3.0])
b = 10 * a # same direction, ten times longer
c = np.array([3.0, 0.0, -1.0]) # perpendicular to a
print(f"cos(a, b) = {cosine(a, b):.2f}, Euclidean distance = {np.linalg.norm(a - b):.1f}")
print(f"cos(a, c) = {cosine(a, c):.2f}, cos(a, -a) = {cosine(a, -a):.2f}")Die skalierte Kopie erhält den perfekten Wert 1,00, obwohl sie im euklidischen Abstand 33,7 Einheiten entfernt liegt. Der senkrechte Vektor erhält 0,00 und der Gegenvektor −1,00.
Sind Vektoren auf Einheitslänge normalisiert, entspricht ihre Kosinusähnlichkeit dem Skalarprodukt und der quadrierte euklidische Abstand entspricht 2 − 2·cos(θ). Daher ergibt die Sortierung von Nachbarn nach Kosinusähnlichkeit, Skalarprodukt oder euklidischem Abstand dieselbe Reihenfolge. Vektordatenbanken und Suchbibliotheken normalisieren Einbettungen daher einmalig bei der Indizierung. Die Bewertung einer Abfrage anhand einer ganzen Sammlung wird so zu einem einzelnen Matrix-Vektor-Produkt, der zentralen Operation der Vektorsuche. Frameworks für Deep Learning stellen die Berechnung direkt bereit, wie etwa die Funktion cosine_similarity von PyTorch.
Anwendungen in der KI#
- Informationsabruf für Sprachmodelle: Eine Abfrage und eine Bibliothek mit Dokumentabschnitten werden mit demselben Modell eingebettet. Die Abschnitte mit der höchsten Kosinusähnlichkeit zur Abfrage werden dem Sprachmodell als Kontext übergeben.
- Gesichtsverifizierung: Systeme, die mit Verlustfunktionen wie ArcFace trainiert wurden, fügen zwischen Identitäten einen Winkelabstand hinzu. Sie vergleichen zwei Gesichtseinbettungen anhand der Kosinusähnlichkeit und akzeptieren eine Übereinstimmung, wenn diese einen abgestimmten Schwellenwert überschreitet.
- Zero-Shot-Klassifizierung mit CLIP: CLIP klassifiziert ein Bild, indem es die Kosinusähnlichkeit zwischen seiner Einbettung und den Einbettungen von Eingabeaufforderungen wie „ein Foto von einem Hund“ berechnet, die Werte mit einer erlernten Temperatur skaliert und eine Softmax-Funktion auf die Eingabeaufforderungen anwendet.
- Kontrastives Lernen: Verlustfunktionen wie NT-Xent von SimCLR teilen die Kosinusähnlichkeit zweier Einbettungen durch eine Temperatur. Dadurch werden Ansichten desselben Bildes näher zusammengebracht und andere Bilder voneinander entfernt.
- Empfehlungen auf Artikelebene: Beim kollaborativen Filtern werden Elemente anhand der Kosinusähnlichkeit ihrer Bewertungsvektoren verglichen. Produkte, die von denselben Kunden gekauft wurden, gelten so als ähnlich.
Bildeinbettungen im Code vergleichen#
YOLO26-Modelle geben über embed() eine Einbettung pro Bild zurück. Dabei wird der Vorhersagekopf übersprungen und die Ausgabe der vorletzten Schicht des Modells durch Mittelwertbildung zusammengefasst. Dieses Beispiel vergleicht Einbettungen zweier Beispielbilder aus einem YOLO26-Modell für die Bildklassifizierung:
import torch.nn.functional as F
from ultralytics import YOLO
# Load a YOLO26 classification model pretrained on ImageNet
model = YOLO("yolo26n-cls.pt")
# Generate one embedding vector per image
embeddings = model.embed(["https://ultralytics.com/images/bus.jpg", "https://ultralytics.com/images/zidane.jpg"])
# Cosine similarity between the two image embeddings
similarity = F.cosine_similarity(embeddings[0], embeddings[1], dim=0)
print(f"Cosine similarity: {similarity.item():.4f}")Der ausgegebene Wert liegt zwischen −1 und 1. Je höher er ist, desto ähnlicher repräsentiert das Netzwerk die beiden Bilder.
Kosinusähnlichkeit und verwandte Maße#
- Kosinusdistanz: Definiert als 1 minus Kosinusähnlichkeit; ihr Wertebereich reicht von 0 bis 2. Sie verletzt die Dreiecksungleichung und ist daher keine echte Abstandsmetrik. Der Winkel θ selbst ist hingegen eine echte Metrik.
- Skalarprodukt: Bezieht die Länge beider Vektoren ein. Ein langer Vektor erzielt daher einen höheren Wert als ein kurzer, der in dieselbe Richtung zeigt. Viele Zwei-Turm-Abrufmodelle werden darauf trainiert, anhand des unveränderten Skalarprodukts zu bewerten. Dabei kann die Vektorlänge Informationen wie die allgemeine Beliebtheit eines Elements enthalten.
- Euklidischer Abstand: Misst die direkte Entfernung zwischen zwei Punkten und nimmt mit Unterschieden in der Länge zu. Ein kurzes und ein langes Dokument zum selben Thema liegen daher im Wortzählungsraum weit auseinander.
- K-nächste Nachbarn (KNN): Ein Algorithmus, der Ähnlichkeits- oder Abstandsmaße benötigt, um Nachbarn zu finden. Bei Texten und Einbettungen wird ihm häufig die Kosinusähnlichkeit übergeben.
- Pearson-Korrelation: Entspricht der Kosinusähnlichkeit der beiden Vektoren, nachdem von den Einträgen jedes Vektors dessen eigener Mittelwert abgezogen wurde.










