Vector Search

Tìm kiếm vector truy xuất các mục có embedding gần với embedding truy vấn nhất theo một thước đo độ tương đồng như độ tương đồng cosine, tích vô hướng hoặc khoảng cách Euclid. Model embedding đặt các mục có ý nghĩa hoặc hình thức tương tự gần nhau, nên các vector gần nhất thường là tài liệu, hình ảnh hoặc sản phẩm tương tự nhất, ngay cả khi chúng không có từ khóa chung với truy vấn. Tìm kiếm vector chính xác là phép tra cứu k láng giềng gần nhất (k-NN) trên mọi vector đã lưu. Khi mở rộng quy mô, các hệ thống dùng chỉ mục láng giềng gần đúng (ANN), so sánh truy vấn với một phần nhỏ các vector nhưng vẫn trả về gần như toàn bộ láng giềng thực.

Cách tìm kiếm vector hoạt động#

Truy vấn và các mục đã lưu được chuyển thành embedding bằng cùng một model hoặc bằng một cặp model được huấn luyện cùng nhau: bộ mã hóa câu cho văn bản, CLIP để ghép văn bản với hình ảnh, hoặc backbone thị giác để ghép hình ảnh với hình ảnh. Thước đo cần phù hợp với cách model được huấn luyện. Với vector có độ dài đơn vị, độ tương đồng cosine bằng tích vô hướng, còn xếp hạng theo khoảng cách Euclid cho cùng thứ tự. Tìm kiếm chính xác cần một phép so sánh với mỗi vector đã lưu cho mỗi truy vấn; phương pháp này nhanh với hàng chục nghìn vector nhưng quá chậm với hàng trăm triệu vector, vì vậy các hệ thống quy mô lớn dùng một trong bốn nhóm chỉ mục ANN:

• Chỉ mục đồ thị như HNSW: Liên kết mỗi vector với các láng giềng gần nó trong đồ thị phân tầng và trả lời truy vấn bằng cách lần theo đồ thị một cách tham lam hướng đến vector đó.
• Chỉ mục phân cụm (IVF): Nhóm các vector bằng k-means và chỉ quét những cụm có tâm gần truy vấn nhất.
• Lượng tử hóa vector: Nén mỗi vector xuống còn vài byte, như trong lượng tử hóa tích, để ước tính khoảng cách từ các mã nhỏ gọn được lưu trong bộ nhớ.
• Đồ thị dựa trên đĩa: Lưu chỉ mục đồ thị trên SSD, như DiskANN, để tìm kiếm hàng tỷ vector trên một máy.

Ý tưởng cốt lõi của chỉ mục IVF có thể minh họa bằng ví dụ ngắn sử dụng NumPy và scikit-learn, so sánh phương pháp này với tìm kiếm chính xác:

import numpy as np
from sklearn.cluster import KMeans

# 20,000 embeddings grouped by topic, normalized so a dot product is cosine similarity
rng = np.random.default_rng(0)
topics = rng.normal(size=(200, 64))
vectors = topics[rng.integers(200, size=20000)] + 0.5 * rng.normal(size=(20000, 64))
vectors /= np.linalg.norm(vectors, axis=1, keepdims=True)
query = vectors[0] + 0.1 * rng.normal(size=64)

# Exact search: score every stored vector
exact = np.argsort(-(vectors @ query))[:10]

# IVF index: cluster the vectors, then scan only the lists of the 5 closest centroids
kmeans = KMeans(n_clusters=100, n_init=1, random_state=0).fit(vectors)
probed = np.argsort(-(kmeans.cluster_centers_ @ query))[:5]
candidates = np.flatnonzero(np.isin(kmeans.labels_, probed))
approx = candidates[np.argsort(-(vectors[candidates] @ query))[:10]]

print(f"scanned {len(candidates) / len(vectors):.1%} of vectors")
print(f"recall@10: {len(set(exact) & set(approx)) / 10:.0%}")

Thăm dò 5 trong số 100 cụm sẽ quét 5.1% vector mà vẫn tìm được cả 10 láng giềng gần nhất thực, đạt recall@10 là 100%. Thăm dò nhiều cụm hơn làm tăng cả recall lẫn chi phí; vì vậy, số lượt thăm dò là cài đặt chính cần tinh chỉnh trong chỉ mục IVF.

Tìm kiếm vector và các thuật ngữ liên quan#

• Tìm kiếm từ khóa: Tra cứu các thuật ngữ chính xác trong chỉ mục đảo và xếp hạng bằng các công thức như BM25. Phương pháp này hiệu quả với tên, mã và từ hiếm nhưng bỏ sót từ đồng nghĩa.
• Tìm kiếm ngữ nghĩa: Tìm kiếm theo ý nghĩa, mục tiêu mà tìm kiếm vector thường phục vụ. Các hệ thống tìm kiếm ngữ nghĩa thường bổ sung tính năng viết lại truy vấn hoặc bộ xếp hạng lại.
• Tìm kiếm kết hợp: Thực hiện đồng thời tìm kiếm từ khóa và tìm kiếm vector rồi hợp nhất hai danh sách đã xếp hạng.
• Cơ sở dữ liệu vector: Hệ thống lưu vector cùng metadata và cung cấp tìm kiếm vector với tính năng lọc, cập nhật và lưu trữ lâu dài.

Ứng dụng thực tế#

• Tạo sinh tăng cường truy xuất (RAG): Tìm các đoạn tài liệu mà mô hình ngôn ngữ cần để trả lời câu hỏi.
• Tái định danh đối tượng: Đối chiếu embedding ngoại hình của một người hoặc phương tiện với các lần xuất hiện trước đó để liên kết cùng một đối tượng giữa nhiều camera.
• Nhận dạng khuôn mặt: So sánh embedding khuôn mặt với các khuôn mặt đã đăng ký và chấp nhận khuôn mặt gần nhất nếu đủ gần.
• Hệ thống gợi ý: Đề xuất sản phẩm, bài hát hoặc video có embedding nằm gần các lựa chọn gần đây của người dùng.

Ultralytics Platform sử dụng tìm kiếm vector để mở rộng dataset huấn luyện. Tác vụ Find Similar Images nhận một ảnh được chọn, tìm kiếm trong các dataset công khai cũng như dataset riêng của người dùng và nhóm để tìm ảnh gần nhất theo embedding, rồi hiển thị tối đa 24 kết quả cùng điểm tương đồng; các ảnh này có thể được thêm vào dataset làm ảnh huấn luyện chưa gán nhãn.