Hybrid Search

Kết hợp độ chính xác của việc khớp từ khóa truyền thống với sự hiểu biết theo ngữ cảnh của AI hiện đại, phương pháp tìm kiếm này truy xuất và xếp hạng thông tin bằng cách tận dụng cả biểu diễn dữ liệu thưa (sparse) và đặc (dense). Trong khi một search engine tiêu chuẩn phụ thuộc hoàn toàn vào việc khớp từ khóa chính xác (được gọi là lexical search) và các vector search engines phụ thuộc thuần túy vào semantic similarity, một công cụ tìm kiếm kết hợp (hybrid search) sẽ hợp nhất hai phương pháp này để mang lại các kết quả có độ chính xác cao và nhận thức được ngữ cảnh.

Cách thức hoạt động#

Một quy trình tìm kiếm hỗn hợp điển hình thực thi đồng thời hai phương pháp truy xuất riêng biệt, hợp nhất đầu ra của chúng thành một bảng xếp hạng duy nhất, được tối ưu hóa:

• Lexical (Sparse) Search: Sử dụng các thuật toán như BM25 để chấm điểm các từ khóa khớp chính xác dựa trên tần suất thuật ngữ. Điều này rất quan trọng để truy xuất các thực thể cụ thể, từ viết tắt, mã SKU sản phẩm hoặc biệt ngữ chuyên môn mà một mô hình thuần túy ngữ nghĩa có thể gặp khó khăn trong việc nhận diện.
• Semantic (Dense) Search: Tạo ra các mảng số chiều cao sử dụng các mô hình AI để hiểu ý nghĩa sâu hơn và ngữ cảnh của một truy vấn. Điều này cho phép hệ thống tìm thấy các kết quả liên quan ngay cả khi các từ chính xác bị thiếu trong truy vấn tìm kiếm.

Sau khi cả hai phương pháp truy xuất các kết quả ứng viên của chúng, một fusion algorithm—phổ biến nhất là Reciprocal Rank Fusion (RRF)—sẽ kết hợp các danh sách lại. RRF tính toán một điểm số mới dựa trên thứ hạng của từng mục trong các tập kết quả thưa và đặc tương ứng. Điều này đảm bảo rằng các tài liệu xếp hạng cao ở một hoặc cả hai tìm kiếm sẽ nổi lên hàng đầu, cân bằng giữa các kết hợp ngữ cảnh rộng và độ chính xác của từ khóa cụ thể.

Các ứng dụng AI và ML trong thế giới thực#

Các kiến trúc AI hiện đại dựa rất nhiều vào kỹ thuật này để khắc phục những hạn chế của việc sử dụng một phương pháp truy xuất duy nhất trong các môi trường sản xuất.

• Hybrid RAG (Retrieval-Augmented Generation): Trong các hệ thống tri thức doanh nghiệp, việc cung cấp cho một Large Language Model (LLM) ngữ cảnh phù hợp nhất là rất quan trọng để ngăn chặn hallucinations. Thiết lập hybrid RAG đảm bảo mô hình truy xuất các tài liệu phù hợp với các ràng buộc kỹ thuật chính xác đồng thời kéo theo các đoạn có liên quan về mặt ngữ nghĩa.
• E-Commerce and Visual Product Discovery: Các nhà bán lẻ sử dụng tìm kiếm kết hợp để vận hành danh mục sản phẩm. Người dùng có thể tìm kiếm "giày chạy bộ màu đỏ". Công cụ từ khóa khớp với từ khóa thương hiệu hoặc danh mục chính xác, trong khi một vision AI model sử dụng các embedding hình ảnh để đưa ra các mặt hàng có hình ảnh tương tự.

Ngày nay, hầu như mọi vector database lớn—bao gồm Pinecone, Qdrant, OpenSearch và PostgreSQL thông qua pgvector—đều hỗ trợ tìm kiếm kết hợp một cách nguyên bản. Điều này cho phép các nhà phát triển lập chỉ mục hiệu quả cả từ khóa thưa và vector đặc trong một cơ sở hạ tầng duy nhất.

Tạo Metadata cho tìm kiếm hỗn hợp#

Trong các pipeline computer vision, bạn có thể trích xuất các từ khóa có ý nghĩa từ hình ảnh để xây dựng thành phần thưa của một chỉ mục kết hợp. Sử dụng Ultralytics YOLO26, bạn có thể tự động thực hiện object detection trên một hình ảnh và sử dụng các class names đó làm metadata tags. Các thẻ từ khóa này sau đó có thể được ghép nối với các embedding vector đặc của hình ảnh để lập chỉ mục toàn diện.

from ultralytics import YOLO

# Load the recommended Ultralytics YOLO26 object detection model
model = YOLO("yolo26n.pt")

# Run inference to detect objects in an image
results = model("store_aisle.jpg")

# Extract predicted class names to be indexed as keyword metadata (sparse data)
keywords = [model.names[int(box.cls)] for box in results[0].boxes]
print("Sparse keywords for lexical search:", keywords)

Bằng cách làm phong phú thêm các embedding hình ảnh đặc bằng các từ khóa thưa chính xác do AI tạo ra, các nhà phát triển có thể tận dụng Ultralytics Platform và các cơ sở dữ liệu vector tương thích kết hợp để xây dựng các multimodal search engines mạnh mẽ, hiểu hoàn hảo cả thẻ văn bản tường minh và ngữ cảnh trực quan ngầm định của dữ liệu.