Hybrid Search

Сочетая точность традиционного поиска по ключевым словам с контекстуальным пониманием современного ИИ, эта поисковая методология извлекает и ранжирует информацию, задействуя как разреженные, так и плотные представления данных. Если стандартная search engine полностью полагается на точные совпадения ключевых слов (известные как lexical search), а vector search engines полагаются исключительно на semantic similarity, то гибридная поисковая система объединяет эти два подхода, чтобы выдавать максимально точные и учитывающие контекст результаты.

Как это работает#

Типичный конвейер гибридного поиска выполняет два разных метода поиска одновременно, объединяя их результаты в единый оптимизированный рейтинг:

• Lexical (Sparse) Search: использует такие алгоритмы, как BM25, для оценки точных совпадений ключевых слов на основе частоты терминов. Это крайне важно для извлечения конкретных сущностей, акронимов, артикулов продуктов или специализированного жаргона, с распознаванием которого модель, основанная исключительно на семантике, может испытывать трудности.
• Semantic (Dense) Search: генерирует многомерные массивы чисел с помощью моделей ИИ для понимания более глубокого смысла и контекста запроса. Это позволяет системе находить релевантные результаты, даже если в поисковом запросе отсутствуют точные слова.

После того как оба метода извлекают свои списки-кандидаты, fusion algorithm (чаще всего Reciprocal Rank Fusion (RRF)) объединяет эти списки. RRF вычисляет новый балл на основе ранга каждого элемента в соответствующих наборах разреженных и плотных результатов. Это гарантирует, что документы, занимающие высокие места в одном или обоих видах поиска, поднимаются наверх, балансируя между широким контекстуальным соответствием и точной ключевой точностью.

Реальные применения ИИ и ML#

Современные ИИ-архитектуры активно полагаются на этот метод, чтобы преодолеть ограничения использования только одного метода поиска в производственных средах.

• Hybrid RAG (Retrieval-Augmented Generation): в корпоративных системах знаний предоставление Large Language Model (LLM) наиболее релевантного контекста имеет решающее значение для предотвращения hallucinations. Настройка гибридного RAG гарантирует, что модель извлекает документы, соответствующие точным техническим ограничениям, а также подтягивает семантически связанные абзацы.
• E-Commerce and Visual Product Discovery: ритейлеры используют гибридный поиск для работы каталогов товаров. Пользователь может искать "red running shoes". Лексический движок сопоставляет точные ключевые слова бренда или категории, в то время как vision AI model использует векторные представления изображений для вывода визуально похожих товаров.

Сегодня практически каждая крупная vector database, включая Pinecone, Qdrant, OpenSearch и PostgreSQL через pgvector, поддерживает гибридный поиск «из коробки». Это позволяет разработчикам эффективно индексировать как разреженные ключевые слова, так и плотные векторы в рамках единой инфраструктуры.

Генерация метаданных для гибридного поиска#

В пайплайнах computer vision ты можешь извлекать значимые ключевые слова из изображений для создания разреженного компонента гибридного индекса. Используя Ultralytics YOLO26, ты можешь автоматически выполнять object detection на изображении и использовать эти class names в качестве metadata tags. Затем эти теги ключевых слов можно объединить с плотными векторными представлениями изображения для комплексного индексирования.

from ultralytics import YOLO

# Load the recommended Ultralytics YOLO26 object detection model
model = YOLO("yolo26n.pt")

# Run inference to detect objects in an image
results = model("store_aisle.jpg")

# Extract predicted class names to be indexed as keyword metadata (sparse data)
keywords = [model.names[int(box.cls)] for box in results[0].boxes]
print("Sparse keywords for lexical search:", keywords)

Обогащая плотные векторные представления изображений точными разреженными ключевыми словами, сгенерированными с помощью ИИ, разработчики могут использовать Ultralytics Platform и совместимые с гибридным поиском векторные базы данных для создания надежных multimodal search engines, которые идеально понимают как явные текстовые теги, так и неявный визуальный контекст данных.