Hybrid Search

Объединяя точность традиционного поиска по ключевым словам с контекстным пониманием современного ИИ, эта методология поиска находит и ранжирует информацию, используя как разреженные, так и плотные представления данных. В то время как стандартная поисковая система полагается исключительно на точное совпадение ключевых слов (известное как лексический поиск), а векторные поисковые системы — только на семантическую близость, гибридная поисковая система объединяет эти два подхода, чтобы предоставлять максимально точные и контекстно-зависимые результаты.

Link to this sectionКак это работает#

Типичный конвейер гибридного поиска выполняет два разных метода поиска одновременно, объединяя их результаты в единый оптимизированный рейтинг:

• Лексический (разреженный) поиск: использует алгоритмы, такие как BM25, для оценки точных совпадений ключевых слов на основе их частотности. Это критически важно для нахождения конкретных объектов, аббревиатур, артикулов товаров (SKU) или специализированного жаргона, которые чисто семантическая модель может не распознать.
• Семантический (плотный) поиск: создает многомерные массивы чисел с помощью ИИ-моделей для понимания более глубокого смысла и контекста запроса. Это позволяет системе находить релевантные результаты, даже если точные слова отсутствуют в поисковом запросе.

Как только оба метода извлекают свои кандидаты, алгоритм слияния — чаще всего Reciprocal Rank Fusion (RRF) — объединяет списки. RRF вычисляет новый балл на основе ранга каждого элемента в соответствующих разреженных и плотных наборах результатов. Это гарантирует, что документы, занимающие высокие позиции в любом из поисков или в обоих сразу, поднимаются наверх, обеспечивая баланс между широким контекстуальным соответствием и точной работой с ключевыми словами.

Link to this sectionРеальные применения ИИ и ML#

Современные ИИ-архитектуры активно полагаются на этот метод, чтобы преодолеть ограничения использования только одного метода поиска в производственных средах.

• Гибридный RAG (генерация с дополнением выборкой): в корпоративных системах знаний крайне важно предоставлять большой языковой модели (LLM) наиболее релевантный контекст, чтобы предотвратить галлюцинации. Гибридная настройка RAG гарантирует, что модель извлекает документы, соответствующие точным техническим ограничениям, одновременно подтягивая семантически связанные абзацы.
• Электронная коммерция и визуальный поиск товаров: ритейлеры используют гибридный поиск для работы каталогов товаров. Пользователь может искать «красные беговые кроссовки». Лексический движок находит точный бренд или ключевые слова категории, в то время как модель компьютерного зрения использует эмбеддинги изображений, чтобы показать визуально похожие товары.

Сегодня почти каждая крупная векторная база данных — включая Pinecone, Qdrant, OpenSearch и PostgreSQL через pgvector — поддерживает гибридный поиск нативно. Это позволяет разработчикам эффективно индексировать как разреженные ключевые слова, так и плотные векторы в рамках одной инфраструктуры.

Link to this sectionГенерация метаданных для гибридного поиска#

В конвейерах компьютерного зрения ты можешь извлекать значимые ключевые слова из изображений, чтобы создать разреженный компонент гибридного индекса. Используя Ultralytics YOLO26, ты можешь автоматически выполнять обнаружение объектов на изображении и использовать эти имена классов в качестве тегов метаданных. Эти ключевые слова затем можно объединить с плотными векторными эмбеддингами изображения для комплексной индексации.

from ultralytics import YOLO

# Load the recommended Ultralytics YOLO26 object detection model
model = YOLO("yolo26n.pt")

# Run inference to detect objects in an image
results = model("store_aisle.jpg")

# Extract predicted class names to be indexed as keyword metadata (sparse data)
keywords = [model.names[int(box.cls)] for box in results[0].boxes]
print("Sparse keywords for lexical search:", keywords)

Обогащая плотные эмбеддинги изображений точными ключевыми словами, сгенерированными ИИ, разработчики могут использовать Ultralytics Platform и векторные базы данных с поддержкой гибридного поиска для создания надежных мультимодальных поисковых систем, которые идеально понимают как явные текстовые теги, так и скрытый визуальный контекст твоих данных.