Векторный поиск

Векторный поиск — это метод поиска похожих элементов в большом наборе данных путем представления данных в виде числовых векторов, известных как вложения (embeddings). Вместо сопоставления точных ключевых слов он идентифицирует элементы, которые семантически или контекстуально похожи. Этот подход является основополагающим для современных систем искусственного интеллекта (AI), обеспечивая более интуитивно понятный и точный поиск информации для сложных типов данных, таких как изображения, текст и аудио. Он выходит за рамки буквальных запросов, чтобы понять основной смысл или намерение, что делает его мощным инструментом для создания сложных поисковых и рекомендательных систем.

Как работает векторный поиск?

Процесс векторного поиска включает в себя несколько ключевых этапов, которые преобразуют необработанные данные в формат, доступный для поиска на основе смысла. Он основан на моделях глубокого обучения и эффективных алгоритмах.

1. Генерация эмбеддингов: Сначала модель машинного обучения, такая как трансформер или сверточная нейронная сеть (CNN), преобразует элементы данных (например, предложения, изображения, профили пользователей) в многомерные числовые векторы, называемые эмбеддингами. Каждый вектор отражает семантическую суть элемента.
2. Индексация: Эти сгенерированные векторы хранятся и индексируются в специализированной векторной базе данных. Эти базы данных, такие как Pinecone или Milvus, оптимизированы для эффективного управления и запроса огромных объемов векторных данных.
3. Запрос: Когда пользователь отправляет запрос (например, текстовую фразу или изображение), он преобразуется в вектор с использованием той же модели.
4. Вычисление сходства: Затем система использует алгоритмы для поиска в базе данных векторов, которые являются «ближайшими» к вектору запроса. Это часто делается с использованием метрик расстояния, таких как косинусное сходство или евклидово расстояние. Для обработки огромных наборов данных системы обычно используют алгоритмы приблизительного поиска ближайших соседей (ANN), такие как ScaNN или Faiss, для быстрого, масштабируемого поиска, который находит очень релевантные, если не точные, совпадения.

Применение в реальном мире

Векторный поиск — это технология, лежащая в основе многих передовых функций искусственного интеллекта. Она позволяет системам выходить за рамки простого сопоставления и предоставлять контекстно-зависимые результаты в различных отраслях.

• Семантический поиск изображений: Вместо того чтобы полагаться на ручные теги или имена файлов, пользователи могут искать изображения, используя описательные фразы на естественном языке. Например, пользователь может выполнить поиск «автомобиль, едущий по горной дороге на закате», и система извлечет визуально похожие изображения, понимая концепции «автомобиль», «гора» и «закат» в контексте. Вы можете узнать, как это работает, из руководства по поиску похожих изображений Ultralytics.
• Системы рекомендаций: Платформы электронной коммерции и потокового вещания используют векторный поиск для рекомендации продуктов или контента. Если вы смотрите научно-фантастический фильм, сервис может найти и предложить другие фильмы, похожие по жанру, тону и сюжету, сравнивая их векторные представления. Это основная функция ИИ в розничной торговле для улучшения пользовательского опыта и вовлечения.

Векторный поиск и смежные концепции

Полезно отличать векторный поиск от других связанных терминов, чтобы понять его конкретную роль в экосистеме ИИ.

• Поиск по ключевым словам: Традиционный поиск по ключевым словам основан на сопоставлении точных слов или фраз. Он испытывает трудности с синонимами, контекстом и лингвистическими нюансами. Векторный поиск, напротив, понимает семантические связи, что позволяет ему находить релевантные результаты, даже если ключевые слова не совпадают точно.
• Семантический поиск: Семантический поиск — это широкая концепция понимания намерения запроса и контекстуального значения. Векторный поиск — это основной метод, используемый для реализации семантического поиска. В то время как семантический поиск — это «что» (понимание значения), векторный поиск — это «как» (механизм извлечения на основе векторной близости).
• Эмбеддинги: Эмбеддинги — это векторные представления данных. Векторный поиск — это процесс запроса коллекции эмбеддингов для поиска наиболее похожих. Эмбеддинги — это данные, а векторный поиск — это действие, выполняемое над этими данными.
• Векторная база данных: Векторная база данных - это специализированная инфраструктура для хранения, индексации и эффективного запроса вложений. Платформы, такие как Ultralytics HUB, помогают управлять наборами данных и моделями, которые создают эти вложения для использования в системах векторного поиска.

Используя возможности эмбеддингов и сложных алгоритмов поиска, векторный поиск устраняет разрыв между намерениями человека и цифровыми данными, что делает его важным компонентом для многих интеллектуальных приложений, от обработки естественного языка (NLP) до продвинутых задач компьютерного зрения.