Векторная база данных

Векторная база данных - это специализированный тип базы данных, предназначенный для хранения, управления и поиска в высокоразмерных данных, известных как векторные вкрапления. В отличие от традиционных реляционных баз данных, которые оптимизированы для структурированных данных и точных совпадений, векторные базы данных отлично справляются с поиском элементов на основе их сходства. Эта способность является основополагающей для широкого спектра современных приложений ИИ, от рекомендательных систем до визуального поиска, что делает их важнейшим компонентом инфраструктуры машинного обучения. Они служат долговременной памятью для моделей ИИ, позволяя им использовать сложные закономерности, полученные в процессе обучения.

Как работают векторные базы данных

Основная функция векторной базы данных - эффективное выполнение векторного поиска. Процесс начинается с того, что неструктурированные данные - например, изображение, блок текста или аудиоклип - пропускаются через модель глубокого обучения для создания числового представления, называемого векторным вкраплением. Эти вкрапления передают семантический смысл исходных данных.

Векторная база данных хранит эти вкрапления и индексирует их с помощью специализированных алгоритмов. Когда выполняется запрос (например, поиск по изображению), данные запроса также преобразуются в вектор. Затем база данных сравнивает вектор запроса с сохраненными векторами, используя метрики сходства, такие как косинусное сходство или евклидово расстояние, чтобы найти "ближайшие" или наиболее похожие элементы. Для выполнения этой задачи в масштабе с миллионами или миллиардами векторов часто используются высокоэффективные алгоритмы приближенных ближайших соседей (ANN).

Применение в реальном мире

Векторные базы данных обеспечивают работу многих интеллектуальных функций, с которыми пользователи взаимодействуют ежедневно.

1. Визуальный поиск в электронной коммерции: Пользователь может загрузить фотографию понравившегося ему товара. Модель компьютерного зрения, например модель Ultralytics YOLO11, генерирует вставку для изображения. Это вкрапление используется для запроса векторной базы данных сайта электронной коммерции, которая содержит вкрапления для всего каталога товаров. База данных возвращает наиболее похожие векторы, что позволяет сайту показывать визуально идентичные или стилистически близкие товары, что является ключевой особенностью ИИ для розничной торговли.
2. Семантический поиск по документам: Компания может создать вложения для всех своих внутренних документов, таких как отчеты и заявки на поддержку. Затем сотрудник может выполнить поиск, используя естественный язык, например "Какова была наша прибыль в прошлом квартале?", а не конкретные ключевые слова. Модель обработки естественного языка (NLP) преобразует этот запрос во вставку, и векторная база данных находит документы, чьи вставки семантически наиболее близки, предоставляя релевантную информацию, даже если точная формулировка не совпадает. Это основной компонент систем с расширенным поиском (retrieval-augmented generation, RAG).

Векторные базы данных в сравнении со смежными концепциями

Полезно отличать векторные базы данных от близкородственных терминов:

• Эмбеддинги: Эмбеддинги - это векторные представления данных. Векторная база данных - это специализированная система, созданная для эффективного хранения, индексирования и запроса этих эмбеддингов. Считайте, что эмбеддинги - это книги, а векторная база данных - интеллектуальная библиотека, которая их упорядочивает.
• Векторный поиск: Векторный поиск - это процесс нахождения наиболее похожих векторов в наборе данных. Векторная база данных - это базовая технология, которая делает этот процесс быстрым и масштабируемым, особенно для выводов в реальном времени.

Эти компоненты управляются как часть полного рабочего процесса MLOps, который часто поддерживается такими платформами, как Ultralytics HUB для сквозного управления моделями и наборами данных.

Популярные базы данных векторов

Существует несколько открытых и коммерческих векторных баз данных, каждая из которых имеет свои преимущества в плане масштабируемости, развертывания и возможностей. К числу наиболее широко используемых относятся:

• Pinecone: Популярная, полностью управляемая служба векторных баз данных.
• Milvus: Векторная база данных с открытым исходным кодом, разработанная для высокой производительности и масштабируемости.
• Weaviate: База данных с открытым исходным кодом, основанная на искусственном интеллекте, с возможностью работы с графами.
• Chroma DB: база данных для встраивания с открытым исходным кодом, ориентированная на простоту и удобство для разработчиков.
• Qdrant: Векторная база данных с открытым исходным кодом и механизм поиска сходств, написанный на Rust для повышения производительности и безопасности.