Векторная база данных

Векторная база данных - это специализированная система хранения, предназначенная для управления, индексирования и запроса высокоразмерных векторных данных, часто называемых эмбеддингами. В отличие от традиционных реляционных баз данных, которые хранят структурированные данные в строках и столбцах для точного поиска по ключевым словам, векторные базы данных оптимизированы для поиска элементов на основе их семантического сходства. Эта возможность делает их краеугольным камнем современного искусственного интеллекта (ИИ) Они позволяют системам обрабатывать неструктурированные данные - изображения, аудио и текст - путем понимания контекстуальные связи между ними. По сути, они служат долговременной памятью для приложений машинного обучения, позволяя эффективное извлечение информации, которая концептуально связана, а не идентична.

Как работают векторные базы данных

Основная функциональность векторной базы данных заключается в преобразовании исходных данных в математические векторы с помощью процесса, известного как извлечение признаков. процесса, известного как извлечение признаков. A модель глубокого обучения, такая как Vision Transformer (ViT) или Конволюционная нейронная сеть (CNN), анализирует данные и выдает вектор - длинный список чисел, представляющих характеристики данных.

После создания этих векторов база данных индексирует их с помощью специализированных алгоритмов, таких как Приближенный ближайший сосед (ANN). Когда пользователь выполняет запрос, система преобразует поисковый термин (изображение или текст) в вектор и вычисляет его близость к хранимым векторам с помощью таких метрик расстояния, как косинусное сходство или Евклидово расстояние. Это позволяет базе данных быстро определить "ближайших" соседей, которые представляют собой наиболее релевантные результаты.

Следующий фрагмент кода демонстрирует, как генерировать вкрапления с помощью YOLO11 , что является первым шагом перед сохранением данных в векторной базе данных.

from ultralytics import YOLO

# Load a pre-trained YOLO11 classification model
model = YOLO("yolo11n-cls.pt")

# Generate feature embeddings for an image file
# This converts the visual content into a numerical vector
results = model.embed("bus.jpg")

# Output the shape of the resulting embedding vector
print(f"Embedding vector shape: {results[0].shape}")

Применение в реальном мире

Векторные базы данных являются движущей силой многих интеллектуальных функций в коммерческом и корпоративном программном обеспечении.

• Визуальные рекомендательные движки: в сфере ИИ в розничной торговле, платформы используют векторные базы данных для для создания функций "покупки по внешнему виду". Когда покупатель просматривает товар, система запрашивает векторную базу данных в поисках товаров с похожими визуальными вкраплениями, предлагая товары с подходящими стилями, цветами или узорами. Этот повышает удобство пользования, предоставляя персонализированные рекомендации, выходящие за рамки простых тегов категорий.
• Поколение с расширенным поиском (RAG): Векторные базы данных имеют решающее значение для систем с расширенным поиском (RAG) систем. Храня в них вкрапления обширных внутренних баз знаний, компании позволяют Большие языковые модели (LLM) для получения точный, актуальный контекст перед генерацией ответа. Это уменьшает количество галлюцинаций и гарантирует, что ИИ предоставляет фактические ответы, основанные на найденных документах.

Дифференциация смежных понятий

Чтобы понять, что такое экосистема, полезно отличать векторную базу данных от смежных терминов:

• Векторная база данных и векторный поиск: Векторный поиск - это действие или алгоритмический процесс поиска похожих векторов. Векторная база данных - это инфраструктура или программная система, созданная для хранения этих векторов и выполнения поиска в масштабе и постоянный поиск.
• Векторная база данных в сравнении с эмбеддингами: Эмбеддинги - это фактическая полезная нагрузка - числовое представление входных данных. Векторная база данных - это контейнер, который организует эти эмбеддинги для быстрого доступа.
• Векторная база данных в сравнении с характеристиками. Feature Engineering: Feature engineering - это более широкий процесс создания характеристик для моделей. Векторные базы данных хранят результаты автоматизированной инженерии признаков (вкраплений), выполняемой моделями глубокого обучения.

Популярные решения для векторных баз данных

Рынок предлагает несколько надежных вариантов реализации векторного хранилища - от инструментов с открытым исходным кодом до управляемых сервисов. услуг:

• Pinecone: Полностью управляемая облачная база данных векторов разработанная для высокоскоростной масштабируемости и простоты использования в производстве.
• Milvus: Векторная база данных с открытым исходным кодом, созданная для масштабируемого поиска сходства, часто используемая в крупномасштабных приложениях компьютерного зрения.
• Qdrant: Высокопроизводительный векторный поисковый движок, написанный на языке Rust, предлагает расширенные возможности фильтрации для сложных запросов.
• Weaviate: Векторная база данных, созданная на основе искусственного интеллекта, в которой хранятся как объекты и векторы, что позволяет комбинировать поиск по векторам и ключевым словам.

Интегрировав эти инструменты в MLOps, разработчики могут создавать системы, которые действительно "понимают" содержимое данных, что позволяет использовать такие расширенные возможности, как семантический поиск, обнаружение аномалий и персонализированная доставка контента.