Векторный поиск

Векторный поиск — это сложный метод поиска информации, который идентифицирует похожие элементы в наборе данных на основе их математических характеристик, а не точного совпадения ключевых слов. В отличие от традиционного поиска по ключевым словам, который основан на поиске определенных символьных строк, векторный поиск анализирует семантическое значение данных. Эта техника имеет основополагающее значение для современных приложений искусственного интеллекта (ИИ) , поскольку позволяет компьютерам понимать взаимосвязи между абстрактными концепциями, обрабатывая неструктурированные данные, такие как изображения, аудиофайлы и текст на естественном языке, с поразительной точностью.

Как работает векторный поиск

Суть векторного поиска заключается в преобразовании исходных данных в высокоразмерные числовые векторы, известные как вложения. Этот процесс отображает элементы в точки в многомерном пространстве, где концептуально схожие элементы расположены близко друг к другу.

1. Векторизация: модель глубокого обучения (DL) обрабатывает входные данные — например, изображение собаки — и выдает вектор признаков. Для эффективного создания таких богатых представлений признаков часто используются передовые модели, такие как YOLO26.
2. Индексирование: для быстрого выполнения поисковых запросов эти векторы организуются с помощью специализированных алгоритмов, часто хранящихся в специальной векторной базе данных.
3. Расчет схожести: когда пользователь отправляет запрос, система преобразует его в вектор и измеряет расстояние до сохраненных векторов с помощью таких метрик, как косинусная схожесть или евклидово расстояние.
4. Поиск: система возвращает «ближайших соседей», которые представляют собой наиболее релевантные по контексту результаты.

Пример на Python : Генерация вкраплений

Для реализации векторного поиска необходимо сначала преобразовать данные в векторы. Следующий фрагмент кода демонстрирует, как генерировать карты характеристик и вложения из изображения с использованием ultralytics пакет и предварительно обученная модель YOLO26.

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Generate feature embeddings for an image URL
# The 'embed' method returns the high-dimensional vector representation
results = model.embed("https://ultralytics.com/images/bus.jpg")

# Print the shape of the resulting embedding vector
print(f"Embedding vector shape: {results[0].shape}")

Применение в реальном мире

Векторный поиск — это движок, стоящий за многими интуитивными функциями в современной программной экосистеме, который устраняет разрыв между компьютерным зрением (CV) и намерениями пользователя.

• Системы визуальных рекомендаций: в сфере искусственного интеллекта в розничной торговле векторный поиск обеспечивает функции «shop the look» (купить такой же наряд). Если покупателю понравилась конкретная сумка, система находит товары с похожими визуальными векторами — соответствующими по форме, текстуре и стилю — создавая персонализированную систему рекомендаций.
• Поисковое генерирование (RAG): для улучшения больших языковых моделей (LLM) разработчики используют векторный поиск для извлечения релевантных документов из базы знаний. Это обеспечивает контекст для ИИ, уменьшая галлюцинации и повышая точность взаимодействия чат-ботов.
• Обнаружение аномалий: путем кластеризации векторов «нормальных» операций системы могут выявлять выпадающие из кластера значения. Это имеет решающее значение для обнаружения аномалий в контроле качества производства и обеспечении безопасности данных.

Различение смежных понятий

Чтобы понять весь процесс машинного обучения (ML), полезно отличать векторный поиск от похожих терминов.

• Векторный поиск против семантического поиска: Семантический поиск — это более широкое применение понимания намерения пользователя (что). Векторный поиск — это специфический алгоритмический метод, используемый для достижения этой цели путем расчета векторной близости (как).
• Векторный поиск и векторная база данных: векторная база данных — это инфраструктура, предназначенная для хранения и управления вложениями в большом масштабе. Векторный поиск — это процесс запроса к этой базе данных для извлечения информации.
• Векторный поиск против поиска по ключевым словам: Поиск по ключевым словам находит точные текстовые строки (например, «яблоко» соответствует «яблоко»). Векторный поиск находит соответствия по смыслу, поэтому «яблоко» может соответствовать «фрукт» или «красный», даже если слова отличаются.

Интеграция с Ultralytics

Для команд, занимающихся созданием систем поиска по схожести, управление наборами данных и обучение встраиваемых моделей является важным первым шагом. Ultralytics упрощает этот рабочий процесс, предоставляя инструменты для управления данными, обучения в облаке и развертывания моделей. Обеспечивая высокую производительность базовых моделей — будь то для обнаружения объектов или классификации — вы гарантируете, что результирующие векторы будут предоставлять точные и значимые результаты поиска.