Семантический поиск

Семантический поиск - это передовая технология поиска информации, которая направлена на понимание намерений и контекстного смысла запроса пользователя, а не на простое сопоставление ключевых слов. В отличие от традиционных поисковых систем, которые полагаются на буквальное совпадение терминов, семантический поиск использует обработку естественного языка (NLP) и машинное обучение (ML) для получения более релевантных и точных результатов. Цель состоит в том, чтобы преодолеть разрыв между человеческим языком и структурированными данными, которые легко обрабатываются компьютерами, что позволяет сделать поиск более интуитивным и эффективным.

Эта технология основана на преобразовании неструктурированных данных, таких как текст или изображения, в числовые представления, называемые вкраплениями. Такие модели, как CLIP (Contrastive Language-Image Pre-Training) от OpenAI или BERT от Google, обучаются генерировать эти вкрапления, которые отражают семантическую сущность контента. После того как данные представлены в виде векторов, векторная база данных, например Milvus или Weaviate, использует специализированные алгоритмы, такие как Meta's FAISS, для быстрого и эффективного поиска сходства.

Применение в реальном мире

Семантический поиск изменил способы взаимодействия с цифровой информацией в различных областях. Два ярких примера включают:

1. Семантический поиск изображений: В творческих областях или для управления большими массивами данных изображений пользователям часто требуется найти изображения, основанные на абстрактных понятиях. Например, графический дизайнер может искать "тихий и уединенный пляж на закате". Традиционная система не справится с этим запросом, если только изображения не будут тщательно промаркированы. Система семантического поиска, подобная той, что предлагает Ultralytics, анализирует содержание самих изображений, возвращая визуальные образы, соответствующие описанному настроению и элементам, не полагаясь на имена файлов или теги. Подробнее о реализации этой системы вы можете узнать из нашего руководства по поиску по сходству.
2. Поиск товаров в электронной коммерции: Интернет-магазины используют семантический поиск для улучшения качества покупок. Покупатель может искать "теплые сапоги для снежной зимы", а не конкретное название товара. Поисковая система может понять понятия "теплые" и "снежные" и порекомендовать такие товары, как утепленные и водонепроницаемые сапоги, даже если эти ключевые слова отсутствуют в описании товара. Это приводит к повышению удовлетворенности клиентов и увеличению продаж, как объясняют эксперты отрасли в Forbes.

Семантический поиск по сравнению со смежными понятиями

Важно отличать семантический поиск от нескольких родственных терминов в области ИИ и науки о данных:

• Поиск по ключевым словам: Это традиционный метод поиска документов по буквальным словам в запросе. Он не может понять синонимы, контекст или намерения пользователя, которые являются основными достоинствами семантического поиска.
• Векторный поиск: Это метод поиска похожих элементов путем вычисления близости их векторных вложений. Векторный поиск является важнейшим компонентом большинства современных систем семантического поиска, однако семантический поиск - это более широкое понятие, которое также включает в себя начальный этап понимания смысла с помощью сложных моделей NLP от таких компаний, как Cohere.
• Граф знаний: Граф знаний структурирует информацию в виде сущностей и их связей. Он может значительно расширить возможности семантического поиска, предоставляя структурированный контекст, как это показано на примере Google Knowledge Graph. Однако семантический поиск может работать и непосредственно с неструктурированными данными, используя только вкрапления, что делает эти две технологии взаимодополняющими.
• Распознавание именованных сущностей (NER): NER - это подзадача НЛП, которая идентифицирует в тексте конкретные сущности, такие как имена, места и организации. Она может использоваться в качестве этапа предварительной обработки в конвейере НЛП для подачи ключевых понятий в систему семантического поиска, но сама по себе не является процессом поиска.

Семантический поиск - краеугольный камень современных решений в области ИИ, позволяющий создавать более интеллектуальные и удобные системы. Эта технология используется во всех областях - от повседневного веб-поиска до специализированных приложений ИИ, включая визуальный поиск, построенный на основе моделей Ultralytics YOLO и управляемый с помощью таких платформ, как Ultralytics HUB.