Семантический поиск

Семантический поиск — это передовой метод поиска информации, который направлен на понимание намерения и контекстного значения запроса пользователя, а не просто на сопоставление ключевых слов. В отличие от традиционных поисковых систем, которые полагаются на буквальное сопоставление терминов, семантический поиск использует обработку естественного языка (NLP) и машинное обучение (ML) для предоставления более релевантных и точных результатов. Цель состоит в том, чтобы устранить разрыв между человеческим языком и структурированными данными, которые компьютеры могут легко обрабатывать, что приводит к более интуитивному и эффективному поиску.

Эта технология основана на преобразовании неструктурированных данных, таких как текст или изображения, в числовые представления, называемые эмбеддингами. Такие модели, как CLIP (Contrastive Language-Image Pre-Training) от OpenAI или BERT от Google, обучены генерировать эти эмбеддинги, которые отражают семантическую суть контента. После того как данные представлены в виде векторов, векторная база данных, такая как Milvus или Weaviate, использует специализированные алгоритмы, такие как FAISS от Meta, для выполнения быстрого и эффективного поиска сходства.

Применение в реальном мире

Семантический поиск преобразовал наше взаимодействие с цифровой информацией в различных областях. Два ярких примера включают в себя:

1. Семантический поиск изображений: В творческих областях или для управления большими наборами изображений пользователям часто необходимо находить изображения на основе абстрактных концепций. Например, графическому дизайнеру может потребоваться найти «мирный и уединенный пляж на закате». Традиционная система столкнется с трудностями при таком запросе, если изображения не будут тщательно помечены. Система семантического поиска, такая как предлагаемая Ultralytics, анализирует содержание самих изображений, возвращая визуальные элементы, соответствующие описанному настроению и элементам, не полагаясь на имена файлов или теги. Вы можете узнать больше о реализации этого в нашем руководстве по поиску похожих изображений.
2. Поиск продуктов в электронной коммерции: Онлайн-магазины используют семантический поиск для улучшения качества покупок. Клиент может искать "теплые ботинки для снежной зимы" вместо конкретного названия продукта. Поисковая система может понять концепции "теплый" и "снежный" и порекомендовать такие продукты, как утепленные, водонепроницаемые ботинки, даже если этих точных ключевых слов нет в описании продукта. Это приводит к повышению удовлетворенности клиентов и увеличению продаж, как объясняют отраслевые эксперты в Forbes.

Semantic Search vs. Related Concepts (Семантический поиск в сравнении со смежными концепциями)

Важно отличать семантический поиск от нескольких связанных терминов в ИИ и науке о данных:

• Поиск по ключевым словам: Это традиционный метод сопоставления буквальных слов в запросе с документами. Он не может понять синонимы, контекст или намерения пользователя, которые являются основными сильными сторонами семантического поиска.
• Векторный поиск: Это относится к методу поиска похожих элементов путем вычисления близости их векторных представлений. Хотя векторный поиск является критически важным компонентом большинства современных систем семантического поиска, семантический поиск — это более широкая концепция, которая также включает в себя начальный этап понимания смысла с помощью сложных моделей NLP от таких компаний, как Cohere.
• Граф знаний: Граф знаний структурирует информацию как сущности и их взаимосвязи. Он может значительно улучшить семантический поиск, предоставляя структурированный контекст, как это видно на примере Google Knowledge Graph. Однако семантический поиск может также работать непосредственно с неструктурированными данными, используя только вложения, что делает эти две технологии взаимодополняющими.
• Распознавание именованных сущностей (Named Entity Recognition, NER): NER — это подзадача NLP, которая идентифицирует конкретные сущности, такие как имена, места и организации, в тексте. Ее можно использовать в качестве этапа предварительной обработки в конвейере NLP для передачи ключевых концепций в систему семантического поиска, но это не сам процесс поиска.

Семантический поиск является краеугольным камнем современных решений на основе ИИ, обеспечивая более интеллектуальные и удобные для пользователя системы. Эта технология лежит в основе всего, от повседневного поиска в Интернете до специализированных приложений ИИ, включая визуальный поиск, построенный с использованием моделей Ultralytics YOLO и управляемый через такие платформы, как Ultralytics HUB.