セマンティック検索

セマンティック検索の仕組み

セマンティック検索は、NLPと機械学習（ML）の概念を活用し、テキストや他のデータタイプに埋め込まれた意味を解読する。このプロセスは、しばしばデータ（単語、文章、文書、画像など）を埋め込みと呼ばれる数値表現に変換することを含む。一般的に高次元のベクトルであるこれらの埋め込みは、データの意味的本質を捉えます。似たような意味、概念、文脈を持つ項目は、このベクトル空間でより近くに配置される。

ユーザが検索を実行すると、そのクエリ（自然言語テキストや画像など）は同じMLモデルを使って埋め込みに変換されます。その後、システムは、多くの場合Pineconeや Milvusのような特殊なベクトルデータベースを利用したベクトル検索技術を用い、クエリの埋め込みに最も近い（類似している）埋め込みを持つインデックス内のアイテムを効率的に検索します。この類似度は通常、コサイン類似度や ユークリッド距離のような距離メトリクスを用いて測定される。このような強力でコンテキストを考慮した埋め込みを生成するために、トランスフォーマー（BERTなど）のようなアーキテクチャを含む高度なディープラーニング（DL）モデルが頻繁に使用されている。Google 検索のような主要な検索エンジンは、単純なキーワードの頻度を超えて結果の品質を向上させるために、何年も前から意味理解を取り入れてきた。

セマンティック検索の応用

セマンティック検索は、ユーザーの意図やデータのコンテキストを理解することが重要な様々なアプリケーションを強化する：

• ウェブ検索の強化：キーワードだけでなく、検索の背後にあるトピックや意図を理解する（例えば、「冬にオーロラを見るのに最適な場所」と検索すると、その言葉を正確に含むページだけでなく、特定の場所や理想的な時期に関する結果が得られる）。
• Eコマースの商品検索：ユーザーが説明的で自然な言語を使って商品を検索できるようにする（例えば、特定のブランドや商品名を知る必要がなく、「一日中立っていても快適な靴」を見つけることができる）。これはしばしば推薦システムと統合される。
• 内部知識管理：組織内の従業員が、概念や意味に基づいて検索することで、関連文書やレポート、専門知識を見つけることができるようになり、Ultralytics HUBのようなツール内での情報アクセスが向上します。
• カスタマーサポート・チャットボット チャットボットや バーチャルアシスタントがユーザーの質問をより理解し、より正確な回答や適切なヘルプ記事を提供するために、多くの場合、大規模言語モデル（LLM）を活用しています。
• コンテンツの推薦：ユーザーが以前に接したコンテンツとの意味的類似性に基づいて、記事、ビデオ、音楽を提案すること。Spotifyのようなプラットフォームも同様のコンセプトを使っている。
• データ探索： Ultralytics エクスプローラダッシュボードのようなツールは、意味的類似性を利用して、コンピュータビジョン（CV）で使用される画像データセットを含む大規模なデータセットをナビゲートし、理解するのに役立ちます。例えば、COCOのようなデータセットで選択した画像に意味的に類似した画像を見つけることができます。

セマンティック検索と関連概念

セマンティック検索と関連語を区別することは有益である：

• キーワード検索：この伝統的なアプローチは、クエリ内の文字通りの単語やフレーズと、その単語を正確に含む文書をマッチングさせる。同義語や文脈、ユーザーの意図を理解することができない。セマンティック検索はこれらの限界を克服することを目的としている。
• ベクトル検索：これは、ベクトル埋込みの近さに基づいて類似したアイテムを見つけるために使用される方法である。ベクトル検索は多くの最新のセマンティック検索実装（効率的な検索部分を処理する）の中核をなす要素であるが、セマンティック検索とは、そもそもクエリやデータの意味や文脈を理解することを含む、より広い概念であり、多くの場合、洗練されたNLPモデルを通して行われる。
• 知識グラフ：知識グラフは、情報をエンティティと関係として構造化する。構造化されたコンテキストを提供し、複雑な推論を可能にすることで、セマンティック検索を大幅に強化することができる（SPARQLクエリーはここで一般的である）が、セマンティック検索は、明示的なグラフ構造を持たないエンベッディングを使用して、非構造化データを直接操作することもできる。両者は補完的な技術である。
• 名前付き固有表現認識（NER）：NERはテキスト中の特定のエンティティ（名前、場所、組織など）を識別する。NERは、重要な概念を抽出することでセマンティック検索を行うNLPパイプラインのステップとなり得るが、全体的な意味や類似性に焦点を当てるセマンティック検索そのものではない。

セマンティック検索は、よりインテリジェントでユーザーフレンドリーなAIシステムを構築する上で重要な役割を果たし、日常的なウェブ検索から、以下を使用して構築されたような専門的なAIアプリケーションまで、さまざまなドメインにわたって、より効果的な情報アクセスとインタラクションのために、人間の言語と機械理解のギャップを埋める。 Ultralytics YOLOモデルを使用して構築された、Ultralytics HUB内のビジュアル検索や分析などの専門的なAIアプリケーションに至るまで、様々な領域でより効果的な情報アクセスやインタラクションを実現します。