埋め込み

エンベッディングは現代の機械学習（ML）の基礎であり、単語、画像、あるいはユーザーのような高次元データを、意味のある高密度で低次元の数値ベクトルに変換する強力な手法です。エンベッディングの第一の目的は、元データの意味的な関係や根本的な文脈を捉えることである。このベクトル空間では、似たような意味や特徴を持つ項目は、互いに近い位置に配置される。これによりAIモデルは、生の非構造化データでは不可能な複雑な推論や類似タスクを実行できるようになる。

エンベッディングの作成方法

エンベッディングは通常、学習プロセス中にディープラーニングモデルによって自動的に学習される。PyTorchや TensorFlowのようなフレームワークで構築されることが多いニューラルネットワークは、文中の次の単語の予測や画像の分類など、関連するタスクで学習される。このネットワーク内の隠れ層の1つが、埋め込み層として使われる。モデルがタスクの実行を学習するにつれて、この層の重みを調整し、各入力項目をその最も重要な特徴をカプセル化したベクトルにマッピングすることを効果的に学習する。このプロセスは次元削減の一形態であり、膨大な量の情報をコンパクトで有用なフォーマットに圧縮する。

応用と実例

エンベッディングは、自然言語処理（NLP）からコンピュータ・ビジョンまで、幅広いAIアプリケーションの基礎となっている。

• Eコマース・レコメンデーション・エンジン：レコメンデーションシステムは、ユーザーと商品の両方を表現するためにエンベッディングを使用する。もしユーザーが似たようなエンベッディングを持つアイテム（例えば、様々な種類のランニングギア）を頻繁に購入または閲覧していれば、システムはそのベクトル近傍にある他の製品（エナジージェルやハイドレーションパックなど）を識別し、それらを推薦することができる。これは、単純なキーワードマッチングよりもはるかに効果的である。
• 意味検索と画像検索：セマンティック検索システムは、タグやメタデータに依存する代わりに、概念的な意味に基づいて検索結果を見つけるために埋め込みを使用します。ユーザーが「夏休みの写真」と検索すると、たとえ画像の説明文にそのような言葉がなくても、システムはビーチや山、旅行シーンの画像を検索する。これはCLIPのようなモデルによって実現される。CLIPはテキストと画像の両方に対して整列した埋め込みを生成し、強力なマルチモーダルモデル機能を可能にする。これと同じ原理で、多くの最新アプリケーションで重要な機能である、強力なビジュアル検索が可能になります。私たちの類似検索ガイドを使えば、あなた自身で構築することもできます。

他の応用例としては、分子を埋め込んで相互作用を予測する創薬や、似たような音声特徴を持つ曲を推薦する音楽ストリーミング・サービスなどがある。

エンベッディングと関連概念

エンベッディングを関連用語と区別することは有益である：

• エンベッディングと特徴抽出の比較：エンベッディングは、ディープラーニングによって実現される、洗練された、しばしば自動化された特徴抽出の一形態である。従来の特徴工学では、手作業で特徴（例えば、画像のカラーヒストグラム）を定義する必要があったかもしれないが、エンベッディングは学習中にデータから直接関連する特徴を学習する。
• エンベッディング vs.ベクトル検索/ベクトルデータベース：エンベッディングとは、データ項目のベクトル表現である。ベクトル検索とは、埋め込みデータのコレクションをクエリして、クエリベクトルに最も近い（近い）ものを見つけるプロセスで、多くの場合、効率化のために近似最近傍（ANN）アルゴリズムを使用します。ベクターデータベース（Pineconeや Milvusのような）は、大量の埋め込みデータを格納し、インデックスを付け、高速なベクター検索を実行するために最適化された特殊なデータベースです。
• エンベッディングとトークン化の比較：トークン化とは、テキストをより小さな単位（トークン）に分解するプロセスです。これらのトークンは埋め込みにマッピングされます。つまり、トークン化は、埋め込み表現が作成されたり検索されたりする前の予備段階です。BERTや GPT-4のような代表的な自然言語処理モデルは、この2段階のプロセスに依存しています。

エンベッディングは、機械学習モデルにデータを表現する強力な方法を提供し、多様なデータタイプの意味的類似性や複雑なパターンを理解することを可能にします。エンベッディングは、物体検出や 画像分類のようなタスクのための高度なAIモデルの作成を簡素化するUltralytics HUBのような最新のMLプラットフォームの機能に不可欠です。