埋め込み

埋め込み（embeddings）は、現代の機械学習（ML）の基礎であり、単語、画像、ユーザーなどの高次元データを、意味のある、高密度で低次元の数値ベクトルに変換する強力な手法です。埋め込みの主な目的は、元のデータのセマンティックな関係と根底にあるコンテキストを捉えることです。このベクトル空間では、意味や特徴が類似するアイテムは互いに近い位置に配置されます。これにより、AIモデルは、生の構造化されていないデータでは不可能であった複雑な推論や類似性タスクを実行できます。

埋め込みはどのように作成されますか？

埋め込みは通常、深層学習モデルによってトレーニングプロセス中に自動的に学習されます。ニューラルネットワークは、多くの場合、PyTorchやTensorFlowなどのフレームワークで構築され、文中の次の単語を予測したり、画像を分類したりするなど、関連するタスクでトレーニングされます。このネットワーク内の隠れ層の1つが、埋め込み層として使用されます。モデルがタスクを実行するように学習すると、この層の重みを調整し、各入力アイテムを最も重要な特徴をカプセル化するベクトルに効果的にマッピングすることを学習します。このプロセスは次元削減の一形態であり、膨大な量の情報をコンパクトで有用な形式に圧縮します。

アプリケーションと例

埋め込みは、自然言語処理（NLP）からコンピュータビジョンまで、幅広いAIアプリケーションにとって不可欠です。

• Eコマースのレコメンデーションエンジン：レコメンデーションシステムは、ユーザーと製品の両方を表現するために埋め込みを使用します。ユーザーが同様の埋め込みを持つアイテム（例：さまざまな種類のランニングギア）を頻繁に購入または閲覧する場合、システムはそのベクトル近傍にある他の製品（エネルギーゲルやハイドレーションパックなど）を識別して推奨できます。これは、単純なキーワードマッチングよりもはるかに効果的です。
• セマンティック検索と画像検索: タグやメタデータに頼る代わりに、セマンティック検索システムは埋め込みを使用して、概念的な意味に基づいて結果を検索します。ユーザーが「夏の休暇の写真」を検索すると、システムはビーチ、山、旅行シーンの画像を、それらの正確な単語が画像の説明に含まれていなくても検索します。これは、テキストと画像の両方に対して整列された埋め込みを生成し、強力なマルチモーダルモデル機能を可能にするCLIPのようなモデルによって実現されます。これと同じ原理により、強力なビジュアル検索が可能になり、多くの最新アプリケーションで重要な機能となっています。類似性検索ガイドを使用して、独自のものを構築することもできます。

その他のアプリケーションには、分子の相互作用を予測するために埋め込まれる創薬や、同様のオーディオ機能を備えた楽曲を推奨する音楽ストリーミングサービスなどがあります。

埋め込み vs. 関連概念

埋め込み（embeddings）と関連用語を区別すると役立ちます。

• 埋め込み vs. 特徴抽出: 埋め込みは、深層学習を通じて実現される、洗練された、多くの場合自動化された特徴抽出の形式です。従来からの特徴エンジニアリングでは、手動で特徴を定義する（例：画像のカラーヒストグラム）のに対し、埋め込みはトレーニング中にデータから直接関連する特徴を学習します。
• 埋め込み vs. ベクトル検索 / ベクトルデータベース: 埋め込みは、データ項目のベクトル表現です。ベクトル検索は、クエリベクトルに最も類似した（最も近い）ものを検索するために、埋め込みのコレクションをクエリするプロセスであり、効率のために近似最近傍（ANN）アルゴリズムを使用することがよくあります。（PineconeやMilvusのような）ベクトルデータベースは、大量の埋め込みに対する高速なベクトル検索を保存、インデックス作成、および実行するために最適化された特殊なデータベースです。
• 埋め込み vs. トークン化: トークン化は、テキストをより小さな単位（トークン）に分割するプロセスです。これらのトークンは、その後、埋め込みにマッピングされます。したがって、トークン化は、埋め込み表現が作成または取得される前の予備的なステップです。BERTやGPT-4のような画期的なNLPモデルは、この2段階のプロセスに依存しています。

埋め込みは、機械学習モデルのデータを表現する強力な方法を提供し、多様なデータ型におけるセマンティックな類似性や複雑なパターンを理解できるようにします。これらは、物体検出や画像分類などのタスクのために高度なAIモデルの作成を簡素化するUltralytics HUBのような最新のMLプラットフォームの機能に不可欠です。