嵌入

什么是嵌入？

嵌入是离散变量（如单词）或复杂对象（如图像或用户配置文件）的学习型、相对低维的向量表示。单次编码等方法创建的是非常高维的稀疏向量，每个维度对应一个项目，缺乏内在的关系信息，而嵌入则不同，它是高密度向量（通常有数万到数千个维度），每个维度都有助于表示项目的特征。最重要的是，这些向量在嵌入空间中的位置可以捕捉语义关系。例如，在单词嵌入中，具有相似含义或在相似语境中使用的单词，如 "king"（国王）和 "queen"（王后）或 "walking"（行走）和 "ran"（奔跑），其向量在数学上会比较接近（例如，使用余弦相似度）。这种接近性反映了从数据中学习到的语义相似性。

嵌入式如何工作

嵌入通常使用神经网络（NN）模型，通过自我监督学习等技术在大型数据集上进行训练生成。例如，以Word2Vec 为例，单词嵌入的一种常用技术是训练一个模型，以根据海量文本语料库中某个单词的周围单词（上下文）来预测该单词。在训练过程中，网络会调整其内部参数，包括每个单词的嵌入向量，以便通过反向传播等方法将预测误差降到最低。由此产生的向量隐含了句法和语义信息。嵌入空间的维数是一个关键的超参数，影响着模型捕捉细节的能力、计算成本和过度拟合的风险。这些高维数据空间的可视化通常需要t-SNE或PCA 等降维技术，可以使用TensorFlow Projector 等工具进行探索。

嵌入的应用

嵌入式是许多现代人工智能系统的重要组成部分，涉及各个领域：

• 自然语言处理 (NLP)：嵌入代表单词、句子或整个文档。BERT和Transformer架构等模型在很大程度上依赖嵌入来理解语言的细微差别，以完成机器翻译、情感分析、问题解答和有效语义搜索等任务。举例说明：客户支持聊天机器人使用句子嵌入在其知识库中找到最相关的答案，即使用户的查询没有使用确切的关键词。
• 推荐系统：嵌入可以代表用户和项目（如电影、产品或文章）。通过学习嵌入式，使用户和他们喜欢的项目在嵌入式空间中接近，系统就能推荐与用户之前互动过的项目或类似用户喜欢的项目类似的新项目（协同过滤）。Netflix和亚马逊等公司广泛采用了这种方法。
• 计算机视觉（CV）：图像或图像片段可以转换成能捕捉视觉特征的嵌入。这对于图像检索（查找视觉上相似的图像）、图像分类等任务至关重要，也是物体检测和图像分割等更复杂任务的基础，这些任务由以下模型执行 Ultralytics YOLO.举例说明：某电子商务平台使用图像嵌入技术让用户上传服装照片，并在目录中找到类似产品。Ultralytics HUB等平台为此类模型的训练和部署提供了便利。
• 图分析：嵌入可以表示图中的节点和边，捕捉网络结构和节点关系，用于链接预测或社群检测等任务，通常使用图神经网络（GNN）。

嵌入与相关概念

将嵌入与相关术语区分开来很有帮助：

• 嵌入与特征提取：嵌入是通过深度学习实现的一种复杂的、通常是自动化的特征提取形式。传统的特征工程可能需要手动定义特征（例如，图像的颜色直方图），而嵌入式则是在训练过程中直接从数据中学习相关特征。
• 嵌入与矢量搜索/矢量数据库：嵌入是数据项的矢量表示。矢量搜索是查询嵌入集合，找出与查询矢量最相似（最接近）的嵌入的过程，通常使用近似近邻（ANN）算法来提高效率。矢量数据库（如Pinecone或Milvus）是专门的数据库，针对大量嵌入式数据的存储、索引和快速矢量搜索进行了优化。

嵌入为机器学习模型提供了一种强大的数据表示方式，使它们能够理解从文本到图像等各种数据类型中的语义相似性和复杂模式。嵌入式技术是推动众多人工智能应用进步的基石技术，也是现代 ML 框架（如 PyTorch和 TensorFlow.