嵌入

嵌入是现代机器学习 (ML)的基石，它代表了一种强大的方法，可以将高维数据（如单词、图像，甚至用户）转换为有意义的、密集的和低维的数值向量。嵌入的主要目标是捕获原始数据的语义关系和潜在上下文。在这个向量空间中，具有相似含义或特征的项目彼此靠得更近。这使得 AI 模型能够执行复杂的推理和相似性任务，而这些任务对于原始的、非结构化数据来说是不可能完成的。

嵌入是如何创建的

嵌入通常由深度学习模型在训练过程中自动学习。一个神经网络，通常使用 PyTorch 或 TensorFlow 等框架构建，在相关任务上进行训练，例如预测句子中的下一个单词或对图像进行分类。然后，该网络中的一个隐藏层被用作嵌入层。当模型学习执行其任务时，它会调整该层中的权重，从而有效地学习将每个输入项映射到一个向量，该向量封装了其最重要的特征。这个过程是降维的一种形式，将大量信息压缩成紧凑且有用的格式。

应用和示例

从自然语言处理 (NLP)到计算机视觉，嵌入对于各种 AI 应用至关重要。

• 电子商务推荐引擎：推荐系统使用嵌入来表示用户和产品。如果用户经常购买或查看具有相似嵌入的商品（例如，各种类型的跑步装备），则系统可以识别该向量邻域中的其他产品（如能量胶或补水包）并推荐它们。这比简单的关键词匹配有效得多。
• 语义搜索和图像检索：语义搜索系统不依赖于标签或元数据，而是使用嵌入根据概念意义查找结果。用户可以搜索“暑假照片”，系统将检索海滩、山脉和旅行场景的图像，即使这些确切的词语不在图像的描述中。这由诸如CLIP之类的模型提供支持，这些模型为文本和图像生成对齐的嵌入，从而实现强大的多模态模型功能。同样的原理也支持强大的视觉搜索，这是许多现代应用中的关键功能。您甚至可以使用我们的相似性搜索指南构建自己的搜索。

其他应用包括药物发现（其中嵌入分子以预测相互作用）和推荐具有相似音频特征的歌曲的音乐流媒体服务。

嵌入与相关概念

区分嵌入（embeddings）和相关术语会很有帮助：

• 嵌入 vs. 特征提取：嵌入是一种复杂的、通常是自动化的特征提取形式，通过 深度学习 实现。虽然传统的 特征工程 可能涉及手动定义特征（例如，图像的颜色直方图），但嵌入直接从训练期间的数据中学习相关特征。
• 嵌入 vs. 向量搜索 / 向量数据库：嵌入是数据项的向量表示。向量搜索是查询嵌入集合以找到与查询向量最相似（最接近）的向量的过程，通常使用 近似最近邻 (ANN) 算法来提高效率。向量数据库（如 Pinecone 或 Milvus）是专门的数据库，经过优化，可以存储、索引和对大量嵌入执行快速向量搜索。
• 嵌入 vs. 分词：分词是将文本分解为更小单元（token）的过程。然后将这些 token 映射到嵌入。因此，分词是创建或检索嵌入表示之前的初步步骤。像 BERT 和 GPT-4 这样的地标性 NLP 模型依赖于这个两步过程。

嵌入提供了一种强大的方式来表示机器学习模型的数据，使它们能够理解不同数据类型中的语义相似性和复杂模式。它们是现代 ML 平台（如 Ultralytics HUB）功能不可或缺的一部分，该平台简化了高级 AI 模型的创建，用于对象检测和图像分类等任务。