嵌入

嵌入是离散变量的稠密、低维和连续向量表示，是现代 的基本数据格式。 人工智能（AI）.与单次编码等稀疏表示不同，单次编码会产生大量低效向量、 嵌入通过将高维输入（如文字、图像或音频）映射到数据中，从而捕捉数据的语义关系和潜在含义。 输入（如文字、图像或音频）映射到一个紧凑的数字空间。在这个学习到的向量空间中，具有相似特征或语境的项目 在这个学习到的向量空间中，具有相似特征或上下文的条目被定位在彼此相近的位置，这样就能 机器学习 (ML)模型 直观地理解和处理复杂的模式。

嵌入式如何工作

嵌入背后的核心概念是将原始数据转换成计算机可以高效处理的数学形式。 高效处理的数学形式。这一过程通常涉及 神经网络 (NN)学习 将输入映射到实数向量。在 模型训练在模型训练阶段，网络会调整 这些向量，使它们之间的距离与它们所代表项目的相似性相对应。

例如，在 自然语言处理（NLP）中，"king"（国王）和 "queen"（王后）这两个词的嵌入在数学上会比 "apple"（苹果）更接近。 而不是 "苹果"，这反映了它们之间的语义关系。这种转换是 降维的一种形式，它在保留基本信息的同时剔除了噪音，使分类或聚类等下游任务的效率大大提高。 聚类等下游任务。

创建和培训

嵌入通常是作为训练的副产品生成的 深度学习（DL）模型 的副产品。诸如 PyTorch和 TensorFlow提供了专门用于 设计来学习这些表征。

1. 初始化：嵌入向量通常以随机值初始化。
2. 学习：当模型针对特定目标进行优化时--例如预测序列中的下一个单词或识别图像中的物体时 序列中的下一个单词或识别图像中的物体 模型权重与 嵌入层相关的模型权重进行更新。
3. 结果最终学习到的权重作为嵌入查找表，其中每个输入标记或对象 对象对应一个特定的密集向量。

您可以使用标准的 计算机视觉 (CV)工作流程为图像生成嵌入词。 下面的Python 代码段演示了如何使用预先训练好的嵌入式算法从图像中提取嵌入信息。 Ultralytics YOLO11分类模型从图像中提取嵌入词。

from ultralytics import YOLO

# Load a YOLO11 classification model
model = YOLO("yolo11n-cls.pt")

# Generate embeddings for an image from a URL
# The embed() method specifically returns the feature vector
embedding_vector = model.embed("https://ultralytics.com/images/bus.jpg")

# Output the shape of the embedding (e.g., a vector of length 1280)
print(f"Embedding shape: {embedding_vector[0].shape}")

实际应用

嵌入式技术彻底改变了系统处理非结构化数据的方式，为以前不可能实现的功能提供了动力。 不可能实现的功能。

• 语义搜索引擎：传统搜索引擎依赖于关键字匹配，而当查询使用同义词时，这种匹配往往会失败。 当查询使用同义词时。 语义搜索利用 嵌入来匹配查询的意图与文档或图像的内容。通过比较 间的距离，系统就能检索出概念上相关的结果，即使它们并不共享完全相同的单词。 相关的结果，即使它们并不完全相同。
• 个性化推荐系统：Netflix 或亚马逊等平台使用嵌入式技术对用户偏好和商品特征进行建模。 偏好和项目特征。如果用户观看的是科幻电影，则 推荐系统可以 推荐具有类似嵌入向量的其他电影。这种方法通常使用近邻 算法在 向量数据库可有效扩展至数百万个项目。
• 零距离学习：高级模型，如 CLIP 学习文本和图像的联合嵌入。这样，系统就能通过比较图像嵌入和类名文本嵌入，对训练期间从未见过的图像进行classify 。 通过比较图像嵌入和类名的文本嵌入，这种技术被称为 零点学习.

嵌入与相关概念

了解嵌入式和相关术语之间的区别对于驾驭人工智能领域至关重要。

• 嵌入与特征提取：两者都涉及将数据转化为数字特征、 特征提取可以指 手动技术（如边缘检测）或自动技术。嵌入是一种特定类型的自动学习式特征提取，可产生密集向量，通常用于其他模型或相似性模型的输入。 特征提取是一种特殊的自动学习型特征提取，它能产生密集向量，通常用作其他模型或相似性任务的输入。
• 嵌入与向量搜索：嵌入是一种数据结构（向量本身）。 矢量搜索是 查询这些嵌入集合以查找类似项目的过程。类似的技术有 松果或 Milvus就是为了存储嵌入并高效地执行这种搜索而设计的。 高效。
• 嵌入与标记化：在文本处理中、 标记化是指 将文本分解成更小的单元，称为 标记.这些标记是离散的标识符（整数），可以查找相应的嵌入向量。因此 在管道中，标记化先于嵌入检索。

通过将抽象概念转换为数学向量，嵌入技术弥补了人类直觉与机器逻辑之间的差距。 通过将抽象概念转化为数学矢量，嵌入 模式识别功能 在当今最先进的人工智能应用中都能看到。