Grounding

接地是将词语或其他符号与其所指事物联系起来的过程，使AI 系统中的语言能够关联到系统可以指认的证据。在计算机视觉中，视觉接地是指定位图像或视频中与短语描述相对应的区域：给定“穿着棕褐色外套的男人”，接地模型会返回围绕该男人的边界框或掩码。在大型语言模型（LLM）中，接地是指将生成的文本与检索到的文档、搜索结果或工具输出关联起来，使相关论述能够追溯到来源。这两种含义都呼应了认知科学家 Stevan Harnad 于 1990 年提出的符号接地问题：系统操纵的符号如何能对系统本身具有意义，而不只是对阅读这些符号的人有意义？

视觉接地任务#

• 短语接地： 定位句子中提到的每个物体，例如在说明文字中同时找出“一位女士”和“她的狗”。
• 指代表达理解： 找出表达中特别指明的单个物体，例如“从左数第二辆车”。RefCOCO、RefCOCO+ 和 RefCOCOg 基准为 COCO 图像收集了这类表达；RefCOCO+ 禁止使用“左边”等位置词，因此表达必须描述物体外观。
• 开放词汇检测： 在推理时找出文本中命名的所有类别实例，不受闭集目标检测模型固定类别列表的限制。
• 接地式图像描述和问答： 视觉语言模型（VLM）生成描述或答案，并为提到的每个物体附加一个边界框。
• 时序和 3D 接地： 找出视频中与某句话描述相对应的时刻，或房间 3D 扫描中的特定物体。

接地模型的工作原理#

接地模型会对文本和图像进行编码，针对每个短语对所有候选图像区域评分，并保留得分超过阈值的区域。训练过程会对齐两个嵌入空间，通常利用图文对进行对比学习，让“蓝色背包”的嵌入靠近蓝色背包的特征。更强的模型还会通过交叉注意力在早期融合两种模态，让词语引导网络计算哪些视觉特征。

GLIP 将目标检测重新定义为短语定位，从而让检测和定位数据能够共同训练一个模型；Grounding DINO可接受类别名称或指代表达式，Ultralytics Platform 也托管该模型用于自动标注。它在没有使用任何 COCO 训练数据的情况下，在 COCO上取得了 52.5 AP。Meta 的 SAM 3于 2025 年 11 月发布，并以 SAM 3 Text的形式托管在 Platform 上；它可以分割和跟踪图像及视频中的所有短名词短语实例，例如“黄色校车”。生成式 VLM 会将边界框坐标作为文本或特殊位置token与回答一同输出，从而完成定位。VLM Leaderboard会比较开放词汇检测器和生成式 VLM 对真实世界检测数据集类别名称的定位准确率。

YOLOE 由清华大学研究人员提出，并以 YOLOE-26 的形式集成到基于 YOLO26 架构的 Ultralytics 软件包中，能够实时接地类别名称和短语：文本编码器将每个短语转换为嵌入，检测头则将其与每个图像区域进行匹配：

from ultralytics import YOLOE

# 加载开放词汇 YOLOE-26 检测与分割模型
model = YOLOE("yoloe-26s-seg.pt")

# 文本编码器会为每个短语生成一次嵌入，并将其作为模型可以查找的类别
model.set_classes(["bus", "person", "sunglasses", "traffic sign"])
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# 打印每个接地短语及其像素边界框 (x1, y1, x2, y2)
for cls, box in zip(result.boxes.cls.tolist(), result.boxes.xyxy.tolist()):
    print(result.names[int(cls)], [round(v) for v in box])

每一行输出都会将一个短语与 YOLOE 为其接地的区域配对；如果短语在图像中没有匹配项，则不会输出任何内容。

应用场景#

• 机器人： 机器人接到“拿起笔记本电脑旁边的红色杯子”这一指令后，必须先将短语接地到一个物体及其 3D 位置，然后才能规划抓取动作。
• 数据标注：开放词汇检测器根据名称列表为新类别生成初步的框和掩码，之后由标注人员修正，而不是从头开始绘制。YOLO26 模型在修正后的标签上训练之前，Ultralytics Platform 会以这种方式自动标注检测数据集。
• 视频搜索： 时序接地可以从数小时的影像中检索出“骑车人在十字路口左转”的片段。
• 无障碍支持： 辅助应用会通过定位物体（而不只是说出名称）来回答“出口标志在哪里？”。

接地与相关术语的比较#

• 图像描述：将图像映射为文本。接地则反其道而行之，从文本映射到文本所描述的图像区域。
• 视觉问答 (VQA)：用文字回答有关图像的问题。接地式视觉问答还会指出答案的依据。
• 零样本学习：无需训练样本即可识别类别。开放词汇接地是实现这一目标的一种方式，因为只需用文字描述类别，无需标注图像。
• 多模态 AI：结合多种数据类型的模型所属的更广泛领域；接地则是将特定词语与另一模态中的特定部分对齐。

语言模型中的接地#

仅凭记忆作答的 LLM 可能生成流畅却没有来源依据的说法，这是导致幻觉的原因之一。接地生成会在推理时通过检索增强生成 (RAG)、网络搜索、数据库查询或工具调用提供证据，并要求模型依据证据作答和引用来源。接地答案的每项主张都可以对照其来源进行核查；对接地系统的评估会衡量忠实度，即每条陈述是否得到检索文本的支持，并将其与检索文本本身是否正确分开评估。