Vision Language Model (VLM)
视觉语言模型 (VLM) 能同时处理图像和文本,以生成图像说明、回答问题并按名称查找物体。介绍其架构和示例。
视觉语言模型(VLM)是一种能够将图像(通常也包括视频)与文本一同处理的神经网络。根据其设计,它可以评估图像与标题的匹配程度、撰写有关图像的文本,或查找文本提示词中提到的物体。VLM 可以回答“公交站有多少人在等车?”这类问题,将图表和收据转换为结构化数据,并定位用自然语言描述的物体。它将计算机视觉模型的视觉感知(这类模型会从固定类别列表中进行预测)与大型语言模型(LLM)开放式语言能力结合起来。
视觉语言模型的工作原理#
每个 VLM 都需要一个视觉编码器,通常是视觉 Transformer(ViT),用于将图像转换为嵌入;它还需要一种将这些嵌入与文本关联起来的方式。常见设计有三种:
- 双编码器:CLIP和 SigLIP会分别将图像和文本编码到共享的嵌入空间中,并通过数亿到数十亿个图像-标题样本对进行对比学习。它们衡量相似度,而不是生成文本,因此是零样本分类和图像搜索的标准工具。
- 生成式 VLM:预训练视觉编码器(通常来自 CLIP 或 SigLIP)会将图块嵌入送入投影器,转换为 LLM 输入空间中的“视觉 token”。LLM 会将这些 token 与文本提示词一同读取并生成答案。LLaVA-1.5采用这种方式:其 CLIP ViT-L/14 编码器会将 336×336 图像拆分为 24×24 的图块网格,生成 576 个视觉 token。DeepMind 的 Flamingo 则采用不同路径,在冻结的 LLM 中插入交叉注意力层,让文本 token 能够关注图像特征。
- 开放词汇检测器:Grounding DINO、YOLO-World 和 YOLOE 等模型会将图像区域与文本嵌入进行比较,从而为任何被命名的物体返回框或掩码,这项任务称为定位。一些生成式 VLM 也能定位物体,将框坐标写成文本或特殊位置 token。
在生成式设计中,LLM 会逐个 token 生成答案,并在每一步关注视觉 token 和提示词:
生成式 VLM 通常分阶段训练。首先,投影器会在图像-标题样本对上学习将视觉 token 与 LLM 的嵌入对齐,同时保持编码器和 LLM 冻结。随后,视觉指令微调会使用有关图像的对话对模型进行微调,而 RLHF等偏好微调方法则会减少模型描述图像中不存在内容的情况。
开放词汇检测器将相同的文本匹配能力用于实时检测。YOLOE由清华大学研究人员提出,并以 YOLOE-26 的形式集成在基于 YOLO26架构的 Ultralytics 软件包中;它会使用 Apple 的 MobileCLIP2 文本编码器将类别名称转换为嵌入,并将其与图像区域匹配,为模型从未接受过标注训练的类别返回框和实例掩码。下面的提示词包括太阳镜,而太阳镜不是封闭集 YOLO 模型会检测的 80 个 COCO类别之一:
from ultralytics import YOLOE
# 加载开放词汇 YOLOE-26 检测与分割模型
model = YOLOE("yoloe-26s-seg.pt")
# 用自然语言命名类别;文本编码器会将每个类别转换为嵌入
model.set_classes(["person", "glasses", "bus"])
# 只检测和分割提示词指定的类别
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]
print([result.names[int(c)] for c in result.boxes.cls])
result.save(filename="yoloe_prompts.jpg")输出列表中包含一辆公交车、四个人,以及其中两个人佩戴的眼镜;只需更改词语列表,模型检测的内容就会随之改变,无需重新训练。
实际应用#
- 视觉问答:巡检、零售和支持工具会就照片向 VLM 提问,例如货架是否摆满,或仪表盘图像中的哪个警示灯亮起。
- 文档理解:VLM 可以直接从页面图像中读取发票、表单、表格和图表,并返回结构化字段,通常能取代单独的 OCR步骤。
- 图像描述与无障碍:生成的描述可以为屏幕阅读器提供替代文本,也能为照片库提供可搜索的元数据。
- 机器人技术:Google DeepMind 的 RT-2等视觉-语言-动作模型扩展了 VLM 的能力,使其能够输出机器人动作,让机器人遵循“拿起空罐子”之类的指令。
- 数据标注:开放词汇检测器根据文本提示为新类别生成初步的框和掩码,为标注人员提供起点,而不是让他们面对空白图像。YOLO26 模型在标签上训练之前,Ultralytics Platform 会使用这类检测器和生成式 VLM 自动标注检测数据集。
VLM 与相关术语#
- LLM:纯文本模型。许多生成式 VLM 都是在 LLM 上连接视觉编码器构成的,因此会继承 LLM 的推理能力、知识以及编造内容的倾向。
- 多模态 AI:结合多种数据类型的模型这一更广泛类别。结合音频与文本,或结合雷达与摄像头图像的模型属于多模态模型,但不一定是 VLM。
- 目标检测:封闭集检测器只预测训练过的类别,不接受文本输入。在推理时指定类别名称后,开放词汇检测器这一类 VLM 会接手这项任务。VLM Leaderboard会比较开放词汇检测器和生成式 VLM 在真实世界数据集中检测对象的准确度。
局限性#
VLM 会产生幻觉:例如,图像描述模型可能会说桌上有一把叉子,但桌上其实没有,因为语言模型会补全可能出现的句子。精细空间推理、统计大型群体数量和读取小字都是 VLM 的其他弱项,而且每张图像都会占用 LLM 上下文窗口中的数百或数千个 token。POPE 基准通过询问“图像中有汽车吗?”这类问题来衡量物体幻觉,并从图像中随机选取不存在的物体、数据集中最常见的物体,或经常与图像中已有物体一同出现的物体。










