获取 YOLO 许可
返回 Ultralytics 术语表

Vision Language Model (VLM)

视觉语言模型 (VLM) 能同时处理图像和文本,以生成图像说明、回答问题并按名称查找物体。介绍其架构和示例。

视觉语言模型(VLM)是一种能够将图像(通常也包括视频)与文本一同处理的神经网络。根据其设计,它可以评估图像与标题的匹配程度、撰写有关图像的文本,或查找文本提示词中提到的物体。VLM 可以回答“公交站有多少人在等车?”这类问题,将图表和收据转换为结构化数据,并定位用自然语言描述的物体。它将计算机视觉模型的视觉感知(这类模型会从固定类别列表中进行预测)与大型语言模型(LLM)开放式语言能力结合起来。

视觉语言模型的工作原理#

每个 VLM 都需要一个视觉编码器,通常是视觉 Transformer(ViT),用于将图像转换为嵌入;它还需要一种将这些嵌入与文本关联起来的方式。常见设计有三种:

  • 双编码器:CLIP和 SigLIP会分别将图像和文本编码到共享的嵌入空间中,并通过数亿到数十亿个图像-标题样本对进行对比学习。它们衡量相似度,而不是生成文本,因此是零样本分类和图像搜索的标准工具。
  • 生成式 VLM:预训练视觉编码器(通常来自 CLIP 或 SigLIP)会将图块嵌入送入投影器,转换为 LLM 输入空间中的“视觉 token”。LLM 会将这些 token 与文本提示词一同读取并生成答案。LLaVA-1.5采用这种方式:其 CLIP ViT-L/14 编码器会将 336×336 图像拆分为 24×24 的图块网格,生成 576 个视觉 token。DeepMind 的 Flamingo 则采用不同路径,在冻结的 LLM 中插入交叉注意力层,让文本 token 能够关注图像特征。
  • 开放词汇检测器:Grounding DINO、YOLO-World 和 YOLOE 等模型会将图像区域与文本嵌入进行比较,从而为任何被命名的物体返回框或掩码,这项任务称为定位。一些生成式 VLM 也能定位物体,将框坐标写成文本或特殊位置 token。

在生成式设计中,LLM 会逐个 token 生成答案,并在每一步关注视觉 token 和提示词:

生成式 VLM 通常分阶段训练。首先,投影器会在图像-标题样本对上学习将视觉 token 与 LLM 的嵌入对齐,同时保持编码器和 LLM 冻结。随后,视觉指令微调会使用有关图像的对话对模型进行微调,而 RLHF等偏好微调方法则会减少模型描述图像中不存在内容的情况。

开放词汇检测器将相同的文本匹配能力用于实时检测。YOLOE由清华大学研究人员提出,并以 YOLOE-26 的形式集成在基于 YOLO26架构的 Ultralytics 软件包中;它会使用 Apple 的 MobileCLIP2 文本编码器将类别名称转换为嵌入,并将其与图像区域匹配,为模型从未接受过标注训练的类别返回框和实例掩码。下面的提示词包括太阳镜,而太阳镜不是封闭集 YOLO 模型会检测的 80 个 COCO类别之一:

from ultralytics import YOLOE

# 加载开放词汇 YOLOE-26 检测与分割模型
model = YOLOE("yoloe-26s-seg.pt")

# 用自然语言命名类别;文本编码器会将每个类别转换为嵌入
model.set_classes(["person", "glasses", "bus"])

# 只检测和分割提示词指定的类别
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]
print([result.names[int(c)] for c in result.boxes.cls])
result.save(filename="yoloe_prompts.jpg")

输出列表中包含一辆公交车、四个人,以及其中两个人佩戴的眼镜;只需更改词语列表,模型检测的内容就会随之改变,无需重新训练。

实际应用#

  • 视觉问答:巡检、零售和支持工具会就照片向 VLM 提问,例如货架是否摆满,或仪表盘图像中的哪个警示灯亮起。
  • 文档理解:VLM 可以直接从页面图像中读取发票、表单、表格和图表,并返回结构化字段,通常能取代单独的 OCR步骤。
  • 图像描述与无障碍:生成的描述可以为屏幕阅读器提供替代文本,也能为照片库提供可搜索的元数据。
  • 机器人技术:Google DeepMind 的 RT-2等视觉-语言-动作模型扩展了 VLM 的能力,使其能够输出机器人动作,让机器人遵循“拿起空罐子”之类的指令。
  • 数据标注:开放词汇检测器根据文本提示为新类别生成初步的框和掩码,为标注人员提供起点,而不是让他们面对空白图像。YOLO26 模型在标签上训练之前,Ultralytics Platform 会使用这类检测器和生成式 VLM 自动标注检测数据集。
  • LLM:纯文本模型。许多生成式 VLM 都是在 LLM 上连接视觉编码器构成的,因此会继承 LLM 的推理能力、知识以及编造内容的倾向。
  • 多模态 AI:结合多种数据类型的模型这一更广泛类别。结合音频与文本,或结合雷达与摄像头图像的模型属于多模态模型,但不一定是 VLM。
  • 目标检测:封闭集检测器只预测训练过的类别,不接受文本输入。在推理时指定类别名称后,开放词汇检测器这一类 VLM 会接手这项任务。VLM Leaderboard会比较开放词汇检测器和生成式 VLM 在真实世界数据集中检测对象的准确度。

局限性#

VLM 会产生幻觉:例如,图像描述模型可能会说桌上有一把叉子,但桌上其实没有,因为语言模型会补全可能出现的句子。精细空间推理、统计大型群体数量和读取小字都是 VLM 的其他弱项,而且每张图像都会占用 LLM 上下文窗口中的数百或数千个 token。POPE 基准通过询问“图像中有汽车吗?”这类问题来衡量物体幻觉,并从图像中随机选取不存在的物体、数据集中最常见的物体,或经常与图像中已有物体一同出现的物体。

探索解决方案

体育领域的计算机视觉

体育领域的计算机视觉

了解 Ultralytics YOLO 如何通过球员和球追踪、表现分析、教练洞察及运动员康复,推动体育视觉技术的发展。
了解详情
航空影像计算机视觉

航空影像计算机视觉

使用 Ultralytics YOLO 将无人机和航空影像转化为农业、水产养殖、保护工作和地理空间分析的实时洞察。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 将计算机视觉应用于航空航天领域,包括飞机检查、跑道 FOD 检测、机场地面作业和复合材料缺陷检测。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情

让我们携手构建 AI 的未来!

开启你的旅程,迎接机器学习的未来