Vision Language Model (VLM)

通过 Ultralytics 探索视觉语言模型 (VLM)。了解它们如何将计算机视觉与 LLM 相结合，从而利用 Ultralytics YOLO26 实现 VQA 和开放词汇检测。

视觉语言模型 (VLM) 是一种人工智能，能够同时处理和解读视觉信息（图像或视频）以及文本信息。与仅关注像素数据的传统计算机视觉模型，或仅能理解文本的大型语言模型 (LLM) 不同，VLM 架起了这两种模态之间的桥梁。通过在包含图像-文本对的海量数据集上进行训练，这些模型学会了将视觉特征与语言概念联系起来，从而能够描述图像、回答有关视觉场景的问题，甚至根据它们“看到”的内容执行命令。

Link to this section视觉语言模型的工作原理#

从核心来看，VLM 通常由两个主要组件组成：视觉编码器和文本编码器。视觉编码器处理图像以提取特征图和视觉表示，而文本编码器则处理语言输入。然后，这些不同的数据流会使用诸如交叉注意力等机制进行融合，从而在共享的嵌入空间中对齐视觉和文本信息。

2024 年和 2025 年的最新进展已转向更统一的架构，即通过单个 Transformer 主干网络同时处理两种模态。例如，像 Google PaliGemma 2 这样的模型展示了有效整合这些数据流如何增强复杂推理任务的性能。这种对齐方式使模型能够理解上下文，例如识别出单词“apple”在杂货店图片中指的是水果，而在标志中则指代一家科技公司。

Link to this section实际应用#

通过视觉和语言理解世界的能力，在各行各业开辟了广泛的应用前景：

视觉问答 (VQA)： VLM 被广泛用于医疗诊断以协助放射科医生。医生可以问系统：“这张 X 光片上有骨折吗？”，模型会分析医学图像并提供初步评估，从而减少诊断错误。
智能电商搜索： 在零售环境中，VLM 使用户能够结合自然语言描述和图像来搜索产品。购物者可以上传一张明星服装的照片并询问：“帮我找一件这种图案但颜色是蓝色的连衣裙”，系统会利用语义搜索来检索准确的匹配项。
自动字幕和辅助功能： VLM 可以为网页上的图像自动生成描述性的 alt 文本，使依赖屏幕阅读器的视障用户能够更轻松地获取数字内容。

Link to this section区分 VLM 与相关概念#

将 VLM 与其他 AI 类别区分开来，有助于理解它们各自的具体作用：

VLM 与 LLM： 大型语言模型（如仅限文本的 GPT-4 版本）只处理文本数据。虽然它可以生成富有创意的故事或代码，但它无法“看到”图像。VLM 实际上为 LLM 赋予了眼睛。
VLM 与目标检测： 传统的目标检测模型（如早期的 YOLO 版本）可以识别物体“在什么位置”以及属于“什么类别”（例如“汽车：99%”）。VLM 更进一步，能够理解物体之间的关系和属性，例如“停在消防栓旁边的一辆红色跑车”。
VLM 与多模态 AI： 多模态 AI 是一个更宽泛的术语。虽然所有 VLM 都是多模态的（结合了视觉和语言），但并非所有多模态模型都是 VLM；有些模型可能在没有语言组件的情况下结合音频和文本（如语音转文字），或结合视频和传感器数据。

Link to this section基于 YOLO 的开放词汇检测#

现代 VLM 支持“开放词汇”检测，你可以使用自由形式的文本提示而不是预定义的类别来检测物体。这是 Ultralytics YOLO-World 等模型的一项关键特性，它允许在无需重新训练的情况下进行动态类别定义。

以下示例演示了如何使用 ultralytics 软件包来检测文本描述的特定物体：

from ultralytics import YOLOWorld

# Load a model capable of vision-language understanding
model = YOLOWorld("yolov8s-world.pt")

# Define custom classes using natural language text prompts
model.set_classes(["person wearing sunglasses", "red backpack"])

# Run inference to find these text-defined objects in an image
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Display the detection results
results[0].show()