视觉 AI

了解视觉语言模型及其应用

了解视觉语言模型、它们的工作原理及其在人工智能中的各种应用。发现这些模型如何结合视觉和语言能力。

ABAbirami Vina6 min readJuly 5, 2024

在上一篇文章中，我们探讨了 GPT-4o 如何通过文字理解和描述图像。我们也在 Google Gemini 和 Claude 3 等其他新模型中看到了这种能力。今天，我们将深入探讨这一概念，解释视觉语言模型（VLM）的工作原理以及它们如何结合视觉与文本数据。

这些模型可以执行一系列令人印象深刻的任务，例如为照片生成详细说明、回答有关图像的问题，甚至根据文本描述创造新的视觉内容。通过无缝整合视觉和语言信息，视觉语言模型正在改变我们与技术交互以及理解周围世界的方式。

视觉语言模型的工作原理#

在了解视觉语言模型（VLM）的应用场景之前，让我们先了解它们是什么以及如何工作。VLM 是先进的 AI 模型，结合了视觉和语言模型的能力来处理图像和文本。这些模型接收图片及其文本描述，并学习将两者关联起来。模型的视觉部分负责捕捉图像细节，而语言部分则负责理解文本。这种协作使 VLM 能够同时理解和分析图像与文本。

以下是视觉语言模型的主要功能：

**图像字幕：**根据图像内容生成描述性文本。
**视觉问答（VQA）：**回答与图像内容相关的问题。
文本到图像生成：根据文本描述创建图像。
**图文检索：**为给定的文本查询找到相关的图像，反之亦然。
**多模态内容创作：**结合图像和文本来生成新内容。
场景理解与目标检测：识别和分类图像中的对象与细节。

Example of the capabilities of a vision language model

图 1. 视觉语言模型功能的一个示例。

接下来，让我们探讨 CLIP、SimVLM 和 VisualGPT 等知名模型所使用的常见 VLM 架构和学习技术。

对比学习#

对比学习是一种通过比较数据点之间的差异来帮助模型学习的技术。它计算实例的相似度或差异，旨在最小化衡量这些差异的对比损失（contrastive loss）。它在半监督学习中特别有用，即通过一小部分标记示例引导模型为新的、未见过的数据打标签。例如，为了理解猫的样子，模型会将它与相似的猫图像和狗图像进行比较。通过识别面部结构、体型和皮毛等特征，对比学习技术能够区分猫和狗。

Diagram of how contrastive learning works

图 2. 对比学习的工作原理。

CLIP 是一种视觉语言模型，它使用对比学习来匹配文本描述与图像。它通过简单的三个步骤运行。首先，它训练模型中既能理解文本又能理解图像的部分。其次，它将数据集中的类别转换为文本描述。第三，它为给定图像识别出最佳匹配的描述。得益于这种方法，即使对于未经过专门训练的任务，CLIP 模型也能做出准确的预测。

PrefixLM#

PrefixLM 是一种用于训练模型的自然语言处理（NLP）技术。它从句子的一部分（前缀）开始，学习预测下一个单词。在视觉语言模型中，PrefixLM 帮助模型根据图像和给定的文本片段来预测下一个单词。它使用视觉 Transformer（ViT），将图像分解成小块（patch），每个块代表图像的一部分，并按顺序进行处理。

Example of training a VLM using the PrefixLM technique

图 3. 使用 PrefixLM 技术训练 VLM 的一个示例。

SimVLM 是一种使用 PrefixLM 学习技术的 VLM。与早期模型相比，它采用了更简单的 Transformer 架构，但在各种测试中取得了更好的结果。其模型架构包括：通过 Transformer 编码器学习将图像与文本前缀关联，然后使用 Transformer 解码器生成文本。

使用交叉注意力（Cross-Attention）的多模态融合#

使用交叉注意力的多模态融合是一种提高预训练视觉语言模型理解和处理视觉数据能力的技术。它通过向模型添加交叉注意力层来工作，使模型能够同时关注视觉和文本信息。

其工作原理如下：

识别并突出显示图像中的关键对象。
突出显示的对象由视觉编码器处理，将视觉信息转换为模型可以理解的格式。
视觉信息被传递给解码器，解码器使用预训练语言模型的知识来解释图像。

VisualGPT 是使用该技术的一个很好的例子。它包含一个名为自恢复激活单元（SRAU）的特殊功能，可帮助模型避免常见的梯度消失问题。梯度消失会导致模型在训练过程中丢失重要信息，但 SRAU 能保持模型强大的性能。

Diagram of the VisualGPT model architecture

图 4. VisualGPT 模型架构。

视觉语言模型的应用#

视觉语言模型正在对各个行业产生影响。从改善电子商务平台到让互联网更易于访问，VLM 的潜在用途令人兴奋。让我们探讨其中一些应用。

生成产品描述#

当你在网上购物时，你会看到每个产品的详细描述，但创建这些描述可能会非常耗时。VLM 通过自动化生成这些描述来简化这一过程。在线零售商可以直接利用视觉语言模型从产品图像中自动生成详细且准确的描述。

高质量的产品描述有助于搜索引擎根据描述中提到的特定属性来识别产品。例如，包含“长袖”和“棉质领口”的描述能帮助客户更轻松地找到“长袖棉质衬衫”。这也能帮助客户快速找到他们想要的产品，进而提高销量和客户满意度。

Example of an AI-generated product description

图 5. AI 生成产品描述的一个示例。

诸如 BLIP-2 等生成式 AI 模型是复杂的 VLM 示例，它们能够直接从图像中预测产品属性。BLIP-2 使用多个组件来准确理解和描述电商产品。它首先使用图像编码器处理和理解产品的视觉方面。然后，一个查询 Transformer 在特定问题或任务的上下文中解释这些视觉信息。最后，一个大语言模型生成详细且准确的产品描述。

让互联网更具包容性#

通过图像标注，视觉语言模型可以使互联网变得更加无障碍，特别是对于视障人士。传统上，用户需要在网站和社交媒体上输入视觉内容的描述。例如，当你在 Instagram 上发帖时，你可以为屏幕阅读器添加替代文本。然而，VLM 可以自动化这个过程。

当 VLM 看到一张猫坐在沙发上的图片时，它可以生成字幕“一只猫坐在沙发上”，让视障用户清楚地了解场景。VLM 使用少样本提示（few-shot prompting，从少量图像-字幕对示例中学习）和思维链提示（chain-of-thought prompting，帮助逻辑性分解复杂场景）等技术，使生成的字幕更加连贯和详尽。

Using AI to generate image captions