Google 的 PaliGemma 2：深入了解先进的 VLM 模型

2024 年 12 月 5 日，Google 推出了 PaliGemma 2，这是其最新版本的视觉语言模型（VLM）。PaliGemma 2 专为处理图像和文本相结合的任务而设计，例如生成图像说明、回答视觉问题，以及检测图像中的对象。

PaliGemma 2 基于最初的 PaliGemma 构建。初代模型已是多语言图像说明生成和对象识别的强大工具，而 PaliGemma 2 则带来了几项关键改进，包括更大的模型尺寸、对更高分辨率图像的支持，以及在复杂视觉任务上的更佳表现。这些升级让它在广泛的应用场景中更加灵活、有效。

本文将深入介绍 PaliGemma 2，包括它的工作原理、主要功能，以及它表现出色的应用场景。

从 Gemma 2 到 PaliGemma 2#

PaliGemma 2 基于两项关键技术构建：SigLIP视觉编码器和 Gemma 2 语言模型。SigLIP 编码器处理图像或视频等视觉数据，并将其拆解为模型可分析的特征。Gemma 2 则负责处理文本，使模型能够理解并生成多语言内容。两者结合构成视觉语言模型，专门用于理解视觉和文本信息并将两者联系起来。

PaliGemma 2 的一大突破在于其可扩展性和多功能性。与原版不同，PaliGemma 2 提供三种尺寸：30 亿 (3B)、100 亿 (10B) 和 280 亿 (28B) 参数。参数就像模型的内部设置，帮助模型有效地学习和处理数据。它还支持不同的图像分辨率（例如，快速处理任务使用 224 x 224 像素，详细分析使用 896 x 896 像素），因此能够适应各种应用场景。

图 1. PaliGemma 2 概览。

将 Gemma 2 的先进语言能力与 SigLIP 的图像处理能力相结合，显著增强了 PaliGemma 2 的能力。它能够处理以下任务：

• 为图像或视频生成说明文字：模型可以生成详细的视觉内容文字描述，因此适合自动生成说明文字。
• 视觉问答： PaliGemma 2 可以根据图像回答问题，例如识别场景中的物体、人物或动作。
• 物体识别：模型可以识别并标记图像中的物体，例如区分照片里的猫、桌子或汽车。

PaliGemma 2 不只是分别处理图像和文本，还能以有意义的方式将两者结合起来。例如，它可以理解场景中的关系，比如识别出“猫正坐在桌子上”；也可以在识别物体时补充上下文，比如识别出著名地标。

Google 的 PaliGemma 2 VLM 模型如何工作#

接下来，我们将结合下图中的示例，进一步了解 PaliGemma 2 如何处理视觉和文本数据。假设你上传这张图表，并询问模型：“这张图表代表什么？”

图 2. PaliGemma 2 的能力示例。

处理过程首先由 PaliGemma 2 的 SigLIP 视觉编码器分析图像并提取关键特征。对于图表来说，这包括识别坐标轴、数据点和标签等元素。编码器经过训练，能够捕捉整体模式和细节。它还会使用光学字符识别（OCR）来检测并处理图像中嵌入的文本。这些视觉特征会转换为模型可处理的数值表示，即令牌。随后，线性投影层会调整这些令牌，确保它们能够与文本数据结合。

与此同时，Gemma 2 语言模型会处理随附的问题，以确定其含义和意图。问题中的文本会被转换为 token，再与 SigLIP 提供的视觉 token 结合，形成一种多模态表示，即一种统一的格式，用于关联视觉数据和文本数据。

借助这种整合后的表示，PaliGemma 2 会通过自回归解码逐步生成回答。自回归解码是一种根据已处理的上下文，每次预测回答一部分内容的方法。

PaliGemma 2 的核心能力#

介绍完工作原理后，让我们来看看使 PaliGemma 2 成为可靠视觉语言模型的主要功能：

• 微调灵活性：可轻松适配特定数据集和任务，在图像说明生成、空间推理和医学影像等应用中表现出色。
• 多样化的训练数据：使用 WebLI 和 Open Images 等数据集进行训练，因此具备出色的对象识别能力和多语言输出能力。
• 集成 OCR： 内置光学字符识别功能，可以从图像中提取和理解文本，因此非常适合文档分析和其他基于文本的任务。
• 多语言输出： 可以用多种语言生成说明文字和回答，非常适合全球应用场景。
• 与工具集成：兼容 Hugging Face Transformers、PyTorch 和 Keras 等框架，便于部署和实验。

对比 PaliGemma 2 和 PaliGemma：有哪些改进？#

了解第一版 PaliGemma 的架构，有助于看清 PaliGemma 2 的改进之处。其中最显著的变化之一，是用 Gemma 2 替换了原来的 Gemma 语言模型，从而在性能和效率方面带来大幅提升。

Gemma 2 提供 2B、9B 和 27B 参数规模的版本，经过专门设计，旨在降低部署成本的同时实现领先的准确率和速度。它通过重新设计的架构实现这一目标，该架构针对不同硬件配置下的推理效率进行了优化，适用于高性能 GPU 以及更易获取的硬件配置。

图 3. 回顾 PaliGemma 的第一个版本。

因此，PaliGemma 2 是一个精度很高的模型。PaliGemma 2 的 10B 版本 Non-Entailment Sentence（NES）得分为 20.3，低于原始模型的 34.3，这意味着模型输出中的事实性错误更少。这些进步使 PaliGemma 2 更具扩展性、精准性和适应性，可用于从详细图像说明生成到视觉问答等更广泛的应用。Google 更新的 Gemma 4 模型（例如 Gemma 4 26B）会在 VLM Leaderboard 上与其他视觉语言模型进行真实世界目标检测能力的比较。

PaliGemma 2 的应用：VLM 模型的实际用途#

PaliGemma 2 结合了视觉理解和语言理解，因此可应用于许多行业。例如，在无障碍方面，它可以生成对物体、场景和空间关系的详细描述，为视障人士提供重要帮助。这项能力能帮助用户更好地了解周围环境，让他们在日常生活中更加独立。

图 4. PaliGemma 2 能让世界变得更加无障碍。

除了无障碍领域，PaliGemma 2 还在包括以下领域在内的多个行业产生影响：

• 电子商务：模型通过分析并描述图像中的商品，改进商品分类，从而简化库存管理并改善用户的搜索体验。
• 医疗保健：模型通过解读 X 光片和 MRI 等医学影像，并结合临床记录，为医疗专业人员提供支持，帮助他们做出更准确、更有依据的诊断。
• 教育：PaliGemma 2 能帮助教育工作者生成图像字幕并提供图像的上下文信息，从而制作描述性强且易于访问的学习材料。
• 内容创作：该模型可自动为多媒体内容生成字幕和视觉描述，帮助创作者节省时间。

亲自试试：PaliGemma 2#

要试用 PaliGemma 2，你可以从 Hugging Face 的交互式演示开始。通过演示，你可以探索它在图像字幕生成和视觉问答等任务中的能力。只需上传一张图像，然后向模型提问或要求它描述场景即可。

图 5. PaliGemma 2 演示（来源：Hugging Face）。

如果你想深入了解，下面介绍如何亲自动手实践：

• 预训练模型：你可以从 Hugging Face 和 Kaggle 等平台获取预训练模型和代码。这些资源能为你提供开始使用该模型所需的一切。
• 笔记本：这里有全面的文档和示例笔记本，可帮助你熟悉 PaliGemma 2。你可以从推理示例入手，并尝试用自己的数据集针对特定任务微调模型。
• 集成：PaliGemma 2 兼容 Hugging Face Transformers、Keras、PyTorch、JAX 和 Gemma.cpp 等常用框架，可让你将其集成到现有工作流中。

Google PaliGemma 2 的优缺点#

现在我们已经介绍了如何开始使用 PaliGemma 2，接下来仔细看看使用这些模型时需要考虑的主要优势和不足。

以下是 PaliGemma 2 作为视觉语言模型的突出之处：

• 效率提升：借助 Gemma 2 的优化架构，PaliGemma 2 在实现高性能的同时降低了部署成本。
• 增强的安全功能：PaliGemma 2 在训练过程中进行了重要的安全改进，例如严格过滤预训练数据以减少偏见，并通过严格的安全基准评估。
• 较小配置的低延迟：3B 模型的推理速度更快，适用于速度至关重要的场景，例如电商产品推荐或实时支持系统。

另一方面，PaliGemma 2 也可能存在一些局限：

• 延迟：虽然功能强大，但较大的模型可能会遇到延迟问题，尤其是在部署到需要即时响应的任务中时，例如实时交互式 AI 系统。
• 依赖大型数据集：PaliGemma 2 的性能与训练数据集的质量和多样性密切相关，这可能会限制它在训练数据中未充分代表的领域或语言中的效果。
• 资源需求高：尽管经过优化，10B 和 28B 参数版本仍需要强大的计算能力，因此资源有限的小型组织较难使用。

要点#

PaliGemma 2 是视觉语言建模领域一项引人注目的进展，提升了可扩展性、微调灵活性和准确性。它可用于各种应用，从无障碍解决方案和电商到医疗诊断和教育。

尽管它存在计算需求高、依赖高质量数据等局限，但其优势使它成为处理视觉数据与文本数据融合的复杂任务的实用选择。PaliGemma 2 可为研究人员和开发者提供坚实的基础，帮助他们探索并拓展 AI 在多模态应用中的潜力。

查看我们的 GitHub 代码库和社区，参与 AI 领域的交流。阅读 AI 如何在农业和医疗保健领域取得进展！