FastVLM：Apple 推出全新高速视觉语言模型

在 CVPR 2025 大会上，Apple 推出了一款名为 FastVLM 的新型开源 AI 模型。它能够理解图像和语言，并可在 iPhone、iPad 和 Mac 等 Apple 设备上运行。这意味着它能快速提供智能结果，而无需将你的数据发送到云端。

FastVLM 尤其引人关注的一点是它的速度和效率。Apple 开发了一款名为 FastViTHD 的新型视觉编码器，帮助模型在使用更少内存和电量的同时解读高质量图像。所有处理都在设备本地完成，因此响应更快，也能保护用户隐私。

本文将介绍 FastVLM 的工作原理、它的独特之处，以及 Apple 发布的这一模型为何可能成为设备日常 AI 应用的一大进步。

了解视觉语言模型（VLMs）#

在深入了解 FastVLM 的特别之处前，我们先来看看它名称中的“VLM”代表什么。它指的是一种视觉语言模型，旨在理解视觉内容并将其与语言联系起来。

VLMs 将视觉理解与语言结合起来，使模型能够完成描述照片、回答有关屏幕截图的问题，或从文档中提取文本等任务。视觉语言模型通常分为两部分：一部分处理图像并将其转换为数据，另一部分解读这些数据并生成你可以阅读或收听的回复。

你可能已经使用过这类 AI 创新，却没有意识到这一点。扫描收据、读取身份证、生成图像说明，或帮助低视力人士与屏幕互动的应用，通常都依赖于在后台静默运行的视觉语言模型。

什么是 FastVLM？#

Apple 开发 FastVLM，旨在完成其他视觉语言模型的同类任务，同时实现更快的速度、更强的隐私保护，并针对 Apple 自家的设备进行性能优化。它能够理解图像内容并以文本作答，但与许多依赖云服务器的模型不同，FastVLM 可以完全在你的 iPhone、iPad 或 Mac 上运行。

VLMs 通常在处理高分辨率图像时表现更好。例如，如下图所示，只有输入高分辨率版本的图像时，FastVLM 才能正确识别出路牌上写着“禁止驶入”。不过，高分辨率输入通常会降低模型速度。这正是 FastViTHD 发挥作用的地方。

图 1. FastVLM 在低分辨率和高分辨率图像上的表现。(来源)

Apple 新推出的视觉编码器 FastViTHD 能帮助 FastVLM 更高效地处理高质量图像，同时减少内存和功耗。具体来说，FastViTHD 足够轻量，即使在较小型的设备上也能流畅运行。

此外，FastVLM 已公开发布在 FastVLM GitHub 代码仓库中，开发者可以在其中获取源代码、进行修改，并根据 Apple 的许可条款将其用于自己的应用。

FastVLM 与其他 VLM 模型的比较#

与其他视觉语言模型相比，FastVLM 针对智能手机和笔记本电脑等日常设备进行了优化。在性能测试中，FastVLM 生成首个词或输出的速度最高可比 LLaVA-OneVision-0.5B 等模型快 85 倍。

图 2. FastVLM 与其他模型的性能比较。(来源)

下面简要介绍 FastVLM 接受评估的一些标准基准测试：

• DocVQA（文档视觉问答）：这项视觉问答基准测试用于评估模型读取和理解文档文本信息的能力，例如扫描表单或页面中的内容。
• TextVQA（文本视觉问答）：该基准测试评估模型解读包含嵌入文本的图像并准确回答相关问题的能力。
• GQA：这项任务通过要求模型理解图像中物体与场景之间的关系，来测试模型的推理能力。
• MMMU（大规模多学科多模态理解）：该基准测试结合视觉和文本理解，衡量模型在广泛学科和形式上的表现。
• SEED-Bench：这项基准测试考察模型在多个领域中的视觉理解和推理综合能力。

在这些基准测试中，FastVLM 以更少的资源取得了具有竞争力的结果。它将实用的视觉 AI 带到了手机、平板电脑和笔记本电脑等日常设备上。

FastVLM 高效的视觉编码器：FastViTHD#

接下来，我们来仔细了解 FastViTHD——这款视觉编码器在 FastVLM 的图像处理性能中发挥着关键作用。

大多数视觉语言模型会将图像拆分成数千个称为 token 的小图块。token 越多，模型理解图像所需的时间和功耗就越多。这会拖慢处理速度，尤其是在手机或笔记本电脑上。

图 3. 视觉编码器如何处理图像。(来源)

FastViTHD 通过减少 token 数量，同时仍能理解完整图像，避免了处理过多 token 导致的速度下降。它结合了两种方法：Transformer 擅长建模模式和关系，卷积层则能高效处理视觉数据。最终得到的系统运行速度更快，且占用的内存更少。

据 Apple 称，FastViTHD 的体积比某些传统视觉编码器小至多 3.4 倍，同时仍能保持较高的准确率。它并不依赖 token 剪枝等模型优化技术（移除不太重要的图像块以加快处理速度），而是通过更简单、更精简的架构实现高效运行。

FastVLM 的模型变体和训练流程#

Apple 发布了三种不同规模的 FastVLM：0.5B、1.5B 和 7B 参数（其中“B”代表十亿，指模型中可训练权重的数量）。每个版本都针对不同类型的设备设计。较小的模型可以在手机和平板电脑上运行，而较大的 7B 模型则更适合台式电脑或要求更高的任务。

这让开发者可以灵活选择最适合自己应用的方案。他们可以为移动设备构建快速轻量的应用，也可以为更大型的系统开发更复杂的应用，同时使用相同的底层模型架构。

Apple 使用 LLaVA‑1.5 流程训练了 FastVLM 的不同模型变体。该流程是一种用于对齐视觉模型和语言模型的框架。对于语言组件，他们使用现有的开源模型评估 FastVLM，例如 Qwen 和 Vicuna，这些模型以生成自然、连贯的文本而闻名。这样的配置使 FastVLM 能够处理简单和复杂的图像，并生成清晰、相关的回答。

FastVLM 的意义：Apple 对高效 AI 的诠释#

你可能会想，FastVLM 高效的图像处理为何重要？关键在于应用可以如何流畅地实时运行，而不必依赖云端。FastVLM 能处理最高 1152 × 1152 像素的高分辨率图像，同时保持足够快、足够轻量，可以直接在你的设备上运行。

这意味着应用可以描述摄像头拍到的内容、在拍摄收据时扫描收据，或对屏幕上的变化作出响应，同时所有数据都保留在本地。这对教育、无障碍、生产力和摄影等领域尤其有帮助。

FastViTHD 处理大图像时也很高效，因此有助于让设备保持灵敏且不易发热。它适用于所有模型规模，包括可在入门级 iPhone 上运行的最小版本。这意味着相同的 AI 功能可以在手机、平板电脑和 Mac 上运行。

FastVLM 的应用#

凭借速度快、效率高以及设备端隐私保护等主要优势，FastVLM 可以支持广泛的应用。以下是一些使用场景：

• 读取文档：它可以扫描收据、表格或身份证，并提取其中相关的信息。它能够聚焦图像中的特定区域，这对需要快速、准确文本提取的应用很有帮助。
• 图像说明：通过分析照片，它可以清晰描述图像中的内容。这能够为相机应用、照片图库或任何受益于实时视觉理解的工具提供功能支持。
• 无障碍支持：FastVLM 可以为盲人或低视力用户描述屏幕内容，让按钮、菜单和布局元素更容易浏览和使用。
• 设备端 AI 助手：FastVLM 能很好地配合需要快速理解屏幕内容的 AI 助手。由于它直接在设备上运行并保护数据隐私，因此可以帮助完成读取文本、识别按钮或图标以及实时引导用户等任务，而无需将信息发送到云端。

图 4. FastVLM 可用于文本识别和视觉问答。(来源)

要点#

FastVLM 将设备端视觉语言 AI 带到了 Apple 设备上，兼具速度、隐私保护和效率。凭借轻量化设计和开源发布，它让移动端和桌面端应用能够实时理解图像。

这有助于让 AI 在日常使用中更加实用、易于获取，并为开发者构建实用且注重隐私的应用提供坚实基础。展望未来，视觉语言模型很可能会在我们与技术互动的方式中发挥重要作用，让 AI 在日常场景中响应更迅速、更能理解上下文，也更有帮助。

访问我们的 GitHub 代码库，进一步了解 AI。加入活跃的社区，探索汽车行业中的 AI和制造业中的视觉 AI等领域的创新。要立即开始使用计算机视觉，请查看我们的许可选项。