Foundation Model

基础模型是一种利用海量且覆盖范围广的数据训练的大型机器学习模型，可适配各种下游任务。斯坦福大学的研究人员在 2021 年的报告《基础模型的机遇与风险》中提出了这一术语，并选择“基础”一词来描述这类模型：它们是许多应用的核心，但单独来看并不完整。早期模型通常针对单个标注数据集上的一项任务进行训练。基础模型通过一次成本高昂的预训练学习通用模式，之后成为聊天机器人、搜索、翻译、图像分类、分割及许多其他应用的起点；开发这些应用的团队自身从未训练过这类模型。GPT、Claude、Gemini 和 Llama 等大型语言模型 (LLMs)都是基础模型；CLIP、DINOv3 和 Meta 的分割一切模型 (SAM) 等视觉模型也都是基础模型。

基础模型的工作原理#

预训练使用无需人工标签的目标，因此训练集可以扩展到数万亿个文本词语或数十亿张图像。语言模型通过预测下一个词元进行学习；视觉编码器通过掩码图像建模和自蒸馏等自监督学习方法学习；视觉语言模型则通过对图像—标题对进行对比学习。几乎所有基础模型都采用Transformer架构，其性能会随着参数、数据和计算量的增加而可预测地提升，正如缩放定律所述。

预训练后，同一个模型可以通过多种方式适配各项任务。提示会通过指令或示例引导模型，不需要训练；微调或参数高效微调（PEFT）会使用任务数据更新模型权重；在冻结的嵌入上训练一个小型头部，则可将模型转换为分类器或检索器：

报告强调了这种模式带来的两个后果。涌现意味着某些能力会随着规模扩大而出现，却并未经过专门训练，例如 GPT-3通过提示中的少量示例学会执行新任务。均质化意味着许多应用如今建立在少数几种模型之上，因此模型的错误和偏见会传递到所有基于它改造的应用中。监管机构现在直接对此类模型进行监管：欧盟《人工智能法案》将它们称为通用人工智能模型，自 2025 年 8 月 2 日起，其提供商便开始承担相关义务。

计算机视觉中的基础模型#

视觉基础模型使用的数据规模远大于、范围也广于特定任务检测器。CLIP 从 4 亿个图像—标题对中学习，并能将图像分类到仅以文本命名的类别中，这是视觉领域零样本学习的基础。Meta 的 DINOv3由一个包含 70 亿参数、使用 17 亿张无标签图像训练的模型生成冻结特征，用于深度估计、分割和卫星地图绘制。SAM的作者将其描述为图像分割基础模型；它使用包含 1,100 万张图像和 11 亿个掩码的 SA-1B 数据集进行训练，能够分割由点或框指定的任意对象；SAM 3则增加了文本提示，可查找指定概念的每个实例。视觉语言动作模型将这一模式扩展到机器人技术，把摄像头图像和指令映射为机器人动作。

Ultralytics Platform使用这些模型来加速数据标注：在智能标注中，点击一下即可提示 SAM 2.1、SAM 3 或 SAM 3.1 生成目标掩码；在检测数据集中，SAM 3.1 Text和 Grounding DINO等类别提示模型会根据类别名称找出该类别的所有目标。VLM Leaderboard会比较这些类别提示模型和生成式 VLM 自动标注真实世界检测数据集的准确率。Meta 的 SAM 2.1也可以在 Ultralytics Python 包中运行，只需使用框提示，无需针对具体任务训练模型：

from ultralytics import SAM

# Meta 的 SAM 2.1 是一种分割基础模型，可直接使用，无需训练
model = SAM("sam2.1_b.pt")

# 围绕公交车绘制的框提示定义了任务；模型会返回该对象的掩码
results = model("https://ultralytics.com/images/bus.jpg", bboxes=[22, 231, 805, 757])
result = results[0]
result.save(filename="sam_bus_mask.jpg")

基础模型与相关术语的区别#

• 大型语言模型（LLM）：用于文本的基础模型。基础模型还涵盖图像、视频、音频、表格数据和机器人控制。
• 生成式 AI：能够创建文本、图像、音频或视频的系统。许多系统基于基础模型构建，而一些基础模型（例如 DINOv3 和 SAM）会生成特征和掩码，而非新内容。
• 迁移学习：将预训练模型用于新任务的技术。基础模型是为跨多个任务重复使用而构建的预训练模型；而针对单一任务和固定标签集训练的模型（例如包含 80 个类别的 COCO 目标检测器），主要只能迁移到密切相关的任务。
• 前沿 AI 模型：在特定时期能力最强的基础模型。根据《欧盟人工智能法案》，训练计算量超过 10²⁵ 次浮点运算的通用人工智能模型被推定具有系统性风险，并须承担额外义务。