Large Vision Models (LVM)
大型视觉模型是拥有数亿至数十亿个参数的视觉网络,经过海量图像集预训练,可用于多种任务。
大型视觉模型 (LVM) 是一种用于图像和视频的神经网络,拥有数亿到数十亿个参数,并在数百万到数十亿张图像上预训练,使一个模型能够处理多种视觉任务。它是大型语言模型在视觉领域的对应形式,也是一类基础模型:预训练主要采用自监督或弱监督方式,训练得到的模型只需少量或无需标注数据,就能适配分类、检测、分割、深度估计或检索任务。大多数 LVM 都是视觉 Transformer,其准确率会随着模型规模和数据量增大而持续提升,遵循与语言模型相同的缩放定律。知名示例包括 Google 的 ViT-22B(220 亿参数)、Meta 的 DINOv2 和 DINOv3,以及 Meta 的 Segment Anything Model。
大型视觉模型的训练方式#
标注数据无法扩展到数十亿张图像的规模,因此 LVM 主要从图像本身或配对较松散的文本中学习。Meta 于 2023 年发布的 DINOv2 使用自蒸馏,让学生网络在同一图像的不同裁剪图上匹配教师模型的输出;其最大模型有 11 亿参数,在 1.42 亿张经过整理的图像上训练。2025 年,DINOv3 将这一方案扩展到 70 亿参数和 17 亿张图像。掩码自编码器通过遮住图像的大部分图像块并训练模型重建这些图像块,以另一种方式实现自监督学习。图像-文本对比学习(如 CLIP 和 SigLIP)会训练图像编码器匹配图像说明,并生成可供许多多模态模型复用的视觉主干网络。Meta 的 Segment Anything Model 则基于 SA-1B 数据集学习可提示分割;该数据集包含 1,100 万张图像上的 11 亿个掩码。
Bai 等人提出的 LVM于 2023 年在加州大学伯克利分校和约翰斯·霍普金斯大学开发,是最贴合这一术语字面含义的模型:它将图像、视频帧以及分割掩码等标注转换为离散的“视觉句子”词元,并使用下一个词元预测在这些句子中的 4,200 亿个词元上训练,全程不使用任何文本。测试时,它通过视觉提示解决任务:给定几组输入图像与输出图像示例,它会继续生成序列,为新图像输出结果。
将 LVM 适配到具体任务#
预训练 LVM 很少直接使用。没有标注数据时,模型可以通过自身提示实现零样本使用,例如 SAM 的点击提示;也可以使用图像嵌入进行检索和去重比较。有一些标注数据时,可以通过线性探测在冻结的特征上训练一个小型头部;DINOv2 和 DINOv3 的特征通常就以这种方式用于深度估计和分割评估。也可以通过微调更新主干网络本身。如果目标设备是手机、摄像机或机器人,LVM 则可以用于标注数据,或通过知识蒸馏指导紧凑型模型。
Ultralytics auto_annotate 函数采用了最后一种方案:它将 YOLO26 检测器与 Meta 的 SAM 配对,把检测框转换为分割标签,用于训练更小的分割模型。SAM-b 有 9,370 万个参数,而 YOLO26n-seg 有 270 万个,少了约 35 倍。Ultralytics Platform 将同样的思路应用于检测数据集:类提示式视觉模型为图像添加标签,之后 YOLO26 模型会在这些图像上训练。
LVM、VLM 与专用任务模型#
视觉语言模型将视觉编码器(通常是 LVM)与语言模型相连接,使其能够用文本回答有关图像的问题;LVM 本身则输出特征、掩码或图像。针对具体任务的模型(如目标检测网络)只针对单一任务和固定类别集进行训练,因此规模小、速度快,适合在边缘 AI设备上进行实时推理。大型视觉模型则牺牲这种效率,换取更广泛的能力:一个保持冻结的 DINOv3 主干网络曾用于分类、检测、分割、深度估计和 3D 对应关系评估;Meta 还使用卫星图像训练了一个版本,用于树冠高度制图等卫星图像分析任务。










