获取 YOLO 许可
返回 Ultralytics 术语表

Large Vision Models (LVM)

大型视觉模型是拥有数亿至数十亿个参数的视觉网络,经过海量图像集预训练,可用于多种任务。

大型视觉模型 (LVM) 是一种用于图像和视频的神经网络,拥有数亿到数十亿个参数,并在数百万到数十亿张图像上预训练,使一个模型能够处理多种视觉任务。它是大型语言模型在视觉领域的对应形式,也是一类基础模型:预训练主要采用自监督或弱监督方式,训练得到的模型只需少量或无需标注数据,就能适配分类、检测、分割、深度估计或检索任务。大多数 LVM 都是视觉 Transformer,其准确率会随着模型规模和数据量增大而持续提升,遵循与语言模型相同的缩放定律。知名示例包括 Google 的 ViT-22B(220 亿参数)、Meta 的 DINOv2 和 DINOv3,以及 Meta 的 Segment Anything Model。

大型视觉模型的训练方式#

标注数据无法扩展到数十亿张图像的规模,因此 LVM 主要从图像本身或配对较松散的文本中学习。Meta 于 2023 年发布的 DINOv2 使用自蒸馏,让学生网络在同一图像的不同裁剪图上匹配教师模型的输出;其最大模型有 11 亿参数,在 1.42 亿张经过整理的图像上训练。2025 年,DINOv3 将这一方案扩展到 70 亿参数和 17 亿张图像。掩码自编码器通过遮住图像的大部分图像块并训练模型重建这些图像块,以另一种方式实现自监督学习。图像-文本对比学习(如 CLIP 和 SigLIP)会训练图像编码器匹配图像说明,并生成可供许多多模态模型复用的视觉主干网络。Meta 的 Segment Anything Model 则基于 SA-1B 数据集学习可提示分割;该数据集包含 1,100 万张图像上的 11 亿个掩码。

Bai 等人提出的 LVM于 2023 年在加州大学伯克利分校和约翰斯·霍普金斯大学开发,是最贴合这一术语字面含义的模型:它将图像、视频帧以及分割掩码等标注转换为离散的“视觉句子”词元,并使用下一个词元预测在这些句子中的 4,200 亿个词元上训练,全程不使用任何文本。测试时,它通过视觉提示解决任务:给定几组输入图像与输出图像示例,它会继续生成序列,为新图像输出结果。

将 LVM 适配到具体任务#

预训练 LVM 很少直接使用。没有标注数据时,模型可以通过自身提示实现零样本使用,例如 SAM 的点击提示;也可以使用图像嵌入进行检索和去重比较。有一些标注数据时,可以通过线性探测在冻结的特征上训练一个小型头部;DINOv2 和 DINOv3 的特征通常就以这种方式用于深度估计和分割评估。也可以通过微调更新主干网络本身。如果目标设备是手机、摄像机或机器人,LVM 则可以用于标注数据,或通过知识蒸馏指导紧凑型模型。

Ultralytics auto_annotate 函数采用了最后一种方案:它将 YOLO26 检测器与 Meta 的 SAM 配对,把检测框转换为分割标签,用于训练更小的分割模型。SAM-b 有 9,370 万个参数,而 YOLO26n-seg 有 270 万个,少了约 35 倍。Ultralytics Platform 将同样的思路应用于检测数据集:类提示式视觉模型为图像添加标签,之后 YOLO26 模型会在这些图像上训练。

LVM、VLM 与专用任务模型#

视觉语言模型将视觉编码器(通常是 LVM)与语言模型相连接,使其能够用文本回答有关图像的问题;LVM 本身则输出特征、掩码或图像。针对具体任务的模型(如目标检测网络)只针对单一任务和固定类别集进行训练,因此规模小、速度快,适合在边缘 AI设备上进行实时推理。大型视觉模型则牺牲这种效率,换取更广泛的能力:一个保持冻结的 DINOv3 主干网络曾用于分类、检测、分割、深度估计和 3D 对应关系评估;Meta 还使用卫星图像训练了一个版本,用于树冠高度制图等卫星图像分析任务。

探索解决方案

体育领域的计算机视觉

体育领域的计算机视觉

了解 Ultralytics YOLO 如何通过球员和球追踪、表现分析、教练洞察及运动员康复,推动体育视觉技术的发展。
了解详情
航空影像计算机视觉

航空影像计算机视觉

使用 Ultralytics YOLO 将无人机和航空影像转化为农业、水产养殖、保护工作和地理空间分析的实时洞察。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 将计算机视觉应用于航空航天领域,包括飞机检查、跑道 FOD 检测、机场地面作业和复合材料缺陷检测。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情

让我们携手构建 AI 的未来!

开启你的旅程,迎接机器学习的未来