Self-Supervised Learning

自监督学习（SSL）是一种机器学习范式，系统通过从数据本身生成自己的监督信号来理解数据，而不是依赖外部人工提供的标签。在传统的 Supervised Learning 中，模型需要海量手动标注的数据——例如标记为“猫”或“狗”的图像——这通常成本高昂且耗时。SSL 通过创建“代理任务”绕过了这一瓶颈，在这些任务中，模型必须预测输入数据的隐藏或丢失部分，从而有效地教导自己掌握执行诸如 object detection 和分类等复杂任务所需的底层结构与特征。

自监督学习的核心机制#

SSL 背后的核心思想是掩码或隐藏部分数据，并强迫 neural network (NN) 对其进行重建，或者预测同一数据的不同视图之间的关系。这个过程会产生丰富且通用的表示，可用于后续针对特定下游应用的微调。

SSL 中主要有两种方法：

• 生成方法： 模型学习生成像素或单词来填补空白。Natural Language Processing (NLP) 中的一个经典例子是预测句子中的下一个词。在计算机视觉中，诸如 Masked Autoencoders (MAE) 等技术会遮挡图像的随机块，并让模型承担重建丢失像素的任务，从而迫使其“理解”视觉上下文。
• 对比学习： 该方法教导模型区分相似与不相似的数据点。通过对图像应用 data augmentation 技术（例如裁剪、颜色抖动或旋转），模型学会识别这些修改后的版本代表同一个对象（正样本对），同时将其他图像视为不同的对象（负样本对）。诸如 SimCLR 等热门框架严重依赖这一原理。

实际应用#

自监督学习已经成为跨多个领域构建强大 foundation models 的基石。它利用海量未标注数据的能力使其具备极高的可扩展性。

• 医学影像： 获取专家标注的医疗扫描件既困难又昂贵。SSL 允许模型在成千上万张未标注的 X 光片或 MRI 扫描件上进行预训练，以学习通用的解剖学特征。然后，这个预训练模型可以使用少量标注样本进行微调，从而在 tumor detection 或疾病诊断中获得高准确率。
• 自动驾驶： 自动驾驶汽车每天产生 TB 级（terabytes）的视频数据。SSL 使这些系统能够从原始视频素材中学习时间动态和空间理解，而无需逐帧标注。这有助于通过预测未来的帧或物体运动来改进 lane detection 和障碍物避让。

区分 SSL 与相关术语#

区分 SSL 与 Unsupervised Learning 非常重要。虽然这两种方法都使用未标注数据，但无监督学习通常专注于在没有特定预测任务的情况下寻找隐藏的模式或分组（聚类）。相反，SSL 将学习过程构建为一个监督任务，其中的标签是根据数据结构本身自动生成的。此外，Semi-Supervised Learning 将少量标注数据与大量未标注数据结合起来，而纯 SSL 在任何微调发生之前，完全从无标注数据集中自行创建标签。

在 Ultralytics 中利用预训练权重#

在 Ultralytics 生态系统中，像 YOLO26 这样的模型在诸如 ImageNet 或 COCO 等海量数据集上进行预训练阶段时，能够从通常结合了类似 SSL 原理的高级训练策略中获得显著收益。这确保了用户在部署模型执行特定任务时，特征提取器已经足够强大。

用户可以利用这些强大的预训练表示，使用 Ultralytics Platform 在他们自己的自定义数据集上微调模型。

以下是一个简洁的示例，展示了如何加载预训练的 YOLO26 模型并开始在新数据集上进行微调，同时利用在初始大规模训练中学到的特征：

from ultralytics import YOLO

# Load a pre-trained YOLO26 model (weights learned from large-scale data)
model = YOLO("yolo26n.pt")

# Fine-tune the model on a specific dataset (e.g., COCO8)
# This leverages the robust feature representations learned during pre-training
results = model.train(data="coco8.yaml", epochs=50, imgsz=640)

SSL 的未来#

随着像 Meta AI 和 Google DeepMind 等顶级实验室的研究人员不断完善这些技术，SSL 正在突破 Generative AI 和计算机视觉领域的可能性边界。通过减少对标注数据的依赖，SSL 正在使高性能 AI 的使用变得平民化，从而让小型团队能够为诸如 wildlife conservation 或 industrial inspection 等小众应用构建复杂的模型。