Self-Supervised Learning

自监督学习 (SSL) 是一种机器学习范式，在这种范式中，系统通过从数据本身生成监督信号来学习理解数据，而不是依赖外部人工提供的标签。在传统的 监督学习 中，模型需要海量的人工标注数据（例如标记为“猫”或“狗”的图像），而这通常既昂贵又费时。SSL 通过创建“预设任务”（pretext tasks）绕过了这一瓶颈，在这些任务中，模型必须预测输入数据中隐藏或缺失的部分，从而有效地让自身学习到执行复杂任务（如 目标检测 和分类）所需的底层结构和特征。

Link to this section自监督学习的核心机制#

SSL 背后的基本思想是遮盖或隐藏部分数据，并强迫 神经网络 (NN) 对其进行重建，或预测同一数据的不同视图之间的关系。这一过程创建了丰富、通用的特征表示，随后可以针对特定的下游应用进行微调。

SSL 中主要有两种方法：

• 生成式方法： 模型学习生成像素或单词来填补空白。自然语言处理 (NLP) 中的一个经典例子是预测句子中的下一个单词。在计算机视觉中，诸如 掩码自编码器 (MAE) 之类的技术会遮挡图像的随机块，并要求模型重建丢失的像素，从而迫使模型“理解”视觉上下文。
• 对比学习： 这种方法教会模型区分相似和不相似的数据点。通过对图像应用 数据增强 技术（如裁剪、色彩抖动或旋转），模型会了解到这些修改后的版本代表同一个对象（正样本对），同时将其他图像视为不同的对象（负样本对）。像 SimCLR 这样流行的框架在很大程度上依赖于这一原则。

Link to this section实际应用#

自监督学习已成为在各个领域构建强大 基础模型 的基石。它利用海量无标注数据的能力使其具备极高的可扩展性。

• 医学影像： 获取由专家标注的医学扫描图像既困难又昂贵。SSL 允许模型在数千张未标注的 X 光片或 MRI 扫描图像上进行预训练，以学习通用的解剖特征。随后，这个预训练模型可以使用少量的标注示例进行微调，从而在 肿瘤检测 或疾病诊断方面实现高精度。
• 自动驾驶： 自动驾驶汽车每天会产生数 TB 的视频数据。SSL 使这些系统无需逐帧标注即可从原始视频片段中学习时间动态和空间理解。通过预测未来帧或物体运动，这有助于改善 车道检测 和障碍物避让能力。

Link to this section区分 SSL 与相关术语#

将 SSL 与 无监督学习 区分开来非常重要。虽然这两种方法都利用了无标注数据，但无监督学习通常侧重于发现隐藏模式或分组（聚类），而没有特定的预测任务。相反，SSL 将学习过程构建为一个监督任务，其中的标签是根据数据结构自动生成的。此外，半监督学习 结合了少量标注数据和大量无标注数据，而纯 SSL 在进行任何微调之前，完全从无标注数据集中自行创建标签。

Link to this section在 Ultralytics 中利用预训练权重#

在 Ultralytics 生态系统中，像 YOLO26 这样的模型，通过在 ImageNet 或 COCO 等海量数据集上预训练期间经常结合类似 SSL 的原则的高级训练策略，获得了显著收益。这确保了当你在特定任务中部署模型时，特征提取器已经非常稳健。

你可以利用这些强大的预训练特征表示，通过 Ultralytics Platform 在你自己的自定义数据集上对模型进行微调。

以下是一个简洁的示例，展示了如何加载预训练的 YOLO26 模型并开始在新数据集上进行微调，同时利用在初始大规模训练中学到的特征：

from ultralytics import YOLO

# Load a pre-trained YOLO26 model (weights learned from large-scale data)
model = YOLO("yolo26n.pt")

# Fine-tune the model on a specific dataset (e.g., COCO8)
# This leverages the robust feature representations learned during pre-training
results = model.train(data="coco8.yaml", epochs=50, imgsz=640)

Link to this sectionSSL 的未来#

随着 Meta AI 和 Google DeepMind 等主要实验室的研究人员不断改进这些技术，SSL 正在突破 生成式 AI 和计算机视觉的可能性边界。通过减少对标注数据的依赖，SSL 正在使高性能 AI 的获取变得更加民主化，从而让小型团队也能为 野生动物保护 或 工业检测 等利基应用构建复杂的模型。