自监督学习

自我监督学习（SSL）是计算机科学领域的一种变革性方法。 人工智能（AI） 自监督学习（SSL）是人工智能（AI）领域的一种变革性方法，它能让系统从无标记数据中学习，而无需明确的人工标注。与传统的 监督学习在很大程度上依赖于大量人工标注示例的数据集，而 SSL 则直接从数据本身获取监督信号。 直接来自数据本身。通过创建和解决 "借口任务"--如填补句子中缺失的单词或预测图像的旋转。 通过创建和解决 "前置任务"--例如填补句子中缺失的单词或预测图像的旋转--模型就能学会理解输入数据的潜在结构、上下文和特征。 输入的特征。这种能力对于开发强大的 基础模型可 这种能力对于开发强大的基础模型至关重要，只需少量额外培训即可适应各种下游任务。

自监督学习的工作原理

SSL 的核心机制是移除部分可用数据，并将任务交给 神经网络（NN）负责 重建数据。这一过程迫使模型学习高质量的表征，即 嵌入以捕捉语义。用于研究和工业领域的借口任务主要有两类：

• 生成方法：模型修复损坏或掩盖的数据。例如 自然语言处理 (NLP)中，BERT 等模型会屏蔽特定的单词，并尝试根据周围的上下文来预测这些单词。在视觉领域、 等技术 屏蔽自动编码器（MAE）从图像中移除 从图像中移除斑块，并重建缺失的像素。
• 对比学习：这种方法教模型区分相似和不相似的 数据点。类似的算法有 SimCLR应用 数据增强(裁剪、 对图像进行数据增强（裁剪、颜色抖动），并训练网络识别这些修改后的版本是否代表同一物体，同时将不同图像的代表推离网络。 对象，同时推掉不同图像的表示。

实际应用

自我监督学习通过释放未经整理的海量数据集的价值，为各行各业带来了革命性的变化。以下是 其影响的两个具体实例：

1. 医学图像分析： 获取标注医疗数据的成本很高，而且需要放射科专家。SSL 允许对模型进行预训练 成千上万张未标记的 X 光片或核磁共振扫描图像进行预训练，以学习一般的解剖特征。这种预训练大大 当随后针对特定任务（如："......"）在小型标注数据集上对模型进行微调时，这种预训练可大大提高性能。 肿瘤检测从而在有限的监督下提高诊断准确性。
2. 自动驾驶汽车： 自动驾驶汽车每天产生数 TB 的视频数据。给每一帧都贴标签是不可能的。SSL 使这些 系统学习时间动态和 深度估计从原始视频 预测未来帧或评估对象随时间变化的一致性。这有助于改进 物体跟踪和 环境理解。

将 SSL 与相关概念区分开来

要充分理解 SSL，最好将其与类似的学习范式区分开来：

• Vs.无监督学习：两者都利用未标记的数据、 无监督学习 通常侧重于寻找隐藏的模式，如客户聚类或降维。无监督学习 的具体目标是学习可迁移到其他任务的表征，其有效行为类似于 有监督学习，但标签是自己生成的。
• Vs.半监督学习 半监督学习 半监督学习是在同一训练阶段将少量标记数据与大量未标记数据相结合。相比之下 相比之下，半监督学习通常被用作纯粹对无标记数据进行 "预训练 "的步骤，然后再对无标记数据进行 "半监督学习"。 微调微调。

利用预训练模型

在实践中，大多数开发人员都是通过利用 模型权重模型权重 模型权重。例如 Ultralytics YOLO11架构得益于 通过大量训练磨练出的深度特征提取能力。虽然YOLO 是有监督的，但迁移学习的概念 迁移学习的概念--将理解视觉特征的模型应用于新任务--是 SSL 研究的主要 是 SSL 研究的主要下游优势。

下面的Python 示例演示了如何加载预训练模型并在特定数据集上对其进行微调。这个 工作流程依赖于在初始预训练阶段学习到的特征表征。

from ultralytics import YOLO

# Load a pre-trained YOLO11 model (weights act as the learned representation)
model = YOLO("yolo11n.pt")

# Fine-tune the model on a specific task, leveraging its existing visual knowledge
# This transfer learning process is highly efficient due to robust pre-training
results = model.train(data="coco8.yaml", epochs=5, imgsz=640)

# Perform inference to verify the model detects objects correctly
model.predict("https://ultralytics.com/images/bus.jpg", save=True)

自我监督学习的未来

随着研究人员努力使模型的学习方式更像人类--通过观察而不是死记硬背--SSL 仍处于创新的前沿。主要的研究实验室，包括 Google DeepMind和 元人工智能谷歌的 DeepMind 和 Meta AI 不断取得突破性进展，减少了对标记数据的依赖。在Ultralytics，我们正在将这些进步 在 Ultralytics，我们正在将这些进步融入我们的研发中，以 YOLO26的研发中，旨在提供更快、更小、更准确的模型，这些模型可以有效地在不同的 计算机视觉 (CV)任务。 工具，如 PyTorch和即将推出的Ultralytics Platform 等工具 等工具使得在现实世界的生产环境中部署这些先进功能变得前所未有的简单。