对比学习

对比学习是一种机器学习技术，可以训练模型来区分相似和不相似的事物。模型不是通过学习从单个数据点预测标签，而是通过比较成对的示例来学习。其核心思想是教会模型在特征空间中拉近相似（正向）配对的表征，同时将不相似（负向）配对的表征推远。这种方法对于从大型无标记数据集中学习有意义的表征非常有效，是自监督学习这一更广泛类别中的一种强大方法。

它是如何工作的？

对比学习的过程围绕着创建正样本和负样本展开。对于一个给定的数据点（称为 "锚点"），模型的训练过程如下：

1. 正对：正对由锚点和与其语义相似的数据点组成。在计算机视觉 (CV) 中，通常会对锚点图像应用强数据增强（如随机裁剪、旋转或颜色抖动）来创建正样本。锚点和增强版本都被视为一对正样本，因为它们来自同一源图像。
2. 负对：负对由锚点和不相似的数据点组成。在典型的设置中，训练批次中的所有其他图像都被视为负样本。
3. 训练目标：模型（通常是卷积神经网络 (CNN)）处理这些线对，并使用对比损失函数（如 InfoNCE 或三重损失函数）进行优化。这种损失函数会在嵌入空间中负对太近或正对太远时对模型进行惩罚。SimCLR和MoCo等里程碑式的研究论文极大地推动了这些技术的发展。

实际应用

对比学习擅长预训练模型，以学习强大的特征表征，然后针对特定任务进行微调。

• 视觉搜索和图像检索：在电子商务中，用户可能希望找到与自己上传的图片视觉相似的产品。预先经过对比学习训练的模型可以将图像映射到一个向量空间，在这个空间中，相似的商品被聚类在一起。这样就可以实现高效的语义搜索和推荐系统，这对于改善零售业人工智能的客户体验至关重要。
• 下游任务的预训练：Ultralytics YOLO11等模型可受益于使用对比方法在大型无标记数据集上进行的预训练。这有助于模型学习稳健的视觉特征，然后再在较小的标注数据集上进行微调，以完成对象检测或实例分割等任务。这种方法通常能带来更好的性能和更快的收敛速度，尤其是在标注数据稀缺的情况下，这就是所谓的 "少量学习 "概念。

对比学习与其他范式的比较

将对比学习与相关范式区分开来很有帮助：

• 监督学习：完全依赖于精心标注的数据，例如用于物体检测任务的带有边界框的图像。相比之下，对比学习能从数据本身生成自己的监督信号，大大减少了人工标注数据的需要。
• 无监督学习：这是一个宽泛的类别，旨在发现未标记数据中隐藏的模式。虽然对比学习与传统的无监督方法（如k-means 聚类）一样使用无标记数据，但它与众不同的地方在于，它创建了一个类似监督的目标（比较配对的前置任务）来指导学习过程。
• 自我监督学习（SSL）：对比学习是自监督学习的一种突出类型。SSL 是一种从数据本身生成监督的模式。对比学习是实现这一目标的方法之一，但也存在其他非对比的 SSL 方法，例如基于预测图像屏蔽部分的方法。

优势与挑战

好处

• 减少标签依赖性：利用大量无标签数据，减少了昂贵而耗时的数据标注需求。
• 鲁棒性表征：与纯粹的监督式方法相比，它通常能学习不受干扰变化影响的特征。
• 有效的预训练：为特定下游任务的微调提供了绝佳的起点，往往能带来更好的性能，尤其是在标注数据有限的情况下。您可以探索如何将预训练模型用于训练自定义模型。

挑战：

• 阴性样本的选择：性能对阴性样本的数量和质量非常敏感。选择翔实的阴性样本至关重要，但也极具挑战性。
• 增强策略：数据扩增技术的选择在很大程度上影响着模型学习的不变量。
• 计算成本：通常需要较大的批量规模和大量的计算资源（GPU）才能进行有效的训练，不过目前正在研究如何降低这种成本。Ultralytics HUB等平台有助于管理和训练这些模型。PyTorch（官方网站）和TensorFlow（官方网站）等框架为实施对比学习方法提供了工具。