Linear Probing

了解线性探查如何通过逻辑回归、特征提取以及用于迁移学习的 Ultralytics YOLO26 嵌入来评估冻结的 AI 表示。

线性探测是一种评估和适配技术，它通过在冻结的特征之上训练一个简单的线性预测器，来衡量模型学到的表征的有用性。预训练编码器保持不变，而只有线性层（分类时通常为逻辑回归）拟合到标记数据。出色的探测性能表明，编码器的 embeddings 已经组织好了相关概念，从而可以使用简单的决策边界将它们分离。

在 machine learning 中，该术语与哈希表中的线性探测无关，在哈希表中，碰撞后会检查相邻的存储位置。在 AI 和深度学习中，它具体指使用线性模型探测表征。

线性探测的工作原理#

典型的神经网络包含一个编码器或 backbone，它将原始输入转换为特征向量，后面跟一个特定于任务的预测头。线性探测遵循四个步骤：

预训练或加载编码器。
冻结其参数，以便训练无法更新它们。
对带标签的样本执行 feature extraction。
使用这些固定特征训练线性分类器。

对于多类分类，探测通常是带有 softmax 输出的单个密集层或 scikit-learn logistic regression classifier。尽管逻辑回归包含非线性概率变换，但其类别得分和决策边界是输入特征的线性函数。

线性探测在 self-supervised learning 中尤为常见，其中编码器从无标签数据中进行学习。Keras NNCLR example 通过在冻结的编码器特征之上训练密集分类器展示了这一点。由于探测的容量有限，它无法轻易通过学习复杂的非线性变换来弥补弱表征。

线性探测性能揭示了什么#

线性探测测试信息在表征中是否既存在又易于访问。如果猫和狗的图像在 embedding 空间中形成可分离的群组，则线性分类器可以用很少的可训练参数区分它们。如果信息是通过更复杂的排列编码的，那么即使线性探测表现不佳，非线性分类器也可能会成功。

因此，探测准确率应被视为一种诊断指标，而不是对模型质量的完整度量。它可能会受到以下因素的影响：

所选的编码器层和 embedding 维度。
输入分辨率和预处理。
带标签训练数据的数量和平衡性。
应用于线性模型的正则化。
训练集和评估集之间的数据泄漏。

使用保留的 validation dataset，最好使用可重复的、分层的程序（例如 scikit-learn 的 train-test splitting utility）创建。除了准确率之外，classification metrics report 还可以暴露出表征无法一致分离的类别。

线性探测与相关方法#

线性探测属于更广泛的迁移和表征评估方法系列，但有几个区别非常重要：

线性探测与 fine-tuning： 探测仅更新线性头。微调会更新部分或全部编码器权重，从而为模型提供更大的灵活性，但需要额外的计算并增加 overfitting 的风险。TensorFlow transfer learning guide 描述了在可选解冻以进行微调之前冻结基础模型的过程。
线性探测与特征提取： 特征提取生成 embeddings；线性探测在这些 embeddings 上训练和评估预测器。
线性探测与线性回归： 线性回归预测连续值。分类探测通常使用逻辑回归或 softmax 层预测离散类别。
线性探测与最近邻评估： 线性探测学习类别边界。最近邻方法根据附近的存储 embeddings 对样本进行分类，而不学习这些边界。PyTorch transfer learning tutorial 将密切相关的冻结编码器工作流称为固定特征提取器。

使用 Ultralytics YOLO 进行线性探测#

预训练的 Ultralytics YOLO26 classification model 可以通过文档化的 model.embed() API 生成图像 embeddings。下面的示例通过预计算特征隐式冻结编码器，然后拟合线性探测以区分 CIFAR-10 的猫和狗：

import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score
from sklearn.model_selection import train_test_split
from torchvision.datasets import CIFAR10
from ultralytics import YOLO

dataset = CIFAR10(root="data", train=False, download=True)
samples = [(image, label) for image, label in dataset if label in (3, 5)][:400]
images, labels = zip(*samples, strict=True)

encoder = YOLO("yolo26n-cls.pt")
embeddings = encoder.embed(list(images), verbose=False)
features = np.stack([embedding.cpu().numpy() for embedding in embeddings])

x_train, x_test, y_train, y_test = train_test_split(features, labels, test_size=0.25, random_state=42, stratify=labels)
probe = LogisticRegression(max_iter=1000)
probe.fit(x_train, y_train)

predictions = probe.predict(x_test)
print(accuracy_score(y_test, predictions))

只有逻辑回归模型从猫和狗的标签中学习；YOLO26 编码器权重保持固定。这隔离了其视觉表征的有用性，而不是衡量其通过端到端训练进行适应的能力。

实际应用与实用指导#

评估无标签预训练： 机器人团队可以在大量无标签的仓库视频上预训练编码器，然后使用包含叉车、工人和托盘的小型带标签数据集探测其特征。高探测准确率表明该表征可能支持具有有限注释的下游 image classification 或检测。
比较域适应性： 医学成像团队可以冻结几个候选编码器，并为组织类别训练相同的线性探测。如果一个编码器在相同的分割和预处理下表现明显更好，则其表征是稍后微调的更强起点。

为了进行公平比较，请保持数据集分割、特征层、预处理、分类器和优化设置不变。尽可能评估线性探测和完全微调：探测测量固定特征中的可访问信息，而微调测量完整模型适应的有效性。