Linear Probing

Linear probing é uma técnica de avaliação e adaptação que mede a utilidade das representações aprendidas por um modelo, treinando um preditor linear simples sobre recursos congelados. O encoder pré-treinado permanece inalterado, enquanto apenas uma camada linear — frequentemente regressão logística para classificação — é ajustada aos dados rotulados. O desempenho forte da prova sugere que os embeddings do encoder já organizam conceitos relevantes para que possam ser separados com limites de decisão simples.

Em machine learning, o termo não tem relação com linear probing em tabelas hash, onde locais de armazenamento vizinhos são verificados após uma colisão. Em IA e deep learning, refere-se especificamente a sondar uma representação com um modelo linear.

Como Funciona o Linear Probing#

Uma rede neural típica contém um encoder ou backbone que transforma entradas brutas em um vetor de características, seguido por um cabeçote de previsão específico para a tarefa. O linear probing segue quatro etapas:

1. Pré-treinar ou carregar um encoder.
2. Congelar seus parâmetros para que o treinamento não possa atualizá-los.
3. Executar a extração de características em exemplos rotulados.
4. Treinar um classificador linear usando essas características fixas.

Para classificação multiclasse, a prova é comumente uma única camada densa com saída softmax ou um classificador de regressão logística scikit-learn. Embora a regressão logística inclua uma transformação de probabilidade não linear, suas pontuações de classe e limites de decisão são funções lineares das características de entrada.

Linear probing é especialmente comum em self-supervised learning, onde um encoder aprende a partir de dados não rotulados. O exemplo do Keras NNCLR demonstra isso treinando um classificador denso sobre as características de um encoder congelado. Como a prova tem capacidade limitada, ela não consegue compensar facilmente representações fracas aprendendo transformações não lineares complexas.

O Que o Desempenho do Linear Probe Revela#

Um linear probe testa se a informação está presente e prontamente acessível em uma representação. Se imagens de gatos e cães formam grupos separáveis no espaço de embedding, um classificador linear pode distingui-los com poucos parâmetros treináveis. Se a informação for codificada por meio de um arranjo mais complicado, um classificador não linear pode ter sucesso mesmo quando o linear probe tiver um desempenho ruim.

A precisão da prova deve, portanto, ser tratada como um diagnóstico em vez de uma medida completa da qualidade do modelo. Ela pode ser afetada por:

• A camada do encoder selecionada e a dimensão do embedding.
• Resolução de entrada e pré-processamento.
• A quantidade e o equilíbrio dos dados de treinamento rotulados.
• Regularização aplicada ao modelo linear.
• Vazamento de dados entre os conjuntos de treinamento e avaliação.

Use um dataset de validação separado, de preferência criado com um procedimento reprodutível e estratificado, como o utilitário de divisão de treino e teste do scikit-learn. Além da precisão, um relatório de métricas de classificação pode expor classes que a representação não separa consistentemente.

Linear Probing vs Métodos Relacionados#

O linear probing pertence à família mais ampla de métodos de transferência e avaliação de representação, mas várias distinções são importantes:

• Linear probing vs fine-tuning: Uma prova atualiza apenas o cabeçote linear. O fine-tuning atualiza alguns ou todos os pesos do encoder, dando ao modelo mais flexibilidade, mas exigindo computação adicional e aumentando o risco de overfitting. O guia de transfer learning do TensorFlow descreve o congelamento de um modelo base antes de opcionalmente descongelá-lo para fine-tuning.
• Linear probing vs extração de características: A extração de características produz os embeddings; o linear probing treina e avalia um preditor nesses embeddings.
• Linear probing vs regressão linear: A regressão linear prevê valores contínuos. Provas de classificação geralmente prevêem classes discretas com regressão logística ou uma camada softmax.
• Linear probing vs avaliação de vizinho mais próximo: Um linear probe aprende limites de classe. Métodos de vizinho mais próximo classificam amostras de acordo com embeddings armazenados próximos, sem aprender esses limites. O tutorial de transfer learning do PyTorch chama o fluxo de trabalho de encoder congelado intimamente relacionado de extrator de características fixas.

Linear Probing com Ultralytics YOLO#

Um modelo de classificação Ultralytics YOLO26 pré-treinado pode gerar embeddings de imagem por meio da API documentada model.embed(). O exemplo a seguir congela o encoder implicitamente pré-computando características, depois ajusta um linear probe para distinguir gatos de cães do CIFAR-10:

import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score
from sklearn.model_selection import train_test_split
from torchvision.datasets import CIFAR10
from ultralytics import YOLO

dataset = CIFAR10(root="data", train=False, download=True)
samples = [(image, label) for image, label in dataset if label in (3, 5)][:400]
images, labels = zip(*samples, strict=True)

encoder = YOLO("yolo26n-cls.pt")
embeddings = encoder.embed(list(images), verbose=False)
features = np.stack([embedding.cpu().numpy() for embedding in embeddings])

x_train, x_test, y_train, y_test = train_test_split(features, labels, test_size=0.25, random_state=42, stratify=labels)
probe = LogisticRegression(max_iter=1000)
probe.fit(x_train, y_train)

predictions = probe.predict(x_test)
print(accuracy_score(y_test, predictions))

Apenas o modelo de regressão logística aprende com os rótulos de gatos e cães; os pesos do encoder do YOLO26 permanecem fixos. Isso isola a utilidade de sua representação visual em vez de medir sua capacidade de adaptação por meio de treinamento de ponta a ponta.

Aplicações do Mundo Real e Orientações Práticas#

• Avaliando o pré-treinamento não rotulado: Uma equipe de robótica pode pré-treinar um encoder em grandes volumes de vídeos de armazém não rotulados, depois sondar suas características usando um pequeno dataset rotulado de empilhadeiras, trabalhadores e paletes. Alta precisão da prova indica que a representação pode suportar classificação de imagens ou detecção a jusante com anotação limitada.

• Comparando a adequação de domínios: Uma equipe de imagem médica pode congelar vários encoders candidatos e treinar linear probes idênticos para categorias de tecidos. Se um encoder tiver um desempenho substancialmente melhor sob a mesma divisão e pré-processamento, sua representação será um ponto de partida mais forte para um fine-tuning posterior.

Para comparações justas, mantenha constantes a divisão do dataset, a camada de características, o pré-processamento, o classificador e as configurações de otimização. Avalie tanto o linear probing quanto o fine-tuning completo quando possível: a prova mede a informação acessível em características fixas, enquanto o fine-tuning mede quão efetivamente o modelo completo pode se adaptar.