Linear Probing

Linear probing은 고정된 피처 위에 간단한 선형 예측기를 학습시켜 모델이 학습한 표현이 얼마나 유용한지 측정하는 평가 및 적응 기법입니다. 사전 학습된 인코더는 변경되지 않으며, 분류를 위한 로지스틱 회귀와 같은 선형 레이어만 레이블이 지정된 데이터에 맞춰 학습됩니다. 프로브 성능이 높다는 것은 인코더의 embeddings가 이미 관련 개념들을 정리하여 간단한 결정 경계로 분리할 수 있음을 나타냅니다.

머신 러닝에서 이 용어는 해시 테이블에서 충돌 발생 시 인접한 저장소를 확인하는 선형 탐사와는 관련이 없습니다. AI 및 딥 러닝에서는 특히 선형 모델을 사용하여 표현을 탐색하는 것을 의미합니다.

Linear Probing의 작동 방식#

전형적인 신경망은 원본 입력을 피처 벡터로 변환하는 인코더 또는 backbone과 그 뒤를 따르는 태스크 전용 예측 헤드로 구성됩니다. Linear probing은 다음 네 단계를 따릅니다.

1. 인코더를 사전 학습하거나 로드합니다.
2. 학습 중에 매개변수가 업데이트되지 않도록 파라미터를 동결합니다.
3. 레이블이 지정된 예제에 대해 feature extraction을 수행합니다.
4. 고정된 피처를 사용하여 선형 분류기를 학습합니다.

다중 클래스 분류의 경우, 프로브는 주로 소프트맥스 출력이 있는 단일 밀집 레이어이거나 scikit-learn logistic regression classifier입니다. 로지스틱 회귀는 비선형 확률 변환을 포함하지만, 클래스 점수와 결정 경계는 입력 피처의 선형 함수입니다.

Linear probing은 인코더가 레이블이 없는 데이터로부터 학습하는 self-supervised learning에서 특히 흔하게 사용됩니다. Keras NNCLR example은 동결된 인코더의 피처 위에서 밀집 분류기를 학습함으로써 이를 보여줍니다. 프로브는 용량이 제한되어 있으므로 복잡한 비선형 변환을 학습하여 취약한 표현을 쉽게 보완할 수 없습니다.

Linear Probe 성능이 드러내는 것#

Linear probe는 정보가 표현 내에 존재하며 쉽게 접근할 수 있는지 테스트합니다. 고양이와 개 이미지들이 임베딩 공간에서 분리 가능한 그룹을 형성한다면, 선형 분류기는 적은 학습 가능 파라미터로 이를 구별할 수 있습니다. 정보가 더 복잡한 방식으로 인코딩된 경우, linear probe가 제대로 작동하지 않더라도 비선형 분류기는 성공할 수 있습니다.

따라서 프로브 정확도는 모델 품질의 완전한 척도라기보다는 진단 도구로 취급되어야 합니다. 이는 다음 요소들의 영향을 받을 수 있습니다.

• 선택된 인코더 레이어 및 임베딩 차원.
• 입력 해상도 및 전처리.
• 레이블이 지정된 학습 데이터의 양과 균형.
• 선형 모델에 적용된 정규화.
• 학습 세트와 평가 세트 간의 데이터 누수.

별도로 분리된 validation dataset을 사용하며, 가급적이면 scikit-learn의 train-test splitting utility와 같이 재현 가능한 층화 추출 절차를 통해 생성된 것을 사용하는 것이 좋습니다. 정확도 외에도 classification metrics report를 통해 표현이 일관되게 분리하지 못하는 클래스를 파악할 수 있습니다.

Linear Probing 대 관련 방법들#

Linear probing은 더 넓은 범위의 전이 학습 및 표현 평가 방법 가족에 속하지만, 몇 가지 중요한 차이점이 있습니다.

• Linear probing 대 fine-tuning: 프로브는 선형 헤드만 업데이트합니다. Fine-tuning은 일부 또는 모든 인코더 가중치를 업데이트하므로 모델에 더 큰 유연성을 제공하지만 추가적인 연산이 필요하고 overfitting 위험이 커집니다. TensorFlow transfer learning guide에서는 fine-tuning을 위해 필요에 따라 동결을 해제하기 전에 베이스 모델을 동결하는 방법을 설명합니다.
• Linear probing 대 피처 추출: 피처 추출은 임베딩을 생성하며, linear probing은 해당 임베딩을 사용하여 예측기를 학습하고 평가합니다.
• Linear probing 대 선형 회귀: 선형 회귀는 연속적인 값을 예측합니다. 분류 프로브는 일반적으로 로지스틱 회귀나 소프트맥스 레이어를 사용하여 이산 클래스를 예측합니다.
• Linear probing 대 최소 거리(Nearest-neighbor) 평가: Linear probe는 클래스 경계를 학습합니다. 최소 거리 방법은 해당 경계를 학습하지 않고 근처에 저장된 임베딩에 따라 샘플을 분류합니다. PyTorch transfer learning tutorial에서는 밀접하게 관련된 동결 인코더 워크플로를 고정 피처 추출기라고 부릅니다.

Ultralytics YOLO를 활용한 Linear Probing#

사전 학습된 Ultralytics YOLO26 classification model은 문서화된 model.embed() API를 통해 이미지 임베딩을 생성할 수 있습니다. 다음 예제에서는 피처를 미리 계산하여 암시적으로 인코더를 동결한 다음, CIFAR-10의 고양이와 개를 구별하기 위해 linear probe를 맞추는 과정을 보여줍니다.

import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score
from sklearn.model_selection import train_test_split
from torchvision.datasets import CIFAR10
from ultralytics import YOLO

dataset = CIFAR10(root="data", train=False, download=True)
samples = [(image, label) for image, label in dataset if label in (3, 5)][:400]
images, labels = zip(*samples, strict=True)

encoder = YOLO("yolo26n-cls.pt")
embeddings = encoder.embed(list(images), verbose=False)
features = np.stack([embedding.cpu().numpy() for embedding in embeddings])

x_train, x_test, y_train, y_test = train_test_split(features, labels, test_size=0.25, random_state=42, stratify=labels)
probe = LogisticRegression(max_iter=1000)
probe.fit(x_train, y_train)

predictions = probe.predict(x_test)
print(accuracy_score(y_test, predictions))

로지스틱 회귀 모델만 고양이와 개 레이블로부터 학습하며, YOLO26 인코더 가중치는 고정된 상태로 유지됩니다. 이는 엔드투엔드 학습을 통한 적응 능력을 측정하는 대신 시각적 표현의 유용성만을 격리하여 평가합니다.

실제 애플리케이션 및 실무 가이드라인#

• 레이블이 없는 사전 학습 평가: 로보틱스 팀은 대규모의 레이블이 없는 창고 비디오로 인코더를 사전 학습한 다음, 지게차, 작업자, 팔레트가 포함된 소규모 레이블 데이터셋을 사용하여 그 피처를 프로브할 수 있습니다. 높은 프로브 정확도는 해당 표현이 제한된 주석만으로도 다운스트림 image classification이나 검출을 지원할 수 있음을 나타냅니다.

• 도메인 적합성 비교: 의료 영상 팀은 여러 후보 인코더를 동결하고 조직 카테고리를 위해 동일한 linear probe를 학습할 수 있습니다. 동일한 분할 및 전처리 조건에서 하나의 인코더가 훨씬 더 나은 성능을 보인다면, 그 표현은 이후 fine-tuning을 위한 더 강력한 출발점이 됩니다.

공정한 비교를 위해 데이터셋 분할, 피처 레이어, 전처리, 분류기, 최적화 설정은 일정하게 유지해야 합니다. 가능하면 linear probing과 전체 fine-tuning을 모두 평가해보세요. 프로브는 고정된 피처에서 접근 가능한 정보를 측정하고, fine-tuning은 전체 모델이 얼마나 효과적으로 적응할 수 있는지 측정합니다.