Linear Probing

Thăm dò tuyến tính là một kỹ thuật đánh giá và thích nghi, dùng để đo lường mức độ hữu ích của các biểu diễn mà model đã học bằng cách huấn luyện một bộ dự đoán tuyến tính đơn giản trên các đặc trưng cố định. Bộ mã hóa được pretrained vẫn không thay đổi, trong khi chỉ một lớp tuyến tính—thường là hồi quy logistic cho bài toán phân loại—được khớp với dữ liệu đã gán nhãn. Hiệu suất thăm dò cao cho thấy embeddings của bộ mã hóa đã tổ chức các khái niệm liên quan theo cách có thể phân tách bằng các ranh giới quyết định đơn giản.

Trong machine learning, thuật ngữ này không liên quan đến thăm dò tuyến tính trong bảng băm, nơi các vị trí lưu trữ lân cận được kiểm tra sau khi xảy ra va chạm. Trong AI và deep learning, thuật ngữ này chỉ việc thăm dò một biểu diễn bằng model tuyến tính.

Cách thức hoạt động của thăm dò tuyến tính#

Một neural network điển hình gồm một bộ mã hóa hoặc backbone, có nhiệm vụ chuyển đổi đầu vào thô thành vector đặc trưng, sau đó là một prediction head dành riêng cho tác vụ. Thăm dò tuyến tính thực hiện theo bốn bước:

1. Pretrain hoặc tải một bộ mã hóa.
2. Đóng băng các tham số của bộ mã hóa để quá trình huấn luyện không thể cập nhật chúng.
3. Thực hiện trích xuất đặc trưng trên các ví dụ đã gán nhãn.
4. Huấn luyện một bộ phân loại tuyến tính bằng các đặc trưng cố định đó.

Đối với bài toán phân loại đa lớp, probe thường là một lớp dense duy nhất với đầu ra softmax hoặc một bộ phân loại hồi quy logistic của scikit-learn. Mặc dù hồi quy logistic có một phép biến đổi xác suất phi tuyến, điểm số lớp và ranh giới quyết định của nó là các hàm tuyến tính của các đặc trưng đầu vào.

Thăm dò tuyến tính đặc biệt phổ biến trong self-supervised learning, trong đó bộ mã hóa học từ dữ liệu chưa gán nhãn. Ví dụ Keras NNCLR minh họa điều này bằng cách huấn luyện một bộ phân loại dense trên các đặc trưng của bộ mã hóa đã đóng băng. Vì probe có năng lực hạn chế, nó không thể dễ dàng bù đắp cho các biểu diễn yếu bằng cách học những phép biến đổi phi tuyến phức tạp.

Hiệu suất của linear probe cho thấy điều gì#

Linear probe kiểm tra xem thông tin có vừa hiện diện vừa dễ dàng truy cập trong một biểu diễn hay không. Nếu hình ảnh mèo và chó tạo thành các nhóm có thể phân tách trong không gian embedding, một bộ phân loại tuyến tính có thể phân biệt chúng với rất ít tham số có thể huấn luyện. Nếu thông tin được mã hóa theo một bố cục phức tạp hơn, bộ phân loại phi tuyến có thể đạt kết quả tốt ngay cả khi linear probe hoạt động kém.

Do đó, độ chính xác của probe nên được xem là một công cụ chẩn đoán thay vì thước đo hoàn chỉnh về chất lượng model. Chỉ số này có thể bị ảnh hưởng bởi:

• Lớp bộ mã hóa được chọn và số chiều embedding.
• Độ phân giải đầu vào và tiền xử lý.
• Lượng dữ liệu huấn luyện đã gán nhãn và mức độ cân bằng của dữ liệu.
• Phương pháp regularization được áp dụng cho model tuyến tính.
• Rò rỉ dữ liệu giữa các tập huấn luyện và đánh giá.

Sử dụng một validation dataset được giữ riêng, tốt nhất là tạo bằng một quy trình có thể tái lập và phân tầng, chẳng hạn như tiện ích tách tập train-test của scikit-learn. Ngoài độ chính xác, một báo cáo các metric phân loại có thể làm lộ ra những lớp mà biểu diễn không phân tách nhất quán.

Thăm dò tuyến tính và các phương pháp liên quan#

Thăm dò tuyến tính thuộc nhóm rộng hơn gồm các phương pháp chuyển giao và đánh giá biểu diễn, nhưng cần lưu ý một số điểm khác biệt:

• Thăm dò tuyến tính và fine-tuning: Probe chỉ cập nhật linear head. Fine-tuning cập nhật một phần hoặc toàn bộ trọng số của bộ mã hóa, mang lại cho model nhiều tính linh hoạt hơn nhưng yêu cầu thêm tài nguyên tính toán và làm tăng nguy cơ overfitting. Hướng dẫn transfer learning của TensorFlow mô tả cách đóng băng base model trước khi tùy chọn bỏ đóng băng để fine-tuning.
• Thăm dò tuyến tính và feature extraction: Feature extraction tạo ra các embedding; thăm dò tuyến tính huấn luyện và đánh giá một bộ dự đoán trên các embedding đó.
• Thăm dò tuyến tính và hồi quy tuyến tính: Hồi quy tuyến tính dự đoán các giá trị liên tục. Các probe phân loại thường dự đoán các lớp rời rạc bằng hồi quy logistic hoặc một lớp softmax.
• Thăm dò tuyến tính và đánh giá theo láng giềng gần nhất: Linear probe học các ranh giới lớp. Các phương pháp láng giềng gần nhất phân loại mẫu dựa trên những embedding được lưu trữ ở gần mà không học các ranh giới đó. Hướng dẫn transfer learning của PyTorch gọi quy trình liên quan, sử dụng bộ mã hóa cố định, là một bộ trích xuất đặc trưng cố định.

Thăm dò tuyến tính với Ultralytics YOLO#

Một model phân loại Ultralytics YOLO26 đã pretrained có thể tạo embedding hình ảnh thông qua API model.embed() được dokument hóa. Ví dụ sau đây ngầm đóng băng bộ mã hóa bằng cách tính toán trước các đặc trưng, sau đó khớp một linear probe để phân biệt mèo và chó trong CIFAR-10:

import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score
from sklearn.model_selection import train_test_split
from torchvision.datasets import CIFAR10
from ultralytics import YOLO

dataset = CIFAR10(root="data", train=False, download=True)
samples = [(image, label) for image, label in dataset if label in (3, 5)][:400]
images, labels = zip(*samples, strict=True)

encoder = YOLO("yolo26n-cls.pt")
embeddings = encoder.embed(list(images), verbose=False)
features = np.stack([embedding.cpu().numpy() for embedding in embeddings])

x_train, x_test, y_train, y_test = train_test_split(features, labels, test_size=0.25, random_state=42, stratify=labels)
probe = LogisticRegression(max_iter=1000)
probe.fit(x_train, y_train)

predictions = probe.predict(x_test)
print(accuracy_score(y_test, predictions))

Chỉ model hồi quy logistic học từ các nhãn mèo và chó; trọng số của bộ mã hóa YOLO26 vẫn được giữ cố định. Điều này cô lập mức độ hữu ích của biểu diễn hình ảnh, thay vì đo lường khả năng thích nghi của model thông qua huấn luyện end-to-end.

Ứng dụng thực tế và hướng dẫn triển khai#

• Đánh giá pretraining trên dữ liệu chưa gán nhãn: Một nhóm robotics có thể pretrain bộ mã hóa trên khối lượng lớn video kho hàng chưa gán nhãn, sau đó thăm dò các đặc trưng của bộ mã hóa bằng một dataset nhỏ đã gán nhãn gồm xe nâng, nhân viên và pallet. Độ chính xác probe cao cho thấy biểu diễn có thể hỗ trợ image classification hoặc detection ở downstream với lượng annotation hạn chế.

• So sánh mức độ phù hợp với miền dữ liệu: Một nhóm chẩn đoán hình ảnh y khoa có thể đóng băng một số bộ mã hóa ứng viên và huấn luyện các linear probe giống hệt nhau cho các nhóm mô. Nếu một bộ mã hóa đạt kết quả tốt hơn đáng kể với cùng cách chia dữ liệu và tiền xử lý, biểu diễn của nó là điểm khởi đầu tốt hơn cho fine-tuning sau này.

Để so sánh công bằng, hãy giữ cố định cách chia dataset, lớp đặc trưng, tiền xử lý, classifier và các thiết lập tối ưu hóa. Khi có thể, hãy đánh giá cả thăm dò tuyến tính và fine-tuning toàn phần: probe đo lường lượng thông tin có thể truy cập trong các đặc trưng cố định, còn fine-tuning đo lường mức độ hiệu quả mà toàn bộ model có thể thích nghi.