Linear Probing

Linear probing là một kỹ thuật đánh giá và thích ứng dùng để đo lường mức độ hữu ích của các biểu diễn đã học của model bằng cách huấn luyện một bộ dự đoán tuyến tính đơn giản trên các đặc trưng bị đóng băng. Bộ mã hóa huấn luyện trước được giữ nguyên, trong khi chỉ có một lớp tuyến tính—thường là hồi quy logistic cho phân loại—được khớp với dữ liệu được gán nhãn. Hiệu suất thăm dò mạnh mẽ cho thấy các embeddings của bộ mã hóa đã tổ chức các khái niệm có liên quan để chúng có thể được tách biệt bằng các ranh giới quyết định đơn giản.

Trong machine learning, thuật ngữ này không liên quan đến linear probing trong bảng băm, nơi các vị trí lưu trữ lân cận được kiểm tra sau một va chạm. Trong AI và deep learning, nó đề cập cụ thể đến việc thăm dò một biểu diễn bằng một model tuyến tính.

Cách hoạt động của Linear Probing#

Một mạng neural điển hình chứa một bộ mã hóa hoặc backbone chuyển đổi đầu vào thô thành một vector đặc trưng, theo sau là một phần đầu dự đoán dành riêng cho tác vụ. Linear probing tuân theo bốn bước:

1. Huấn luyện trước hoặc tải một bộ mã hóa.
2. Đóng băng các tham số của nó để quá trình huấn luyện không thể cập nhật chúng.
3. Thực hiện feature extraction trên các ví dụ được gán nhãn.
4. Huấn luyện một bộ phân loại tuyến tính sử dụng các đặc trưng cố định đó.

Đối với phân loại đa lớp, đầu dò thường là một lớp dày đặc đơn lẻ với đầu ra softmax hoặc một scikit-learn logistic regression classifier. Mặc dù hồi quy logistic bao gồm một phép biến đổi xác suất phi tuyến tính, điểm số lớp và ranh giới quyết định của nó là các hàm tuyến tính của các đặc trưng đầu vào.

Linear probing đặc biệt phổ biến trong self-supervised learning, nơi một bộ mã hóa học từ dữ liệu không có nhãn. Keras NNCLR example minh họa điều này bằng cách huấn luyện một bộ phân loại dày đặc trên các đặc trưng của bộ mã hóa bị đóng băng. Do đầu dò có dung lượng hạn chế, nó không thể dễ dàng bù đắp cho các biểu diễn yếu bằng cách học các phép biến đổi phi tuyến tính phức tạp.

Hiệu suất Linear Probe tiết lộ điều gì#

Một linear probe kiểm tra xem thông tin có vừa hiện diện vừa dễ dàng truy cập được trong một biểu diễn hay không. Nếu hình ảnh mèo và chó tạo thành các nhóm có thể tách rời trong không gian embedding, một bộ phân loại tuyến tính có thể phân biệt chúng với ít tham số có thể huấn luyện. Nếu thông tin được mã hóa thông qua một sự sắp xếp phức tạp hơn, một bộ phân loại phi tuyến tính có thể thành công ngay cả khi linear probe hoạt động kém.

Do đó, độ chính xác của đầu dò nên được coi là một công cụ chẩn đoán hơn là một thước đo hoàn chỉnh về chất lượng model. Nó có thể bị ảnh hưởng bởi:

• Lớp bộ mã hóa và chiều embedding được chọn.
• Độ phân giải đầu vào và tiền xử lý.
• Số lượng và sự cân bằng của dữ liệu huấn luyện được gán nhãn.
• Đường chuẩn hóa được áp dụng cho model tuyến tính.
• Sự rò rỉ dữ liệu giữa tập huấn luyện và tập đánh giá.

Sử dụng một validation dataset được giữ lại, tốt nhất là được tạo bằng một quy trình phân tầng, có thể tái tạo chẳng hạn như tiện ích train-test splitting utility của scikit-learn. Ngoài độ chính xác, một classification metrics report có thể vạch trần các lớp mà biểu diễn không tách biệt một cách nhất quán.

Linear Probing so với các phương pháp liên quan#

Linear probing thuộc về nhóm phương pháp chuyển giao và đánh giá biểu diễn rộng lớn hơn, nhưng một số điểm khác biệt rất quan trọng:

• Linear probing so với fine-tuning: Một đầu dò chỉ cập nhật phần đầu tuyến tính. Fine-tuning cập nhật một số hoặc tất cả trọng số của bộ mã hóa, mang lại cho model sự linh hoạt lớn hơn nhưng đòi hỏi thêm tài nguyên tính toán và làm tăng nguy cơ overfitting. TensorFlow transfer learning guide mô tả việc đóng băng model cơ sở trước khi tùy chọn bỏ đóng băng nó để fine-tuning.
• Linear probing so với feature extraction: Feature extraction tạo ra các embedding; linear probing huấn luyện và đánh giá một bộ dự đoán trên các embedding đó.
• Linear probing so với linear regression: Linear regression dự đoán các giá trị liên tục. Các đầu dò phân loại thường dự đoán các lớp rời rạc bằng hồi quy logistic hoặc một lớp softmax.
• Linear probing so với đánh giá láng giềng gần nhất: Một linear probe học các ranh giới lớp. Các phương pháp láng giềng gần nhất phân loại các mẫu theo các embedding được lưu trữ gần đó mà không học các ranh giới đó. PyTorch transfer learning tutorial gọi quy trình làm việc bộ mã hóa đóng băng có liên quan chặt chẽ là một bộ trích xuất đặc trưng cố định.

Linear Probing với Ultralytics YOLO#

Một Ultralytics YOLO26 classification model được huấn luyện trước có thể tạo các embedding hình ảnh thông qua API model.embed() được tài liệu hóa. Ví dụ sau đây đóng băng bộ mã hóa một cách ngầm định bằng cách tính toán trước các đặc trưng, sau đó khớp một linear probe để phân biệt mèo và chó trong CIFAR-10:

import numpy as np
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score
from sklearn.model_selection import train_test_split
from torchvision.datasets import CIFAR10
from ultralytics import YOLO

dataset = CIFAR10(root="data", train=False, download=True)
samples = [(image, label) for image, label in dataset if label in (3, 5)][:400]
images, labels = zip(*samples, strict=True)

encoder = YOLO("yolo26n-cls.pt")
embeddings = encoder.embed(list(images), verbose=False)
features = np.stack([embedding.cpu().numpy() for embedding in embeddings])

x_train, x_test, y_train, y_test = train_test_split(features, labels, test_size=0.25, random_state=42, stratify=labels)
probe = LogisticRegression(max_iter=1000)
probe.fit(x_train, y_train)

predictions = probe.predict(x_test)
print(accuracy_score(y_test, predictions))

Chỉ có model hồi quy logistic học từ các nhãn mèo và chó; trọng số bộ mã hóa YOLO26 vẫn được giữ nguyên. Điều này tách biệt tính hữu ích của biểu diễn thị giác của nó thay vì đo lường khả năng thích ứng thông qua quá trình huấn luyện đầu cuối.

Ứng dụng trong thế giới thực và hướng dẫn thực tế#

• Đánh giá việc huấn luyện trước không có nhãn: Một nhóm robot có thể huấn luyện trước một bộ mã hóa trên lượng lớn video nhà kho không có nhãn, sau đó thăm dò các đặc trưng của nó bằng cách sử dụng một tập dữ liệu nhỏ có nhãn gồm xe nâng, công nhân và pallet. Độ chính xác của đầu dò cao cho thấy biểu diễn có thể hỗ trợ image classification hoặc phát hiện hạ nguồn với chú thích hạn chế.

• So sánh mức độ phù hợp của miền: Một nhóm hình ảnh y tế có thể đóng băng một số ứng cử viên bộ mã hóa và huấn luyện các linear probe giống hệt nhau cho các danh mục mô. Nếu một bộ mã hóa hoạt động tốt hơn đáng kể dưới cùng một phân chia và tiền xử lý, biểu diễn của nó là điểm khởi đầu mạnh mẽ hơn cho quá trình fine-tuning sau này.

Để so sánh công bằng, hãy giữ nguyên phần chia tập dữ liệu, lớp đặc trưng, tiền xử lý, bộ phân loại và cài đặt tối ưu hóa. Đánh giá cả linear probing và fine-tuning toàn diện khi có thể: đầu dò đo lường thông tin có thể truy cập trong các đặc trưng cố định, trong khi fine-tuning đo lường mức độ hiệu quả mà model hoàn chỉnh có thể thích ứng.