Few-Shot Learning

Học few-shot (FSL) là bài toán học một tác vụ mới, thường là nhận diện lớp mới, chỉ từ một vài ví dụ được gán nhãn cho mỗi lớp, thông thường từ 1 đến 10 ví dụ. Học có giám sát tiêu chuẩn cần hàng trăm hoặc hàng nghìn ảnh được gán nhãn cho mỗi lớp; những ảnh này rất tốn kém hoặc không thể thu thập đối với lỗi hiếm gặp, bệnh hiếm hoặc một sản phẩm vừa ra mắt. Các phương pháp few-shot thu hẹp khoảng cách bằng kiến thức có sẵn: model được pretrain trên dữ liệu lớn có liên quan đã tạo ra các feature phân biệt tốt các lớp mới, vì vậy chỉ cần một vài ví dụ để xác định chúng. Ý tưởng tương tự xuất hiện trong model ngôn ngữ, khi một vài ví dụ mẫu trong prompt hướng model sang tác vụ mới mà không cần huấn luyện.

Tác vụ N-way K-shot#

Bài toán few-shot được mô tả theo dạng N-way K-shot: N lớp mới, mỗi lớp có K ví dụ được gán nhãn. Các ví dụ này tạo thành support set; model được đánh giá dựa trên khả năng gán nhãn một query set riêng gồm các ví dụ thuộc cùng N lớp. Vì vậy, tác vụ 5-way 1-shot cung cấp cho model mỗi lớp một ví dụ trong năm lớp model chưa từng thấy, rồi yêu cầu model phân loại ảnh mới vào các lớp đó. Học one-shot là trường hợp K = 1, còn học zero-shot là K = 0, trong đó các lớp được mô tả bằng văn bản hoặc thuộc tính thay vì ví dụ. Các benchmark nghiên cứu đánh giá trên những lớp bị loại khỏi tập huấn luyện, chẳng hạn Omniglot với 1.623 ký tự viết tay thuộc 50 bảng chữ cái và miniImageNet với 100 lớp ImageNet, mỗi lớp có 600 ảnh.

Các phương pháp học Few-Shot#

Các phương pháp học metric huấn luyện mạng ánh xạ ảnh thành embedding, trong đó các ví dụ cùng lớp nằm gần nhau; do đó, query nhận nhãn của những ví dụ support tương tự nhất. Mạng prototypical lấy trung bình embedding support của mỗi lớp để tạo prototype rồi gán query cho prototype gần nhất, không cần huấn luyện lại khi xuất hiện lớp mới.

Các phương pháp khác điều chỉnh trọng số của model hoặc đầu vào của model:

• Meta-learning: Huấn luyện trên hàng nghìn tác vụ mô phỏng nhỏ được lấy từ các lớp cơ sở, giúp model học cách thích ứng. Meta-learning không phụ thuộc model (MAML) học một điểm khởi tạo mà từ đó chỉ cần vài bước gradient trên support set của tác vụ mới để có được trọng số tốt.
• Chuyển giao và fine-tune: Pretrain backbone trên dataset lớn, sau đó chỉ huấn luyện head phân loại mới hoặc toàn bộ mạng với learning rate nhỏ trên tập hỗ trợ. Baseline đơn giản này cạnh tranh được với các phương pháp meta-learning chuyên biệt trên benchmark few-shot tiêu chuẩn; linear probing các model lớn đã pretrained vẫn là baseline few-shot mạnh.
• Prompt model nền tảng: Model ngôn ngữ lớn thực hiện tác vụ mới từ một vài ví dụ đặt trong prompt mà không cập nhật trọng số; GPT-3 đã thể hiện khả năng này trên hơn hai chục benchmark ngôn ngữ. Model thị giác cũng sử dụng prompt trực quan, chẳng hạn bbox ví dụ, theo cách tương tự.

Phát hiện vật thể Few-Shot bằng Prompt trực quan#

Phát hiện bổ sung khả năng định vị vào bài toán few-shot: model phải tìm mọi instance thuộc một lớp mà model chưa được huấn luyện. YOLO26 cũng là nền tảng cho YOLOE-26, một biến thể open-vocabulary có bộ mã hóa prompt trực quan chuyển bbox ví dụ thành embedding lớp, rồi phát hiện và phân đoạn các vật thể khớp trong ảnh mới mà không cần huấn luyện. Các bbox có chung class ID được gộp thành một prompt, vì vậy hai ví dụ của một lớp tạo thành support set 2-shot. Ví dụ này dùng hai người trong một ảnh làm support set và tìm kiếm trong một ảnh khác:

import numpy as np
from ultralytics import YOLOE
from ultralytics.models.yolo.yoloe import YOLOEVPSegPredictor

# Checkpoint YOLOE chấp nhận prompt trực quan
model = YOLOE("yoloe-26s-seg.pt")

# Support set: hai bbox ví dụ thuộc cùng một lớp (người) trong ảnh tham chiếu
boxes = np.array([[221.52, 405.8, 344.98, 857.54], [669.47, 392.19, 809.72, 877.04]])
support = {"bboxes": boxes, "cls": np.array([0, 0])}

# Query: tìm các vật thể giống ví dụ trong một ảnh khác mà không cần huấn luyện
results = model.predict(
    "https://ultralytics.com/images/zidane.jpg",
    refer_image="https://ultralytics.com/images/bus.jpg",
    visual_prompts=support,
    predictor=YOLOEVPSegPredictor,
)
result = results[0]
result.save(filename="few_shot_result.jpg")

Prompt trực quan nhóm các ví dụ mà không cần đặt tên cho chúng, vì vậy các kết quả khớp được gán nhãn object0, object1 và tiếp theo, mỗi tên ứng với một class ID.

Ứng dụng thực tế#

• Kiểm tra sản xuất: Một loại lỗi mới, chẳng hạn vết nứt trên một linh kiện vừa được đưa vào sử dụng, có thể chỉ xuất hiện vài lần trước khi nhân viên kiểm tra cần phát hiện lỗi đó; phát hiện few-shot hoặc phát hiện bất thường có thể bổ sung lỗi này mà không cần tập dữ liệu mới lớn.
• Chẩn đoán hình ảnh y khoa: Các bệnh hiếm có ít ảnh chụp được gán nhãn, vì vậy model phân tích ảnh y khoa thích ứng feature đã pretrain để nhận diện phát hiện mới từ một tập nhỏ ca bệnh do chuyên gia gán nhãn.
• Bán lẻ và robot: Cửa hàng liên tục bổ sung sản phẩm mới và robot thường xuyên gặp vật thể mới; một vài ảnh tham chiếu giúp hệ thống nhận diện từng vật thể trên kệ hoặc trong bộ kẹp.

Học Few-Shot và các khái niệm liên quan#

• Học chuyển giao: Phương pháp rộng hơn, tái sử dụng kiến thức từ tác vụ này cho tác vụ khác. Học few-shot là trường hợp cực ít dữ liệu, và chuyển giao là công cụ thường dùng nhất.
• Meta-learning: Chiến lược huấn luyện để học cách học, đồng thời là một trong nhiều cách giải quyết bài toán few-shot. Học few-shot chỉ chính thiết lập bài toán.
• Prompting few-shot: Thích ứng model cố định bằng các ví dụ trong đầu vào tại thời điểm suy luận, trong khi tinh chỉnh few-shot thay đổi trọng số model bằng chính một vài ví dụ đó.