Meta Learning

Meta-learning, thường được gọi là "học cách học", là một phương pháp học máy (ML) training model trên nhiều tác vụ liên quan để model có thể nhanh chóng thích nghi với tác vụ mới, thường chỉ từ một số ít ví dụ đã gán nhãn. Trong khi học có giám sát khớp model với một dataset, meta-learning tối ưu chính quá trình học: trọng số khởi tạo, không gian embedding dùng để so sánh ví dụ, hoặc một mạng học từ ví dụ chỉ trong một lượt forward. Ứng dụng chính của phương pháp này là học ít mẫu, nhận diện lớp mới chỉ từ một đến vài ví dụ mỗi lớp, cùng với robot và các agent khác cần tự điều chỉnh nhanh chóng trước những điều kiện mới.

Cách Meta-learning hoạt động#

Meta-learning training theo từng episode mô phỏng tình huống model sẽ gặp khi kiểm thử. Mỗi episode lấy mẫu một tác vụ, chẳng hạn một bài toán phân loại 5-way 1-shot được xây dựng từ năm lớp, mỗi lớp có một ảnh đã gán nhãn. Các ví dụ đã gán nhãn tạo thành tập support, còn các ví dụ chưa dùng thuộc cùng lớp tạo thành tập query. Trong vòng lặp bên trong, model thích nghi với tập support; trong vòng lặp bên ngoài, các meta-parameter được cập nhật dựa trên mức độ hoạt động của model sau khi thích nghi trên tập query, nhờ đó model được tối ưu để thích nghi tốt thay vì ghi nhớ riêng một tác vụ. Các lớp dùng cho meta-testing không bao giờ xuất hiện trong quá trình meta-training.

Các phương pháp chính#

• Dựa trên tối ưu hóa: Học meta không phụ thuộc model (MAML) học một điểm khởi tạo để chỉ cần một hoặc vài bước gradient descent trên tập support của tác vụ mới là đạt hiệu năng tốt. Vòng lặp bên ngoài tính gradient qua bước cập nhật bên trong, đòi hỏi gradient bậc hai; các biến thể bậc nhất như Reptile của OpenAI tránh được chi phí đó bằng cách dịch chuyển điểm khởi tạo về phía trọng số đã thích nghi trên từng tác vụ.
• Dựa trên metric: Các phương pháp này học một không gian embedding để phân loại ví dụ bằng khoảng cách. Mạng Prototypical tính trung bình các embedding support của mỗi lớp để tạo prototype, rồi gán mỗi query cho prototype gần nhất, nhờ đó không cần training khi thêm lớp ở thời điểm kiểm thử.
• Dựa trên model: Một mạng như mạng nơ-ron hồi tiếp (RNN) có bộ nhớ ngoài đọc tập support và trực tiếp dự đoán nhãn cho các query, đồng thời học quy trình thích nghi thông qua các activation của nó. Bài báo GPT-3 mô tả học trong ngữ cảnh ở mô hình ngôn ngữ lớn (LLMs), tức giải quyết tác vụ dựa trên ví dụ trong prompt, như vòng lặp bên trong của dạng meta-learning này, còn pretraining đóng vai trò vòng lặp bên ngoài.

Benchmark hồi quy của chính MAML yêu cầu một mạng nhỏ khớp các sóng sin có biên độ và pha ngẫu nhiên, mỗi sóng dựa trên 10 điểm. Ví dụ PyTorch sau đây meta-training điểm khởi tạo bằng cả hai vòng lặp, sau đó kiểm thử một bước thích nghi trên các sóng sin mới:

import torch
import torch.nn.functional as F
from torch import nn
from torch.func import functional_call

torch.manual_seed(0)
net = nn.Sequential(nn.Linear(1, 40), nn.ReLU(), nn.Linear(40, 40), nn.ReLU(), nn.Linear(40, 1))
meta_optimizer = torch.optim.Adam(net.parameters(), lr=0.001)


def sine_task_losses():
    """Sample a sine-wave task, adapt on 10 points with one gradient step, and return query losses before and after."""
    amplitude, phase = torch.empty(1).uniform_(0.1, 5), torch.empty(1).uniform_(0, 3.14)
    x = torch.empty(20, 1).uniform_(-5, 5)
    y = amplitude * torch.sin(x + phase)
    params = dict(net.named_parameters())
    support_loss = F.mse_loss(functional_call(net, params, x[:10]), y[:10])
    grads = torch.autograd.grad(support_loss, list(params.values()), create_graph=True)  # inner loop
    adapted = {name: p - 0.01 * g for (name, p), g in zip(params.items(), grads)}
    before = F.mse_loss(functional_call(net, params, x[10:]), y[10:])
    after = F.mse_loss(functional_call(net, adapted, x[10:]), y[10:])
    return before, after


# Outer loop: update the shared initialization so that one inner step fits each new task
for step in range(10000):
    meta_loss = sum(sine_task_losses()[1] for _ in range(4))
    meta_optimizer.zero_grad()
    meta_loss.backward()
    meta_optimizer.step()

# On 500 unseen sine waves, compare query error before and after the one-step adaptation
losses = torch.tensor([[loss.item() for loss in sine_task_losses()] for _ in range(500)])
print(f"query MSE before adaptation: {losses[:, 0].mean():.2f}, after one step: {losses[:, 1].mean():.2f}")

Kết quả in ra là query MSE before adaptation: 3.10, after one step: 0.70. Điểm khởi tạo được meta-learning không khớp với một sóng sin cụ thể nào, nhưng chỉ một bước gradient trên 10 điểm đã giảm hơn bốn lần sai số trên các điểm mới của một sóng chưa từng thấy.

Meta-learning và các thuật ngữ liên quan#

• Học chuyển giao: Tái sử dụng trọng số được training trên một tác vụ lớn làm điểm khởi đầu cho tác vụ khác mà không tối ưu chúng để dễ thích nghi. Fine-tune detector Ultralytics YOLO26 được pretrained trên COCO bằng dataset tùy chỉnh là học chuyển giao: trọng số khởi đầu đến từ quá trình training thông thường trên COCO, còn việc thích nghi sử dụng dataset đã gán nhãn và nhiều epoch training thay vì một vài ví dụ cùng một vài bước gradient.
• Học ít mẫu: Bài toán học từ rất ít ví dụ. Meta-learning là một nhóm giải pháp; embedding pretrained kết hợp với bộ phân loại đơn giản là một nhóm khác.
• Học máy tự động (AutoML): Tìm kiếm kiến trúc và hyperparameter, thường xử lý từng dataset riêng. Một số khảo sát xem việc học hyperparameter qua nhiều tác vụ là meta-learning.
• Học liên tục: Học một chuỗi tác vụ mà không quên các tác vụ trước đó, trong khi meta-learning chuẩn bị cho model học nhanh các tác vụ mới.

Benchmark và kết quả nghiên cứu#

Benchmark ảnh few-shot thúc đẩy phần lớn nghiên cứu meta-learning: Omniglot có 1.623 ký tự viết tay từ 50 bảng chữ cái, còn miniImageNet dùng 100 lớp ImageNet, mỗi lớp có 600 ảnh, được chia thành các lớp riêng biệt cho meta-training, validation và kiểm thử. Hai nghiên cứu sau này đặt câu hỏi về mức đóng góp của chính meta-learning. “Rapid Learning or Feature Reuse?” chỉ ra thành công của MAML chủ yếu đến từ việc tái sử dụng đặc trưng đã học ở vòng ngoài; biến thể ANIL đơn giản hóa, chỉ điều chỉnh lớp cuối ở vòng trong, đạt kết quả ngang MAML. Sau đó, “Rethinking Few-Shot Image Classification” phát hiện rằng bộ phân loại tuyến tính trên embedding tốt, được học bằng huấn luyện có giám sát thông thường hoặc tự giám sát trên các lớp meta-training, vượt qua những phương pháp meta-learning few-shot hàng đầu thời điểm đó.