Continual Learning
Học liên tục, hay học suốt đời, huấn luyện model trên luồng tác vụ hoặc dữ liệu mới mà không quên những gì đã học trước đó. Nội dung đề cập replay, EWC và code.
Học liên tục, còn gọi là học trọn đời hoặc học tăng dần, huấn luyện model trên một chuỗi tác vụ hoặc luồng dữ liệu thay đổi, đồng thời duy trì những gì model đã học trước đó. Fine-tuning tiêu chuẩn trên dữ liệu mới ghi đè trọng số model phục vụ các tác vụ trước đó, khiến hiệu suất trên những tác vụ đó sụt giảm nghiêm trọng; đây là lỗi được gọi là quên thảm họa. Các phương pháp học liên tục cân bằng tính linh hoạt, tức khả năng học điều mới, với tính ổn định, tức khả năng duy trì tri thức cũ; sự đánh đổi này được gọi là thế lưỡng nan ổn định–linh hoạt, xuất hiện ở cả mạng nơ-ron lẫn bộ não sinh học.
Tại sao học liên tục quan trọng#
Model đã triển khai phải đối mặt với dữ liệu liên tục thay đổi: lớp đối tượng mới, phần cứng camera mới, ánh sáng theo mùa hoặc độ trôi dữ liệu diễn ra từ từ. Cách khắc phục đơn giản nhất là huấn luyện lại từ đầu trên toàn bộ dataset tích lũy, nhưng chi phí tăng sau mỗi lần cập nhật; dữ liệu cũ cũng có thể không còn sẵn có do giới hạn lưu trữ, giấy phép hoặc quy định về quyền riêng tư dữ liệu. Thay vào đó, học liên tục cập nhật model theo từng bước, phù hợp với thiết bị AI biên và pipeline vận hành machine learning huấn luyện lại model đã triển khai theo lịch.
Các loại hình học liên tục#
Van de Ven, Tuytelaars và Tolias phân biệt ba kịch bản. Trong học tăng dần theo tác vụ, model được cho biết mỗi đầu vào thuộc tác vụ nào và có thể dùng một head đầu ra riêng cho từng tác vụ. Trong học tăng dần theo miền, các lớp giữ nguyên nhưng phân phối đầu vào thay đổi, chẳng hạn detector chuyển từ cảnh quay ban ngày sang ban đêm. Trong học tăng dần theo lớp, các lớp mới liên tục xuất hiện và model phải phân biệt tất cả các lớp đã gặp mà không được cho biết đầu vào thuộc tác vụ nào; đây là kịch bản khó nhất trong ba loại.
Các chiến lược ngăn quên#
- Phát lại: Model lưu một bộ đệm nhỏ chứa các ví dụ trước đây, hoặc tạo ví dụ tổng hợp bằng model tạo sinh, rồi trộn chúng vào mỗi đợt huấn luyện mới.
- Hợp nhất trọng số đàn hồi: Các phương pháp chính quy hóa như EWC thêm một khoản phạt vào hàm mất mát nếu thay đổi trọng số quan trọng với các tác vụ trước, đồng thời ước tính mức độ quan trọng đó từ thông tin Fisher.
- Cô lập tham số: Mỗi tác vụ có bộ tham số riêng thông qua backbone được đóng băng, head dành riêng cho tác vụ hoặc adapter như LoRA, nhờ đó các bản cập nhật cho tác vụ mới không thể ghi đè lên các bản cập nhật cũ.
- Chưng cất tri thức: Đầu ra của model trước đó trên dữ liệu mới đóng vai trò mục tiêu mềm trong khi model học tác vụ mới; phương pháp này được gọi là Học mà không quên.
Đoạn mã dưới đây chạy thử nghiệm tăng dần theo lớp trong PyTorch: một mạng nhỏ học các chữ số viết tay từ 0 đến 4, rồi từ 5 đến 9, có và không có bộ đệm phát lại chứa 100 ảnh đã lưu từ tác vụ đầu tiên.
import torch
from sklearn.datasets import load_digits
from torch import nn
X, y = load_digits(return_X_y=True)
X, y = torch.tensor(X / 16, dtype=torch.float32), torch.tensor(y)
task_a, task_b = torch.where(y < 5)[0], torch.where(y >= 5)[0] # digits 0-4, then digits 5-9
for replay in [0, 100]:
torch.manual_seed(0)
model = nn.Sequential(nn.Linear(64, 64), nn.ReLU(), nn.Linear(64, 10))
optimizer = torch.optim.Adam(model.parameters(), lr=0.01)
# Train on task A, then on task B plus a replay buffer of stored task A images
for task in [task_a, torch.cat([task_b, task_a[:replay]])]:
for _ in range(200):
optimizer.zero_grad()
nn.functional.cross_entropy(model(X[task]), y[task]).backward()
optimizer.step()
accuracy = (model(X[task_a]).argmax(1) == y[task_a]).float().mean()
print(f"Replay buffer of {replay} images: digits 0-4 accuracy after learning 5-9 = {accuracy:.0%}")Không dùng phát lại, mạng quên hoàn toàn các chữ số từ 0 đến 4 và đạt 0% độ chính xác với các chữ số đó sau khi học từ 5 đến 9. Phát lại 100 ảnh đã lưu, tương đương khoảng 11% trong số 901 ảnh của tác vụ đầu tiên, giúp duy trì độ chính xác ở mức 70%. Ultralytics YOLO26 hỗ trợ phương pháp cô lập tham số trong bộ công cụ này thông qua đối số huấn luyện freeze, giúp khóa N lớp đầu tiên hoặc các module được đặt tên trong khi model fine-tune trên dữ liệu mới.
Thách thức còn bỏ ngỏ#
Đánh giá một model học liên tục cần nhiều hơn một điểm số: phải theo dõi chỉ số hiệu suất trên mọi tác vụ trước đó sau mỗi lần cập nhật, đo lường cả chuyển giao ngược (việc học mới làm thay đổi các tác vụ cũ ra sao) lẫn chuyển giao xuôi (tri thức cũ giúp tăng tốc việc học tác vụ mới như thế nào). Quá trình huấn luyện liên tục kéo dài còn gặp một vấn đề ít được chú ý hơn việc quên. Dohare và cộng sự cho thấy các phương pháp deep learning tiêu chuẩn dần mất tính linh hoạt — khả năng học điều mới — qua các chuỗi dài tác vụ dựa trên ImageNet và bài toán học tăng cường; họ cũng cho thấy lan truyền ngược liên tục, phương pháp khởi tạo lại ngẫu nhiên một tỷ lệ nhỏ các unit ít được sử dụng, có thể duy trì tính linh hoạt vô thời hạn.
Ứng dụng thực tế#
- Robot học: Robot trên dây chuyền sản xuất có thể học cách xử lý một biến thể sản phẩm mới mà không cần huấn luyện lại toàn bộ, đồng thời vẫn giữ kỹ năng xử lý các bộ phận đã biết.
- Phân tích ảnh y tế: Bệnh viện thay đổi máy quét và quy trình chụp ảnh, đồng thời các phát hiện mới xuất hiện theo thời gian. Cập nhật tăng dần theo miền cho phép model chẩn đoán thích ứng với ảnh mới mà vẫn duy trì độ chính xác đối với các tình trạng đã được xác lập.
- Mô hình ngôn ngữ lớn: Tiền huấn luyện liên tục trên văn bản mới giúp cập nhật tri thức của model; adapter tiết kiệm tham số bổ sung kỹ năng mới mà không cần huấn luyện lại toàn bộ model.
Học liên tục so với các khái niệm liên quan#
- Học chuyển giao: Học chuyển giao tái sử dụng model đã tiền huấn luyện làm điểm khởi đầu cho tác vụ mới và chỉ đánh giá thành công trên tác vụ đó. Học liên tục được đánh giá trên cả tác vụ mới lẫn mọi tác vụ trước đó.
- Học trực tuyến: Học trực tuyến cập nhật model từng ví dụ hoặc mini-batch khi dữ liệu được truyền vào, thường chỉ áp dụng cho một tác vụ và không nhất thiết phải xử lý vấn đề quên.
- Học theo chương trình: Học theo chương trình sắp xếp các ví dụ của một tác vụ cố định từ dễ đến khó, còn học liên tục xử lý một chuỗi tác vụ hoặc phân phối khác nhau.
- Học máy có chọn lọc: Học máy có chọn lọc đi theo hướng ngược lại, chủ động loại bỏ ảnh hưởng của dữ liệu huấn luyện cụ thể khỏi model, chẳng hạn để đáp ứng yêu cầu xóa dữ liệu theo quyền được lãng quên trong GDPR.










