Transfer Learning

Học chuyển giao là một kỹ thuật học máy tái sử dụng model đã được huấn luyện cho một tác vụ làm điểm khởi đầu cho tác vụ liên quan. Huấn luyện một mạng nơ-ron từ các trọng số ngẫu nhiên đòi hỏi tập dữ liệu gán nhãn lớn và tài nguyên tính toán đáng kể, trong khi model được tiền huấn luyện trên hàng triệu ảnh đã học được các đặc trưng thị giác cần thiết cho hầu hết tác vụ mới. Bắt đầu từ trọng số model đã học đó, model mới đạt độ chính xác cao với ít ảnh gán nhãn hơn nhiều và chỉ mất một phần nhỏ thời gian huấn luyện, đó là lý do học chuyển giao là phương pháp mặc định để xây dựng model thị giác máy tính cho các tác vụ tùy chỉnh.

Cách thức hoạt động của transfer learning#

Học chuyển giao hiệu quả vì mạng sâu học các đặc trưng theo thứ bậc. Các lớp đầu tiên của backbone phản hồi với cạnh, màu sắc và kết cấu xuất hiện trong hầu hết mọi ảnh, còn các lớp sâu hơn kết hợp chúng thành bộ phận của đối tượng và khái niệm đặc thù cho tác vụ. Một nghiên cứu của Yosinski và cộng sự đã đo lường quá trình này trong các mạng tích chập, phát hiện rằng đặc trưng ở lớp đầu tiên có tính tổng quát, khả năng chuyển giao giảm ở các lớp cao hơn khi đặc trưng chuyên biệt hóa cho tác vụ ban đầu, và đặc trưng được chuyển giao cải thiện khả năng tổng quát hóa ngay cả sau khi fine-tune trên tập dữ liệu mới.

Quy trình gồm hai giai đoạn:

1. Tiền huấn luyện: Model học các biểu diễn tổng quát trên một tập dữ liệu benchmark lớn như ImageNet, COCO hoặc Objects365, tạo ra một tập trọng số đã tiền huấn luyện.
2. Thích nghi: Các lớp đầu ra, chẳng hạn như bộ phân loại hoặc đầu phát hiện, được thay thế hoặc điều chỉnh kích thước cho các lớp mới rồi huấn luyện trên tập dữ liệu đích. Với phương pháp trích xuất đặc trưng, các lớp đã tiền huấn luyện được giữ cố định và chỉ các lớp mới được học. Với fine-tune, một số hoặc toàn bộ lớp đã tiền huấn luyện cũng được cập nhật, thường với learning rate thấp hơn.

Mức độ cần huấn luyện lại mạng phụ thuộc vào hai câu hỏi: tác vụ mới có bao nhiêu dữ liệu gán nhãn và tác vụ đó giống dữ liệu tiền huấn luyện đến mức nào. Ghi chú CS231n của Stanford trình bày bốn trường hợp tương ứng:

Học chuyển giao cho phát hiện đối tượng#

Model detection hầu như luôn được huấn luyện bằng transfer learning: checkpoint YOLO26 chính thức được pretrained trên Objects365 trong 150 epoch trước khi fine-tune trên COCO, như tài liệu công thức huấn luyện YOLO26 mô tả. Gọi train() trên checkpoint đã tải cùng bộ dữ liệu mới sẽ chuyển mọi trọng số tương thích, đặt lại các hàng đầu ra riêng cho lớp khi số lớp thay đổi nhưng giữ lại hàng có tên lớp trùng khớp, đồng thời chấp nhận đối số freeze để giữ cố định các lớp đầu; cách này đặc biệt hữu ích với bộ dữ liệu nhỏ.

from ultralytics import YOLO

# Tải trọng số YOLO26n đã tiền huấn luyện trên 80 lớp của COCO
model = YOLO("yolo26n.pt")

# Thích nghi với tập dữ liệu mới có một lớp; freeze=10 giữ cố định 10 lớp đầu tiên
results = model.train(data="medical-pills.yaml", epochs=20, freeze=10)

Backbone đã tiền huấn luyện có thể phát hiện hình dạng, cạnh và kết cấu, vì vậy quá trình huấn luyện chỉ cần học hình dáng của một viên thuốc từ 92 ảnh huấn luyện đã gán nhãn trong tập dữ liệu Medical Pills.

Học chuyển giao và các thuật ngữ liên quan#

• Fine-tune: Một cách thực hiện học chuyển giao, trong đó trọng số đã tiền huấn luyện tiếp tục được cập nhật trên dữ liệu mới. Trích xuất đặc trưng với backbone được giữ cố định là phương pháp chính còn lại.
• Thích nghi miền: Một hình thức học chuyển giao trong đó tác vụ không đổi nhưng phân phối dữ liệu thay đổi, chẳng hạn từ ảnh ban ngày sang ảnh ban đêm, thường với ít hoặc không có nhãn đích.
• Học zero-shot và học few-shot: Xử lý các lớp mới mà không cần ví dụ gán nhãn hoặc chỉ cần một vài ví dụ, dựa vào kiến thức tổng quát của model đã tiền huấn luyện thay vì một giai đoạn thích nghi đầy đủ.
• Fine-tune hiệu quả tham số (PEFT): Thích nghi các model đã tiền huấn luyện rất lớn bằng cách huấn luyện một tập nhỏ các tham số được thêm vào hoặc chọn lọc, chẳng hạn các ma trận LoRA, trong khi trọng số ban đầu vẫn được giữ cố định.
• Quên thảm họa: Mất đi các kỹ năng của tác vụ ban đầu khi fine-tune model trên dữ liệu mới. Việc trộn một số ảnh thuộc các lớp ban đầu vào tập huấn luyện mới hoặc giữ cố định nhiều lớp hơn sẽ hạn chế hiện tượng này.