Transfer Learning

Học chuyển giao là một kỹ thuật mạnh mẽ trong học máy (ML), trong đó một model được phát triển cho một tác vụ cụ thể được tái sử dụng làm điểm khởi đầu cho một model phục vụ tác vụ thứ hai có liên quan. Thay vì huấn luyện một mạng neuron từ đầu—đòi hỏi các tập dữ liệu khổng lồ và năng lực tính toán đáng kể—các developer tận dụng kiến thức mà AI đã học được. Cách tiếp cận này mô phỏng cách con người học; ví dụ, biết chơi piano sẽ giúp việc học đàn organ dễ dàng hơn nhiều vì nền tảng hiểu biết về lý thuyết âm nhạc và sự khéo léo của ngón tay có thể được chuyển giao. Trong bối cảnh deep learning, điều này có nghĩa là một model có thể đạt độ chính xác cao trên một bài toán mới với ít dữ liệu và thời gian hơn đáng kể.

Cách học chuyển giao hoạt động#

Hiệu quả của học chuyển giao nằm ở tính phân cấp của trích xuất đặc trưng. Các model deep learning, đặc biệt là những model được sử dụng trong thị giác máy tính, học cách nhận diện các mẫu qua từng lớp. Các lớp ban đầu của backbone phát hiện những đặc trưng đơn giản, mang tính phổ quát như cạnh, đường cong và kết cấu. Những đặc trưng cấp thấp này có thể áp dụng cho hầu hết mọi tác vụ thị giác.

Quy trình này thường gồm hai giai đoạn chính:

1. Tiền huấn luyện: Một model được huấn luyện trên một tập dữ liệu benchmark quy mô lớn, chẳng hạn như ImageNet, để học các biểu diễn thị giác tổng quát. Kết quả là một tập hợp trọng số model đã có khả năng hiểu cấu trúc thị giác.

2. Thích nghi: Model đã tiền huấn luyện sau đó được điều chỉnh cho một tác vụ chuyên biệt cụ thể. Việc này thường được thực hiện bằng cách “đóng băng” các lớp đầu (giữ nguyên trọng số của chúng) và chỉ huấn luyện lại các lớp cuối hoặc detection head trên một tập dữ liệu tùy chỉnh nhỏ hơn.

Các ứng dụng trong thực tế#

Học chuyển giao đã dân chủ hóa AI bằng cách cho phép xây dựng các giải pháp chuyên biệt mà không cần đến nguồn lực của Big Tech.

• AI trong y tế: Việc thu thập hàng triệu ảnh y tế được gắn nhãn cho từng bệnh cụ thể là rất khó. Tuy nhiên, các nhà nghiên cứu có thể sử dụng một model được tiền huấn luyện trên các vật thể đời thường và áp dụng nó vào phân tích ảnh y tế. Model chuyển giao khả năng phát hiện hình dạng và bất thường để xác định khối u trong ảnh X-quang hoặc ảnh MRI với độ chính xác cao.
• AI trong sản xuất: Trong môi trường công nghiệp, các hệ thống kiểm tra bằng thị giác phải nhanh chóng thích nghi với những dòng sản phẩm mới. Một model phát hiện lỗi tổng quát có thể nhanh chóng được cập nhật để phát hiện khiếm khuyết trên một linh kiện mới cụ thể, chẳng hạn như vi mạch, bằng cách sử dụng các quy trình sản xuất thông minh nhằm giảm thiểu thời gian ngừng hoạt động.

Mối quan hệ với các khái niệm khác#

Việc phân biệt học chuyển giao với các thuật ngữ liên quan chặt chẽ là rất hữu ích:

• so với Fine-Tuning: Fine-tuning là một phương pháp cụ thể để triển khai học chuyển giao. Trong khi học chuyển giao là khái niệm tổng quát về việc tái sử dụng kiến thức, fine-tuning đề cập đến quy trình cơ học mở khóa các phần của model và huấn luyện chúng trên dữ liệu mới với learning rate thấp hơn.
• so với Zero-Shot Learning: Học chuyển giao yêu cầu một giai đoạn huấn luyện với một phần dữ liệu được gắn nhãn cho tác vụ mới. Ngược lại, học zero-shot cố gắng phân loại những vật thể mà model chưa từng nhìn thấy, thường dựa vào các mô tả ngữ nghĩa thay vì các ví dụ trực quan.

Ví dụ thực tế#

Đoạn mã Python sau đây minh họa học chuyển giao bằng thư viện ultralytics. Chúng ta tải model YOLO26, đi kèm với các trọng số đã tiền huấn luyện được tạo ra từ tập dữ liệu COCO. Khi bắt đầu huấn luyện trên một tập dữ liệu mới, model sẽ tự động chuyển các đặc trưng đã học trước đó sang tác vụ mới.

from ultralytics import YOLO

# Load a pre-trained YOLO26 model (transferring weights from COCO)
model = YOLO("yolo26n.pt")

# Train the model on a new, smaller dataset to adapt its knowledge
# This leverages the pre-learned backbone for faster convergence
results = model.train(data="coco8.yaml", epochs=5)

Để quản lý các tập dữ liệu và thực thi những lượt huấn luyện này trên cloud, các công cụ như Ultralytics Platform giúp tinh gọn quy trình, cho phép các team cộng tác trong việc gắn nhãn dữ liệu và triển khai hiệu quả các model đã học chuyển giao.

Để tìm hiểu sâu hơn về lý thuyết học thuật, ghi chú Stanford CS231n cung cấp một phần tổng quan xuất sắc, trong khi hướng dẫn Học chuyển giao bằng PyTorch trình bày nhiều chi tiết kỹ thuật về triển khai.