Học chuyển giao

Học chuyển giao là một kỹ thuật học máy, trong đó một mô hình được phát triển cho một tác vụ được sử dụng lại làm điểm khởi đầu cho một mô hình khác trong tác vụ thứ hai có liên quan. Thay vì huấn luyện một mô hình từ đầu, vốn đòi hỏi một lượng lớn dữ liệu huấn luyện và tài nguyên tính toán, học chuyển giao tận dụng kiến thức - chẳng hạn như bản đồ đặc trưng, trọng số và mẫu - học được từ tác vụ nguồn. Phương pháp này là nền tảng của học sâu hiện đại, đặc biệt là trong thị giác máy tính (CV) , cho phép các nhà phát triển đạt được độ chính xác cao với lượng dữ liệu ít hơn đáng kể và thời gian huấn luyện ngắn hơn.

Cách hoạt động của Transfer Learning

Quá trình này dựa trên khả năng học các biểu diễn đặc trưng phân cấp của mạng nơ-ron . Ở các lớp đầu tiên của mô hình, thường được gọi là xương sống , mạng nơ-ron học các đặc trưng thị giác phổ quát như cạnh, kết cấu và hình dạng. Các đặc trưng này có thể áp dụng cho hầu hết mọi tác vụ thị giác.

Học chuyển giao thường bao gồm hai giai đoạn chính:

1. Tiền huấn luyện : Một mô hình được huấn luyện trên một tập dữ liệu chuẩn lớn như ImageNet (để phân loại) hoặc COCO (để phát hiện). Mô hình được huấn luyện trước kết quả có khả năng hiểu biết sâu sắc về các cấu trúc thị giác tổng quát.
2. Tinh chỉnh : Mô hình được đào tạo trước sẽ được điều chỉnh cho phù hợp với một tác vụ cụ thể mới. Trong quá trình tinh chỉnh , mô hình được đào tạo trên một tập dữ liệu nhỏ hơn, dành riêng cho tác vụ đó. Thông thường, trọng số của các lớp ban đầu được "đóng băng" (giữ nguyên) để bảo toàn các đặc trưng đã học, trong khi chỉ các lớp cuối cùng ( đầu phát hiện hoặc bộ phân loại) mới được cập nhật.

Để tìm hiểu sâu hơn về lý thuyết, tài liệu Stanford CS231n về Chuyển giao học tập cung cấp một nguồn tài liệu tuyệt vời.

Lợi ích và sự liên quan

Học chuyển giao giải quyết thách thức chung về sự khan hiếm dữ liệu. Bằng cách bắt đầu với các đặc trưng đã được học trước, các mô hình tránh được hiện tượng quá khớp trên các tập dữ liệu nhỏ và hội tụ nhanh hơn nhiều so với các mô hình được khởi tạo với trọng số ngẫu nhiên.

• Hiệu quả : Giảm thời gian đào tạo từ vài ngày hoặc vài tuần xuống còn vài giờ.
• Hiệu suất : Thường mang lại Độ chính xác và Khả năng nhớ lại cao hơn vì mô hình bắt đầu bằng sự hiểu biết "thông thường" về hình ảnh.
• Khả năng truy cập : Cho phép người dùng tạo các ứng dụng AI mạnh mẽ mà không cần đến các cụm máy tính khổng lồ thường được các công ty công nghệ lớn sử dụng.

Các Ứng dụng Thực tế

Chuyển giao sức mạnh học tập cho các giải pháp AI được sử dụng rộng rãi trong nhiều ngành công nghiệp khác nhau:

• Phân tích hình ảnh y tế : Các mô hình được đào tạo trước trên hình ảnh chung (như mèo và chó) được tinh chỉnh để detect Các bất thường trong chụp X-quang hoặc chụp MRI. Ví dụ, các nhà nghiên cứu sử dụng YOLO11 để detect khối u não với độ chính xác cao, mặc dù dữ liệu y tế được gắn nhãn còn hạn chế.
• Trí tuệ nhân tạo trong nông nghiệp : Một mô hình phát hiện vật thể chung có thể được điều chỉnh để xác định các bệnh cây trồng cụ thể hoặc theo dõi sức khỏe cây trồng. Điều này cho phép các công cụ canh tác chính xác detect quả chín hoặc cỏ dại theo thời gian thực.

Học chuyển giao so với các khái niệm liên quan

Sẽ rất hữu ích khi phân biệt học chuyển giao với các thuật ngữ tương tự:

• so với Học Không-Lần-Xét : Học chuyển giao yêu cầu một số dữ liệu được gắn nhãn cho nhiệm vụ mới để tinh chỉnh mô hình. Ngược lại, học không-lần-xét cố gắng classify các đối tượng mà mô hình chưa từng thấy trước đây, chỉ dựa vào các mô tả ngữ nghĩa hoặc thuộc tính mà không có bất kỳ ví dụ đào tạo nào.
• so với Chắt lọc Kiến thức : Chắt lọc kiến thức tập trung vào việc nén mô hình, chuyển kiến thức từ mô hình "giáo viên" lớn sang mô hình "học sinh" nhỏ hơn để cải thiện hiệu quả. Học chuyển giao tập trung vào việc thích ứng với lĩnh vực, chuyển kiến thức từ một nhiệm vụ chung sang một nhiệm vụ cụ thể.

Ví dụ thực tế

Sau đây là Python Ví dụ minh họa cách áp dụng học chuyển giao bằng cách sử dụng ultralytics thư viện. Chúng tôi tải một YOLO11 mô hình được đào tạo trước trên COCO và tinh chỉnh nó trên một tập dữ liệu mẫu.

from ultralytics import YOLO

# Load a pre-trained model (weights derived from the COCO dataset)
# This acts as our starting point for transfer learning
model = YOLO("yolo11n.pt")

# Fine-tune the model on a new dataset (e.g., COCO8)
# The model adapts its pre-learned features to the specific data
model.train(data="coco8.yaml", epochs=5)

# The updated model can now be used for inference on the new task
model.predict("path/to/image.jpg")

Để biết thêm chi tiết về cách triển khai, hãy tham khảo Hướng dẫn học chuyển giao PyTorch chính thức hoặc Hướng dẫn học chuyển giao TensorFlow .