Chuyển giao học tập

Học chuyển giao là một kỹ thuật học máy (ML), trong đó một mô hình được phát triển cho một tác vụ được sử dụng lại làm điểm khởi đầu cho một mô hình khác cho tác vụ thứ hai có liên quan. Thay vì xây dựng một mô hình từ đầu, vốn đòi hỏi một lượng lớn dữ liệu và tài nguyên tính toán, học chuyển giao tận dụng kiến thức - chẳng hạn như các đặc trưng, trọng số và mẫu - học được từ một tác vụ nguồn. Phương pháp này cực kỳ hiệu quả và đã trở thành nền tảng của học sâu hiện đại, đặc biệt là trong thị giác máy tính (CV) . Bằng cách sử dụng một mô hình được đào tạo trước, các nhà phát triển có thể đạt được hiệu suất cao hơn với lượng dữ liệu ít hơn đáng kể và thời gian đào tạo ngắn hơn.

Học chuyển giao hoạt động như thế nào

Ý tưởng cốt lõi đằng sau học chuyển giao là một mô hình được đào tạo trên một tập dữ liệu lớn và tổng quát, chẳng hạn như ImageNet để phân loại hình ảnh, đã học cách nhận dạng các đặc điểm phổ biến như cạnh, kết cấu và hình dạng. Kiến thức nền tảng này được lưu trữ trong các lớp ban đầu của mô hình, thường được gọi là xương sống .

Quá trình này thường bao gồm hai bước chính:

1. Bắt đầu với Mô hình được Đào tạo Trước : Một mô hình đã được đào tạo trước đó trên một tập dữ liệu chuẩn lớn sẽ được chọn. Ví dụ: hầu hết các mô hình YOLO của Ultralytics đều có trọng số được đào tạo trước trên tập dữ liệu COCO . Các mô hình này đã có hiểu biết sâu sắc về các đặc điểm chung của đối tượng.
2. Tinh chỉnh : Mô hình đã được đào tạo trước sau đó được điều chỉnh cho phù hợp với một tác vụ cụ thể mới. Quá trình điều chỉnh này, được gọi là tinh chỉnh , bao gồm việc đào tạo thêm mô hình trên một tập dữ liệu nhỏ hơn, dành riêng cho tác vụ cụ thể. Trong giai đoạn này, tốc độ học thường được giữ ở mức thấp để thực hiện các điều chỉnh nhỏ cho trọng số của mô hình mà không làm mất các đặc điểm đã học trước có giá trị. Để biết hướng dẫn chi tiết, bạn có thể tham khảo hướng dẫn PyTorch về học chuyển giao .

Ứng dụng trong thế giới thực

Học chuyển giao không chỉ là một khái niệm lý thuyết; nó có ứng dụng thực tế trong nhiều ngành công nghiệp.

• Phân tích hình ảnh y tế : Một mô hình có thể được đào tạo trước trên tập dữ liệu ImageNet chung và sau đó được tinh chỉnh để phát hiện các bất thường cụ thể như khối u não từ ảnh chụp MRI. Do dữ liệu y tế được gắn nhãn thường khan hiếm và tốn kém, việc thu thập dữ liệu chuyển giao cho phép tạo ra các công cụ chẩn đoán chính xác mà không cần hàng triệu hình ảnh y tế. Để biết thêm thông tin về điều này, hãy xem cách AI đang tạo ra một kỷ nguyên mới về độ chính xác trong X quang .
• Xe tự hành : Mô hình phát hiện vật thể có thể được đào tạo trước trên một tập dữ liệu lớn hình ảnh đường xá, sau đó được tinh chỉnh bởi một nhà sản xuất ô tô cụ thể để nhận dạng các mẫu xe riêng biệt hoặc hoạt động trong điều kiện thời tiết cụ thể. Điều này tận dụng kiến thức hiện có về ô tô, người đi bộ và biển báo, giúp đẩy nhanh quá trình phát triển và cải thiện an toàn.

Chuyển giao học tập so với các khái niệm liên quan

Điều quan trọng là phải phân biệt học chuyển giao với các kỹ thuật ML khác:

• Mô hình nền tảng : Đây là những mô hình quy mô lớn được đào tạo trước trên một lượng lớn dữ liệu, được thiết kế đặc biệt để thích ứng với nhiều tác vụ hạ nguồn khác nhau. Học chuyển giao là quá trình thích ứng các mô hình nền tảng này.
• Học Zero-Shot : Kỹ thuật này cho phép mô hình nhận ra các lớp mà nó chưa từng thấy trong quá trình huấn luyện. Trong khi học chuyển giao điều chỉnh mô hình cho phù hợp với một tác vụ mới với một số dữ liệu mới, học Zero-Shot hướng đến việc khái quát hóa mà không cần bất kỳ ví dụ nào về các lớp mới. Hướng dẫn của chúng tôi về Few-Shot, Zero-Shot và Học Chuyển Giao sẽ giải thích chi tiết hơn về những khác biệt này.
• Chắt lọc kiến thức : Điều này bao gồm việc đào tạo một mô hình "học viên" nhỏ hơn để mô phỏng hành vi của một mô hình "giáo viên" lớn hơn nhằm đạt được hiệu quả. Học chuyển giao tập trung vào việc áp dụng kiến thức từ nhiệm vụ này sang nhiệm vụ khác, trong khi chắt lọc tập trung vào việc cô đọng kiến thức trong cùng một nhiệm vụ.

Công cụ và Khung

Việc áp dụng học chuyển giao có thể được thực hiện dễ dàng thông qua nhiều công cụ và nền tảng khác nhau. Các nền tảng như PyTorch và TensorFlow cung cấp tài liệu hướng dẫn chi tiết và các mô hình được đào tạo sẵn. Các nền tảng như Ultralytics HUB hợp lý hóa toàn bộ quy trình làm việc, cho phép người dùng dễ dàng tải các mô hình được đào tạo sẵn như YOLOv8 và YOLO11 , thực hiện đào tạo tùy chỉnh trên các tập dữ liệu mới và quản lý việc triển khai mô hình . Để hiểu sâu hơn về mặt lý thuyết, các tài nguyên như tổng quan về học chuyển giao Stanford CS231n là vô cùng hữu ích.