Học chuyển giao

Học chuyển giao là một kỹ thuật học máy (ML) trong đó một mô hình được phát triển cho một nhiệm vụ được tái sử dụng làm điểm khởi đầu cho một mô hình trên một nhiệm vụ thứ hai, có liên quan. Thay vì xây dựng một mô hình từ đầu, đòi hỏi một lượng lớn dữ liệu và tài nguyên tính toán, học chuyển giao tận dụng kiến thức—chẳng hạn như các đặc trưng, trọng số và mẫu—học được từ một nhiệm vụ nguồn. Phương pháp này rất hiệu quả và đã trở thành nền tảng của học sâu hiện đại, đặc biệt là trong thị giác máy tính (CV). Bằng cách sử dụng một mô hình được huấn luyện trước, các nhà phát triển có thể đạt được hiệu suất cao hơn với ít dữ liệu hơn đáng kể và thời gian huấn luyện ngắn hơn.

Cách hoạt động của Transfer Learning

Ý tưởng cốt lõi của học chuyển giao (transfer learning) là một mô hình được huấn luyện trên một tập dữ liệu lớn và tổng quát, chẳng hạn như ImageNet cho phân loại ảnh, đã học được cách nhận dạng các đặc trưng phổ quát như cạnh, kết cấu và hình dạng. Kiến thức nền tảng này được lưu trữ trong các lớp ban đầu của mô hình, thường được gọi là backbone.

Quy trình này thường bao gồm hai bước chính:

1. Bắt đầu với Mô hình Được Huấn luyện Trước: Một mô hình đã được huấn luyện trước đó trên một tập dữ liệu benchmark lớn được chọn. Ví dụ: hầu hết các mô hình Ultralytics YOLO đều đi kèm với các trọng số được huấn luyện trước trên tập dữ liệu COCO. Các mô hình này đã có sự hiểu biết mạnh mẽ về các đặc trưng đối tượng chung.
2. Tinh chỉnh: Mô hình được đào tạo trước sau đó được điều chỉnh cho một nhiệm vụ cụ thể mới. Sự điều chỉnh này, được gọi là tinh chỉnh, bao gồm việc đào tạo thêm mô hình trên một bộ dữ liệu nhỏ hơn, dành riêng cho nhiệm vụ. Trong giai đoạn này, tốc độ học thường được giữ ở mức thấp để thực hiện các điều chỉnh nhỏ đối với trọng số của mô hình mà không làm mất các tính năng đã học trước có giá trị. Để có hướng dẫn chi tiết, bạn có thể tham khảo hướng dẫn PyTorch về học chuyển giao.

Các Ứng dụng Thực tế

Học chuyển giao không chỉ là một khái niệm lý thuyết; nó có các ứng dụng thực tế trong nhiều ngành công nghiệp.

• Phân tích ảnh y tế: Một mô hình có thể được huấn luyện trước trên bộ dữ liệu ImageNet tổng quát và sau đó được tinh chỉnh để phát hiện các dị thường cụ thể như khối u não từ ảnh chụp MRI. Vì dữ liệu y tế được gán nhãn thường khan hiếm và tốn kém để thu thập, nên học chuyển giao cho phép tạo ra các công cụ chẩn đoán chính xác mà không cần hàng triệu ảnh y tế. Để biết thêm thông tin về điều này, hãy xem cách AI đang tạo ra một kỷ nguyên mới về độ chính xác trong радиолог.
• Xe tự hành: Một mô hình phát hiện đối tượng có thể được huấn luyện trước trên một bộ dữ liệu khổng lồ gồm hình ảnh đường phố và sau đó được một nhà sản xuất ô tô cụ thể tinh chỉnh để nhận dạng các kiểu xe độc đáo hoặc hoạt động trong các điều kiện thời tiết cụ thể. Điều này tận dụng kiến thức hiện có về ô tô, người đi bộ và biển báo, đẩy nhanh quá trình phát triển và cải thiện độ an toàn.

Học chuyển giao so với các khái niệm liên quan

Điều quan trọng là phải phân biệt học chuyển giao với các kỹ thuật ML khác:

• Mô hình nền tảng (Foundation Models): Đây là các mô hình quy mô lớn được huấn luyện trước trên một lượng lớn dữ liệu, được thiết kế đặc biệt để được điều chỉnh cho các tác vụ hạ nguồn khác nhau. Học chuyển giao (Transfer learning) là quá trình điều chỉnh các mô hình nền tảng này.
• Học không cần dữ liệu (Zero-Shot Learning): Kỹ thuật này cho phép một mô hình nhận ra các lớp mà nó chưa thấy trong quá trình huấn luyện. Trong khi học chuyển giao (transfer learning) điều chỉnh một mô hình cho một tác vụ mới với một số dữ liệu mới, thì học không cần dữ liệu (zero-shot learning) hướng đến mục tiêu khái quát hóa mà không cần bất kỳ ví dụ nào về các lớp mới. Hướng dẫn của chúng tôi về Few-Shot, Zero-Shot và Transfer Learning giải thích những khác biệt này chi tiết hơn.
• Chưng cất tri thức (Knowledge Distillation): Điều này liên quan đến việc đào tạo một mô hình "học sinh" nhỏ hơn để bắt chước hành vi của một mô hình "giáo viên" lớn hơn để đạt được hiệu quả. Transfer learning tập trung vào việc điều chỉnh kiến thức từ một tác vụ sang một tác vụ khác, trong khi distillation tập trung vào việc nén kiến thức trong cùng một tác vụ.

Công Cụ và Framework

Việc áp dụng học chuyển giao (transfer learning) trở nên dễ dàng hơn thông qua nhiều công cụ và nền tảng. Các framework như PyTorch và TensorFlow cung cấp tài liệu mở rộng và các mô hình đã được huấn luyện trước. Các nền tảng như Ultralytics HUB sắp xếp hợp lý toàn bộ quy trình làm việc, cho phép người dùng dễ dàng tải các mô hình đã được huấn luyện trước như YOLOv8 và YOLO11, thực hiện huấn luyện tùy chỉnh trên các tập dữ liệu mới và quản lý triển khai mô hình. Để hiểu sâu hơn về lý thuyết, các tài liệu như tổng quan về học chuyển giao của Stanford CS231n là vô giá.