Fine-tuning

Fine-tuning là quy trình tiếp tục huấn luyện một model đã được huấn luyện trên dataset lớn, cập nhật một phần hoặc toàn bộ trọng số của model trên dataset nhỏ hơn, dành riêng cho tác vụ. Trọng số model được huấn luyện trước đã mã hóa kiến thức tổng quát, chẳng hạn cạnh, kết cấu và hình dạng trong model thị giác, hoặc ngữ pháp và sự kiện trong model ngôn ngữ lớn (LLM); vì vậy, fine-tuning đạt độ chính xác cao với ít dữ liệu được gán nhãn và tài nguyên tính toán hơn nhiều so với huấn luyện từ trọng số ngẫu nhiên. Đây là cách phổ biến nhất để thực hiện transfer learning, đồng thời là phương pháp tạo phần lớn model phát hiện đối tượng tùy chỉnh và trợ lý chat từ foundation model được huấn luyện trước.

Fine-tuning hoạt động như thế nào#

Một lần chạy fine-tuning nạp trọng số được huấn luyện trước, thay thế hoặc điều chỉnh kích thước bất kỳ lớp nào gắn với tác vụ ban đầu, chẳng hạn classifier hoặc head phát hiện, rồi huấn luyện trên dữ liệu mới bằng hàm loss và optimizer thông thường. Ba lựa chọn quyết định mức độ giữ lại của model ban đầu:

• Learning rate: Fine-tuning dùng learning rate thấp hơn so với giai đoạn pretraining, thường sau một khoảng warmup ngắn, để các lần cập nhật tinh chỉnh đặc trưng đã học thay vì ghi đè chúng. ULMFiT tiến xa hơn với learning rate phân biệt, giảm learning rate theo hệ số 2,6 cho mỗi lớp thấp hơn lớp trên cùng.
• Các lớp được huấn luyện: Đóng băng các lớp đầu của backbone giúp giữ nguyên đặc trưng tổng quát, giảm mức dùng bộ nhớ và hạn chế nguy cơ overfitting trên dataset nhỏ. Mở băng dần sẽ huấn luyện head mới trước, sau đó mở các lớp sâu hơn.
• Thời lượng huấn luyện: Model càng huấn luyện lâu chỉ trên dữ liệu mới, model càng mất nhiều kỹ năng ban đầu do quên thảm họa.

Cấu hình phù hợp phụ thuộc vào bộ nhớ hiện có, lượng dữ liệu được gán nhãn và mức độ cần thiết của các kỹ năng ban đầu:

Fine-tuning toàn phần và fine-tuning tiết kiệm tham số#

Fine-tuning toàn phần cập nhật mọi trọng số; với LLM có 7 tỷ tham số, điều đó có nghĩa là phải lưu gradient và trạng thái optimizer cho 7 tỷ giá trị, đồng thời lưu một bản sao model hoàn chỉnh cho mỗi tác vụ. Fine-tuning tiết kiệm tham số (PEFT) đóng băng trọng số đã huấn luyện trước và thay vào đó huấn luyện một tập nhỏ các tham số được thêm vào hoặc chọn lọc; thư viện PEFT của Hugging Face triển khai các phương pháp phổ biến. LoRA thêm các ma trận hạng thấp có thể huấn luyện bên cạnh ma trận trọng số đã đóng băng; so với fine-tuning toàn phần GPT-3 175B bằng Adam, LoRA giảm số tham số có thể huấn luyện 10.000 lần và giảm bộ nhớ GPU 3 lần. QLoRA huấn luyện adapter LoRA trên model nền được lượng tử hóa 4-bit, giúp có thể fine-tune model 65B tham số trên một GPU 48 GB.

LLM trải qua một số giai đoạn fine-tuning sau pretraining. Tuning theo chỉ dẫn huấn luyện trên các cặp prompt và phản hồi; sau đó, các phương pháp dựa trên preference như học tăng cường từ phản hồi của con người (RLHF) và tối ưu hóa preference trực tiếp (DPO) điều chỉnh phản hồi theo sở thích của con người.

Fine-tuning và các thuật ngữ liên quan#

• Transfer learning: Ý tưởng rộng hơn về việc tái sử dụng model được huấn luyện cho một tác vụ cho một tác vụ khác. Fine-tuning cập nhật trọng số đã huấn luyện trước, còn trích xuất đặc trưng giữ nguyên các trọng số này và chỉ huấn luyện một head mới.
• Huấn luyện từ đầu: Bắt đầu từ trọng số ngẫu nhiên và cần nhiều dữ liệu được gán nhãn cùng tài nguyên tính toán hơn đáng kể. Phương pháp này phù hợp với kiến trúc mới và các miền ít tương đồng với mọi dữ liệu pretraining hiện có.
• Thăm dò tuyến tính: Chỉ huấn luyện classifier tuyến tính trên các đặc trưng đã đóng băng, thường để đo lường mức độ biểu diễn được huấn luyện trước đã nắm bắt thông tin.
• Prompt engineering và tạo sinh tăng cường truy xuất (RAG): Thay đổi hành vi của LLM thông qua đầu vào mà không động đến trọng số.

Fine-tuning bộ phát hiện đối tượng#

Gọi train() với checkpoint YOLO26 được huấn luyện trước và dataset mới sẽ fine-tune model: mọi trọng số tương thích đều được chuyển sang; cls_remap=True mặc định sao chép các hàng classifier có tên lớp trùng khớp, vì vậy trên dataset Động vật hoang dã châu Phi, đầu ra cho voi và ngựa vằn bắt đầu từ các hàng đã được huấn luyện trên COCO, trong khi trâu rừng và tê giác—những lớp không có trong COCO—bắt đầu từ đầu.

from ultralytics import YOLO

# # Nạp trọng số YOLO26n được huấn luyện trước trên COCO; YOLO("yolo26n.yaml") sẽ huấn luyện từ đầu
model = YOLO("yolo26n.pt")

# # Fine-tune trên 1,052 ảnh huấn luyện gồm trâu rừng, voi, tê giác và ngựa vằn
results = model.train(data="african-wildlife.yaml", epochs=30, imgsz=640)

Trong lần chạy 30 epoch này, optimizer="auto" mặc định chọn AdamW cùng lr0=0.00125, một learning rate được tính từ 4 lớp của dataset, vì lần chạy có ít hơn 10.000 iteration.