Tinh chỉnh hiệu quả tham số (PEFT)

Tinh chỉnh hiệu quả tham số (PEFT) là một tập hợp các kỹ thuật được sử dụng trong học máy để điều chỉnh các mô hình tiền huấn luyện lớn cho các tác vụ cụ thể mới mà không cần phải huấn luyện lại toàn bộ mô hình. Khi các mô hình nền tảng trong các lĩnh vực như Xử lý ngôn ngữ tự nhiên (NLP) và Thị giác máy tính (CV) phát triển lên hàng tỷ tham số, tinh chỉnh toàn bộ trở nên tốn kém về mặt tính toán và đòi hỏi dung lượng lưu trữ dữ liệu đáng kể cho mỗi tác vụ mới. PEFT giải quyết vấn đề này bằng cách đóng băng phần lớn trọng số của mô hình tiền huấn luyện và chỉ huấn luyện một số lượng nhỏ các tham số bổ sung hoặc hiện có. Cách tiếp cận này giúp giảm đáng kể chi phí tính toán và lưu trữ, giảm nguy cơ quên thảm họa (khi một mô hình quên đi các khả năng ban đầu của nó) và giúp có thể tùy chỉnh một mô hình lớn duy nhất cho nhiều ứng dụng khác nhau.

PEFT hoạt động như thế nào?

Nguyên tắc cốt lõi đằng sau PEFT là thực hiện các thay đổi tối thiểu, có mục tiêu vào một mô hình tiền huấn luyện. Thay vì cập nhật mọi tham số, các phương pháp PEFT giới thiệu một tập hợp nhỏ các tham số có thể huấn luyện hoặc chọn một tập hợp con rất nhỏ các tham số hiện có để cập nhật trong quá trình huấn luyện. Đây là một hình thức học chuyển giao (transfer learning) tối ưu hóa cho hiệu quả. Có một số phương pháp PEFT phổ biến, mỗi phương pháp có một chiến lược khác nhau:

• LoRA (Low-Rank Adaptation - Thích ứng hạng thấp): Kỹ thuật này chèn các ma trận hạng thấp có thể huấn luyện nhỏ vào các lớp của mô hình đã được huấn luyện trước, thường là trong cơ chế attention. Các ma trận "adapter" này nhỏ hơn đáng kể so với các ma trận trọng số ban đầu, giúp quá trình huấn luyện nhanh chóng và hiệu quả. Nghiên cứu gốc về LoRA cung cấp chi tiết kỹ thuật hơn.
• Tinh chỉnh Prompt (Prompt Tuning): Thay vì sửa đổi kiến trúc của mô hình, phương pháp này giữ cho mô hình hoàn toàn đóng băng và học một tập hợp các "prompt mềm" hoặc các vectơ embedding có thể huấn luyện. Các vectơ này được thêm vào chuỗi đầu vào để hướng dẫn đầu ra của mô hình cho một tác vụ cụ thể, như được trình bày chi tiết trong bài báo nền tảng của nó.
• Điều chỉnh bộ điều hợp: Phương pháp này bao gồm việc chèn các mô-đun mạng nơ-ron kết nối đầy đủ nhỏ, được gọi là "bộ điều hợp", giữa các lớp của mô hình được đào tạo trước. Chỉ các tham số của các bộ điều hợp mới này được đào tạo.

Những phương pháp này và các phương pháp khác có thể dễ dàng truy cập thông qua các framework như Hugging Face PEFT library, giúp đơn giản hóa việc triển khai chúng.

So sánh PEFT với các khái niệm liên quan

Điều quan trọng là phân biệt PEFT với các chiến lược điều chỉnh mô hình khác:

• Tinh chỉnh toàn bộ: Ngược lại với PEFT, tinh chỉnh toàn bộ cập nhật tất cả các trọng số của một mô hình được huấn luyện trước. Điều này tốn nhiều tài nguyên, đòi hỏi một GPU mạnh mẽ và dung lượng lưu trữ lớn cho mỗi phiên bản mô hình được tinh chỉnh.
• Kỹ thuật Prompt (Prompt Engineering): Kỹ thuật này bao gồm việc thiết kế thủ công các prompt dựa trên văn bản hiệu quả để hướng dẫn hành vi của mô hình. Nó không liên quan đến bất kỳ quá trình đào tạo hoặc cập nhật tham số nào; nó hoàn toàn là về việc tạo ra đầu vào để có được đầu ra mong muốn từ một mô hình đã được huấn luyện.
• Chưng cất tri thức (Knowledge Distillation): Điều này liên quan đến việc đào tạo một mô hình "học sinh" nhỏ hơn để mô phỏng hành vi của một mô hình "giáo viên" lớn hơn, được đào tạo trước. Mặc dù nó tạo ra một mô hình nhỏ hơn, nhưng bản thân quá trình này vẫn có thể tốn nhiều tài nguyên tính toán.

Các Ứng dụng Thực tế

PEFT cho phép ứng dụng thực tế các mô hình lớn trên nhiều lĩnh vực khác nhau:

• Xử lý ngôn ngữ tự nhiên (NLP) (Natural Language Processing (NLP)): Một công ty có thể sử dụng PEFT để điều chỉnh một mô hình đa năng như GPT-4 hoặc BERT để tạo ra một chatbot chuyên dụng cho cơ sở kiến thức nội bộ của mình. Thay vì huấn luyện lại toàn bộ tốn kém, họ có thể sử dụng một phương pháp như LoRA để dạy cho mô hình các thuật ngữ và quy trình cụ thể của công ty, dẫn đến các phản hồi chính xác hơn cho dịch vụ khách hàng hoặc hỗ trợ nội bộ. Các nhóm nghiên cứu như Stanford NLP Group khám phá các loại ứng dụng này.
• Thị giác máy tính (CV): PEFT có thể tùy chỉnh các mô hình thị giác lớn như Vision Transformers (ViT) hoặc các mô hình Ultralytics YOLO cho các tác vụ nhận dạng hình ảnh cụ thể. Ví dụ, một mô hình được huấn luyện trước trên tập dữ liệu COCO rộng lớn có thể được điều chỉnh bằng PEFT để nhận diện đối tượng chính xác các khuyết tật duy nhất trong kiểm soát chất lượng sản xuất, thực hiện phân đoạn hình ảnh chuyên dụng cho phân tích hình ảnh y tế, hoặc xác định các loài động vật nhất định trong bẫy ảnh bảo tồn động vật hoang dã. Các nền tảng như Ultralytics HUB có thể giúp quản lý các mô hình và thử nghiệm đã được điều chỉnh này.

Về bản chất, Tinh chỉnh hiệu quả tham số (Parameter-Efficient Fine-Tuning) làm cho các mô hình AI hiện đại trở nên linh hoạt và hiệu quả về chi phí hơn để điều chỉnh, dân chủ hóa quyền truy cập vào các khả năng AI mạnh mẽ cho một loạt các ứng dụng cụ thể.