Parameter-Efficient Fine-Tuning (PEFT)
Khám phá Parameter-Efficient Fine-Tuning (PEFT) để tối ưu các model lớn như Ultralytics YOLO26. Tìm hiểu cách giảm chi phí compute và đạt kết quả SOTA trên GPU.
Tinh chỉnh tiết kiệm tham số (PEFT) là một chiến lược tối ưu hóa phức tạp trong học máy (ML), cho phép tùy chỉnh các model lớn đã được huấn luyện trước cho những tác vụ cụ thể, đồng thời giảm thiểu chi phí tính toán. Khi các model nền tảng hiện đại ngày càng phát triển với hàng tỷ tham số, các phương pháp huấn luyện truyền thống cập nhật mọi trọng số trong mạng đã trở nên quá tốn kém về phần cứng và năng lượng. PEFT giải quyết thách thức này bằng cách đóng băng phần lớn trọng số model đã được huấn luyện trước, chỉ cập nhật một tập con nhỏ các tham số hoặc thêm các lớp adapter nhẹ. Cách tiếp cận này hạ thấp rào cản gia nhập, cho phép nhà phát triển đạt được kết quả tiên tiến trên [GPU](https://ultralytics-translation-3.invalid cấp người dùng mà không cần đến các trung tâm dữ liệu quy mô công nghiệp.
Cơ chế của hiệu quả#
Nguyên tắc cốt lõi của PEFT dựa trên học chuyển giao, trong đó model tận dụng các biểu diễn đặc trưng được học từ những tập dữ liệu công khai khổng lồ như ImageNet để giải quyết các bài toán mới. Trong quy trình tiêu chuẩn, việc điều chỉnh một model có thể bao gồm "tinh chỉnh toàn phần", trong đó lan truyền ngược điều chỉnh mọi tham số trong mạng neural.
Các kỹ thuật PEFT, chẳng hạn như LoRA (Điều chỉnh hạng thấp), đi theo một hướng khác. Chúng giữ nguyên "backbone" nặng của model—bảo toàn kiến thức tổng quát—và chèn các ma trận nhỏ có thể huấn luyện vào những lớp cụ thể. Điều này ngăn hiện tượng quên thảm họa, tức hiện tượng model mất đi các năng lực ban đầu trong khi học thông tin mới. Bằng cách giảm số lượng tham số có thể huấn luyện tới 99%, PEFT làm giảm đáng kể yêu cầu lưu trữ và cho phép hoán đổi nhiều adapter dành riêng cho từng tác vụ vào hoặc ra khỏi một model cơ sở duy nhất trong quá trình suy luận thời gian thực.
Các ứng dụng trong thực tế#
PEFT đặc biệt có giá trị trong các ngành mà điện toán biên và quyền riêng tư dữ liệu là ưu tiên hàng đầu.
- AI trong nông nghiệp: Các startup agritech thường triển khai model trên drone với thời lượng pin và năng lực xử lý hạn chế. Với PEFT, các kỹ sư có thể sử dụng một model có hiệu quả cao như YOLO26 và tinh chỉnh model đó để phát hiện các loài sâu bệnh đặc thù theo khu vực, chẳng hạn sâu keo mùa thu, bằng một tập dữ liệu tùy chỉnh nhỏ. Nhờ đóng băng backbone, quá trình huấn luyện có thể được thực hiện nhanh chóng trên laptop, đồng thời model thu được vẫn đủ nhẹ để xử lý trên thiết bị.
- AI trong chăm sóc sức khỏe: Trong phân tích ảnh y tế, dữ liệu đã gắn nhãn thường khan hiếm và tốn kém để thu thập. Các bệnh viện sử dụng PEFT để điều chỉnh các model thị giác đa dụng nhằm xác định bất thường trong ảnh chụp MRI. Vì các tham số cơ sở được đóng băng, model ít có nguy cơ quá khớp trên tập dữ liệu nhỏ, qua đó đảm bảo hiệu năng chẩn đoán ổn định đồng thời bảo vệ quyền riêng tư dữ liệu bệnh nhân.
Triển khai các lớp đóng băng với Ultralytics#
Trong hệ sinh thái Ultralytics, hiệu quả tham số thường đạt được bằng cách "đóng băng" các lớp đầu tiên của mạng. Điều này đảm bảo các bộ trích xuất đặc trưng mạnh vẫn không thay đổi, trong khi chỉ head hoặc các lớp phía sau thích ứng với những lớp mới. Đây là một cách triển khai thực tiễn các nguyên tắc PEFT cho phát hiện đối tượng.
Ví dụ sau đây minh họa cách huấn luyện model Ultralytics YOLO26 trong khi đóng băng 10 lớp đầu tiên của backbone để tiết kiệm tài nguyên tính toán:
from ultralytics import YOLO
# Load the YOLO26 model (latest stable version)
model = YOLO("yolo26n.pt")
# Train on a custom dataset with the 'freeze' argument
# freeze=10 keeps the first 10 layers static, updating only deeper layers
results = model.train(data="coco8.yaml", epochs=5, freeze=10)Đối với các nhóm muốn mở rộng quy trình này, Ultralytics Platform cung cấp một giao diện hợp nhất để quản lý tập dữ liệu, tự động hóa việc gắn nhãn và giám sát các lượt huấn luyện hiệu quả này từ cloud.
Phân biệt PEFT với các khái niệm liên quan#
Để lựa chọn chiến lược thích ứng model phù hợp, việc phân biệt PEFT với các thuật ngữ tương tự sẽ rất hữu ích:
- Tinh chỉnh: Thường được gọi là "tinh chỉnh toàn phần", quy trình này cập nhật tất cả tham số trong model. Mặc dù mang lại khả năng thích ứng tối đa, phương pháp này tốn nhiều tài nguyên tính toán và yêu cầu lưu một bản sao đầy đủ của model cho mỗi tác vụ. PEFT là một phân nhóm của tinh chỉnh, tập trung vào hiệu quả.
- Kỹ thuật prompt: Phương pháp này bao gồm việc xây dựng các đầu vào văn bản để định hướng đầu ra của model mà không thay đổi bất kỳ trọng số bên trong nào. Ngược lại, PEFT thay đổi về mặt toán học một tập con các trọng số hoặc adapter để thay đổi lâu dài cách model xử lý dữ liệu.
- Chưng cất tri thức: Kỹ thuật này huấn luyện một model học sinh nhỏ bắt chước một model giáo viên lớn. Mặc dù tạo ra một model hiệu quả, đây là một phương pháp nén, trong khi PEFT là một phương pháp thích ứng được sử dụng để dạy cho một model hiện có các kỹ năng mới.
Bằng cách dân chủ hóa quyền tiếp cận AI hiệu năng cao, PEFT cho phép các nhà phát triển xây dựng các công cụ chuyên biệt cho xe tự hành và sản xuất thông minh mà không cần đến hạ tầng siêu máy tính.
