Tinh chỉnh hiệu quả tham số (PEFT)

Tối ưu hóa tham số hiệu quả (Parameter-Efficient Fine-Tuning - PEFT) là một chiến lược tối ưu hóa tinh vi trong học máy (ML) cho phép tùy chỉnh các mô hình lớn, được huấn luyện trước cho các tác vụ cụ thể trong khi giảm thiểu chi phí tính toán. Khi các mô hình nền tảng hiện đại phát triển để bao gồm hàng tỷ tham số, các phương pháp huấn luyện truyền thống cập nhật mọi trọng số trong mạng đã trở nên quá tốn kém về phần cứng và năng lượng. PEFT giải quyết thách thức này bằng cách đóng băng phần lớn các trọng số của mô hình được huấn luyện trước và chỉ cập nhật một tập hợp nhỏ các tham số hoặc thêm các lớp bộ điều hợp nhẹ. Cách tiếp cận này làm giảm rào cản gia nhập, cho phép các nhà phát triển đạt được kết quả tiên tiến nhất trên GPU cấp người tiêu dùng mà không cần đến các trung tâm dữ liệu quy mô công nghiệp.

Cơ chế hoạt động của hiệu quả

Nguyên tắc cốt lõi của PEFT dựa trên học chuyển giao , trong đó mô hình tận dụng các biểu diễn đặc trưng được học từ các tập dữ liệu công khai khổng lồ như ImageNet để giải quyết các vấn đề mới. Trong quy trình làm việc tiêu chuẩn, việc điều chỉnh mô hình có thể bao gồm "tinh chỉnh toàn diện", trong đó thuật toán lan truyền ngược điều chỉnh mọi tham số trong mạng nơ-ron .

Các kỹ thuật PEFT, chẳng hạn như LoRA (Low-Rank Adaptation) , đi theo một hướng khác. Chúng giữ nguyên "xương sống" nặng nề của mô hình - bảo toàn kiến ​​thức tổng quát của nó - và chèn các ma trận nhỏ, có thể huấn luyện được vào các lớp cụ thể. Điều này ngăn chặn hiện tượng quên thảm khốc , một hiện tượng mà mô hình mất đi khả năng ban đầu trong khi học thông tin mới. Bằng cách giảm số lượng tham số có thể huấn luyện được lên đến 99%, PEFT giảm đáng kể yêu cầu lưu trữ và cho phép nhiều bộ điều hợp dành riêng cho từng tác vụ được hoán đổi vào và ra khỏi một mô hình cơ sở duy nhất trong quá trình suy luận thời gian thực .

Các Ứng dụng Thực tế

PEFT đặc biệt có giá trị trong các ngành công nghiệp mà điện toán biên và bảo mật dữ liệu là tối quan trọng.

• Trí tuệ nhân tạo trong nông nghiệp : Các công ty khởi nghiệp công nghệ nông nghiệp thường triển khai các mô hình trên máy bay không người lái với thời lượng pin và sức mạnh xử lý hạn chế. Sử dụng PEFT, các kỹ sư có thể lấy một mô hình hiệu quả cao như YOLO26 và tinh chỉnh nó để đạt được hiệu suất tối ưu. detect Các loài gây hại cụ thể trong khu vực, chẳng hạn như sâu keo mùa thu, được nghiên cứu bằng cách sử dụng một tập dữ liệu tùy chỉnh nhỏ. Bằng cách đóng băng cấu trúc xương sống, quá trình huấn luyện có thể được thực hiện nhanh chóng trên máy tính xách tay, và mô hình thu được vẫn đủ nhẹ để xử lý trên thiết bị.
• Trí tuệ nhân tạo trong chăm sóc sức khỏe : Trong phân tích hình ảnh y tế , dữ liệu được chú thích thường khan hiếm và tốn kém để thu thập. Các bệnh viện sử dụng PEFT để điều chỉnh các mô hình thị giác đa năng nhằm xác định các bất thường trong ảnh chụp MRI. Vì các tham số cơ bản được cố định, mô hình ít bị quá khớp trên tập dữ liệu nhỏ, đảm bảo hiệu suất chẩn đoán mạnh mẽ đồng thời bảo vệ quyền riêng tư dữ liệu của bệnh nhân.

Triển khai các lớp đóng băng với Ultralytics

Trong Ultralytics Trong hệ sinh thái, hiệu quả tham số thường đạt được bằng cách "đóng băng" các lớp ban đầu của mạng. Điều này đảm bảo các bộ trích xuất đặc trưng mạnh mẽ vẫn không thay đổi trong khi chỉ có lớp đầu hoặc các lớp sau thích ứng với các lớp mới. Đây là một cách triển khai thực tế các nguyên tắc PEFT cho việc phát hiện đối tượng .

Ví dụ sau đây minh họa cách huấn luyện mô hình YOLO26 đồng thời đóng băng 10 lớp đầu tiên của kiến ​​trúc mạng để tiết kiệm tài nguyên tính toán:

from ultralytics import YOLO

# Load the YOLO26 model (latest stable version)
model = YOLO("yolo26n.pt")

# Train on a custom dataset with the 'freeze' argument
# freeze=10 keeps the first 10 layers static, updating only deeper layers
results = model.train(data="coco8.yaml", epochs=5, freeze=10)

Đối với các nhóm muốn mở rộng quy mô quy trình này, Nền tảng Ultralytics cung cấp giao diện thống nhất để quản lý tập dữ liệu, tự động hóa việc chú thích và giám sát các quá trình huấn luyện hiệu quả này từ đám mây.

Phân biệt PEFT với các khái niệm liên quan

Để lựa chọn chiến lược thích ứng mô hình phù hợp, việc phân biệt PEFT với các thuật ngữ tương tự là rất hữu ích:

• Tinh chỉnh chi tiết : Thường được gọi là "tinh chỉnh chi tiết toàn diện", quá trình này cập nhật tất cả các tham số trong mô hình. Mặc dù mang lại tính linh hoạt tối đa, nhưng nó tốn kém về mặt tính toán và yêu cầu lưu một bản sao đầy đủ của mô hình cho mỗi tác vụ. PEFT là một tiểu loại của tinh chỉnh chi tiết tập trung vào hiệu quả.
• Kỹ thuật Prompt Engineering : Kỹ thuật này bao gồm việc tạo ra các đầu vào văn bản để hướng dẫn đầu ra của mô hình mà không thay đổi bất kỳ trọng số nội bộ nào. Ngược lại, PEFT thay đổi về mặt toán học một tập hợp con các trọng số hoặc bộ điều chỉnh để thay đổi vĩnh viễn cách mô hình xử lý dữ liệu.
• Chưng cất kiến ​​thức : Kỹ thuật này huấn luyện một mô hình học sinh nhỏ để bắt chước một mô hình giáo viên lớn. Mặc dù tạo ra một mô hình hiệu quả, nhưng đây là một phương pháp nén, trong khi PEFT là một phương pháp thích ứng được sử dụng để dạy cho một mô hình hiện có những kỹ năng mới.

Bằng cách dân chủ hóa quyền truy cập vào trí tuệ nhân tạo hiệu năng cao, PEFT cho phép các nhà phát triển xây dựng các công cụ chuyên dụng cho xe tự hành và sản xuất thông minh mà không cần đến cơ sở hạ tầng siêu máy tính.