Điều chỉnh Prompt (Prompt Tuning)

Điều chỉnh nhanh là một chiến lược để điều chỉnh các mô hình nền tảng đã được đào tạo trước cho các tác vụ hạ nguồn cụ thể mà không tốn kém chi phí tính toán để đào tạo lại toàn bộ mạng. Là một dạng của Điều chỉnh Hiệu quả Tham số (PEFT) , kỹ thuật này đóng băng các tham số khổng lồ của mô hình ban đầu và chỉ tối ưu hóa một tập hợp nhỏ các vectơ có thể học được, được gọi là "lời nhắc mềm". Không giống như văn bản dễ đọc được của con người được sử dụng trong kỹ thuật lời nhắc , lời nhắc mềm là các nhúng số được thêm vào dữ liệu đầu vào. Các vectơ đã học này hướng dẫn mô hình đóng băng tạo ra đầu ra mong muốn, giảm đáng kể yêu cầu lưu trữ và bộ nhớ so với đào tạo mô hình đầy đủ. Phương pháp này cho phép thực hiện nhiều tác vụ chuyên biệt khác nhau bằng cách sử dụng một mô hình lõi chung duy nhất.

Cách thức hoạt động của tính năng điều chỉnh nhanh chóng

Cơ chế đằng sau việc điều chỉnh nhanh dựa trên khái niệm sửa đổi dữ liệu đầu vào thay vì kiến trúc mô hình. Trong quy trình học máy (ML) điển hình liên quan đến Mô hình Ngôn ngữ Lớn (LLM) hoặc Mô hình Ngôn ngữ Thị giác , văn bản hoặc hình ảnh đầu vào được chuyển đổi thành một chuỗi các vectơ số. Trong quá trình điều chỉnh nhanh, các vectơ có thể huấn luyện bổ sung (lời nhắc mềm) được chèn vào đầu chuỗi này.

Trong giai đoạn truyền ngược của quá trình huấn luyện, thuật toán giảm dần độ dốc chỉ cập nhật các vectơ mới này, giữ nguyên hàng tỷ trọng số mô hình trong xương sống. Phương pháp này đã được Google AI nhấn mạnh trong nghiên cứu, chứng minh rằng khi mô hình lớn hơn, việc điều chỉnh nhanh có thể đạt hiệu suất tương đương với tinh chỉnh hoàn toàn.

Các Ứng dụng Thực tế

Việc điều chỉnh kịp thời đang chuyển đổi các ngành công nghiệp bằng cách giúp Trí tuệ nhân tạo (AI) tiên tiến dễ tiếp cận và có khả năng mở rộng hơn.

• Hỗ trợ Khách hàng Cá nhân hóa : Các doanh nghiệp lớn thường cần triển khai chatbot cho nhiều bộ phận khác nhau (ví dụ: thanh toán, hỗ trợ kỹ thuật, bán hàng). Thay vì lưu trữ các mô hình lớn riêng biệt cho từng chức năng, họ có thể sử dụng một mô hình kiểu GPT-4 cố định và chuyển đổi giữa các lời nhắc mềm nhẹ được đào tạo dựa trên cơ sở kiến thức cụ thể của từng bộ phận. Điều này giúp giảm độ trễ suy luận và chi phí cơ sở hạ tầng.
• Phân tích Y khoa Chuyên biệt : Trong lĩnh vực AI chăm sóc sức khỏe , quyền riêng tư và sự khan hiếm dữ liệu là những thách thức. Bệnh viện có thể sử dụng một mô hình phân tích hình ảnh y khoa đa năng và đào tạo các lời nhắc mềm nhỏ cho các tình trạng cụ thể như khối u hiếm gặp. Điều này đảm bảo khả năng chẩn đoán chung của mô hình cốt lõi được duy trì đồng thời thích ứng với các nhiệm vụ chuyên biệt, tận dụng hiệu quả các nguyên tắc học chuyển giao .

Phân biệt điều chỉnh nhanh chóng với các thuật ngữ liên quan

Điều quan trọng là phải phân biệt điều chỉnh tức thời với các kỹ thuật thích ứng tương tự:

• Kỹ thuật Prompt : Kỹ thuật này liên quan đến việc tạo thủ công các đầu vào văn bản (lời nhắc cứng) để hướng dẫn mô hình. Nó không yêu cầu đào tạo hay cập nhật tham số. Ngược lại, điều chỉnh prompt là một quy trình tự động học các phép nhúng số tối ưu thông qua học có giám sát .
• Tinh chỉnh : Tinh chỉnh truyền thống cập nhật toàn bộ hoặc hầu hết các tham số của mô hình, yêu cầu một bản sao của mô hình cho mỗi tác vụ. Tinh chỉnh tức thời giúp hệ thống luôn được đóng băng, tiết kiệm dung lượng lưu trữ.
• LoRA (Thích ứng bậc thấp) : Mặc dù cả hai đều là phương pháp PEFT, LoRA đưa các ma trận bậc thấp có thể đào tạo vào các lớp bên trong của mô hình (thường là cơ chế chú ý ), trong khi điều chỉnh nhanh chóng tập trung hoàn toàn vào lớp nhúng đầu vào.

Khái niệm triển khai

Trong khi điều chỉnh nhanh chóng nổi tiếng nhất trong Xử lý ngôn ngữ tự nhiên (NLP) , khái niệm cơ học cơ bản—đóng băng một xương sống lớn và tối ưu hóa một xương sống nhỏ tensor —là phổ biến trong Học sâu (DL) . Đoạn mã PyTorch sau đây minh họa logic cơ bản của việc đóng băng các tham số mô hình và tạo ra một tham số nhắc nhở có thể học được.

import torch
import torch.nn as nn

# Initialize a hypothetical pre-trained layer (the frozen backbone)
backbone = nn.Linear(768, 10)

# Freeze the backbone parameters so they don't update during training
for param in backbone.parameters():
    param.requires_grad = False

# Create a 'soft prompt' embedding that IS trainable
# This represents the learnable vectors prepended to inputs
soft_prompt = nn.Parameter(torch.randn(1, 768), requires_grad=True)

# Setup an optimizer that only targets the soft prompt
optimizer = torch.optim.Adam([soft_prompt], lr=0.001)

Mã này minh họa cách các nhà phát triển có thể kiểm soát những phần nào của hệ thống học, một khía cạnh quan trọng của việc tối ưu hóa mạng nơ-ron . Đối với các tác vụ thị giác máy tính tiêu chuẩn, các mô hình hiệu quả như Ultralytics YOLO11 thường được huấn luyện bằng phương pháp tinh chỉnh tiêu chuẩn trên các tập dữ liệu tùy chỉnh , nhưng các nguyên tắc về hiệu quả thúc đẩy sự phát triển của các kiến trúc tương lai như YOLO26 .

Sự liên quan đến thị giác máy tính

Việc điều chỉnh nhanh chóng đang ngày càng trở nên quan trọng trong Thị giác Máy tính (CV) với sự ra đời của các mô hình đa phương thức như CLIP . Các nhà nghiên cứu đang khám phá "Điều chỉnh Nhanh chóng Trực quan", trong đó các mảng pixel hoặc mã thông báo có thể học được được thêm vào hình ảnh đầu vào để điều chỉnh bộ chuyển đổi thị giác cho các tác vụ phát hiện đối tượng mới mà không cần đào tạo lại các trình trích xuất đặc trưng nặng. Điều này phản ánh hiệu quả tăng lên trong các mô hình ngôn ngữ và phù hợp với xu hướng của ngành hướng tới AI Xanh bằng cách giảm thiểu mức tiêu thụ năng lượng trong quá trình đào tạo.