Prompt Tuning

Tinh chỉnh prompt là một kỹ thuật tiết kiệm tài nguyên, được sử dụng để điều chỉnh các mô hình nền tảng đã được huấn luyện trước cho các tác vụ hạ nguồn cụ thể mà không phải chịu chi phí tính toán khi huấn luyện lại toàn bộ mạng. Khác với fine-tuning truyền thống, vốn cập nhật toàn bộ hoặc phần lớn tham số của model, tinh chỉnh prompt đóng băng trọng số model đã được huấn luyện trước và chỉ tối ưu một tập nhỏ các vector có thể học — được gọi là "soft prompt" — được thêm vào trước dữ liệu đầu vào. Cách tiếp cận này cho phép một backbone duy nhất, quy mô lớn, phục vụ đồng thời nhiều ứng dụng chuyên biệt, đồng thời giảm đáng kể yêu cầu lưu trữ và chi phí chuyển đổi do độ trễ suy luận.

Cơ chế của tinh chỉnh prompt#

Trong các quy trình học máy (ML) tiêu chuẩn, đầu vào như văn bản hoặc hình ảnh được chuyển đổi thành các biểu diễn số, được gọi là embedding. Tinh chỉnh prompt chèn thêm các vector embedding có thể huấn luyện vào chuỗi đầu vào này. Trong giai đoạn huấn luyện, hệ thống sử dụng lan truyền ngược để tính gradient, nhưng thuật toán tối ưu hóa chỉ cập nhật các giá trị của soft prompt, giữ nguyên cấu trúc model quy mô lớn.

Phương pháp này là một dạng tinh chỉnh hiệu quả tham số (PEFT). Bằng cách học các vector liên tục này, model được "định hướng" tới đầu ra mong muốn. Mặc dù khái niệm này bắt nguồn từ Xử lý Ngôn ngữ Tự nhiên (NLP), nó đã được điều chỉnh thành công cho các tác vụ Thị giác Máy tính (CV), thường được gọi là Visual Prompt Tuning (VPT).

Phân biệt các khái niệm liên quan#

Để hiểu tính hữu ích của tinh chỉnh prompt, cần phân biệt phương pháp này với các thuật ngữ tương tự trong lĩnh vực AI:

• Kỹ thuật prompt: Phương pháp này bao gồm việc soạn thủ công các chỉ dẫn dạng văn bản dễ đọc đối với con người (hard prompt) để định hướng một model AI tạo sinh. Phương pháp này không yêu cầu lập trình hoặc huấn luyện. Ngược lại, tinh chỉnh prompt sử dụng học có giám sát tự động để tìm các embedding số tối ưu, vốn có thể không tương ứng với các từ trong ngôn ngữ tự nhiên.
• Full Fine-Tuning: Các phương pháp truyền thống cập nhật toàn bộ mạng nơ-ron, thường dẫn đến hiện tượng "quên thảm họa" quá trình huấn luyện ban đầu. Tinh chỉnh prompt bảo toàn các khả năng gốc của model, giúp dễ dàng tận dụng học chuyển giao giữa các tác vụ không liên quan.
• Học few-shot: Thuật ngữ này thường chỉ việc cung cấp một vài ví dụ trong cửa sổ ngữ cảnh của một LLM. Tinh chỉnh prompt khác biệt ở chỗ nó học vĩnh viễn các tham số được lưu và tái sử dụng, thay vì chỉ cung cấp ngữ cảnh tạm thời.

Các ứng dụng trong thực tế#

Tinh chỉnh prompt cho phép triển khai AI có khả năng mở rộng trong các môi trường hạn chế tài nguyên, phù hợp với triết lý cốt lõi của Ultralytics Platform về quản lý model.

1. Hỗ trợ khách hàng đa ngôn ngữ: Một doanh nghiệp toàn cầu có thể sử dụng một model ngôn ngữ trung tâm duy nhất được đóng băng. Bằng cách huấn luyện các soft prompt nhẹ cho tiếng Tây Ban Nha, tiếng Nhật và tiếng Đức, hệ thống có thể chuyển đổi ngôn ngữ ngay lập tức. Cách này tránh được chi phí khổng lồ khi lưu trữ ba model riêng biệt có kích thước hàng gigabyte, thay vào đó chỉ cần các tệp prompt có kích thước hàng kilobyte.

2. AI trong y tế: Chẩn đoán hình ảnh y khoa thường gặp hạn chế do thiếu dữ liệu. Các nhà nghiên cứu có thể sử dụng một backbone thị giác đa dụng (chẳng hạn như Vision Transformer) và dùng tinh chỉnh prompt để điều chỉnh backbone này cho việc phát hiện các bất thường cụ thể, chẳng hạn như bệnh võng mạc hoặc khối u. Phương pháp này duy trì quyền riêng tư của dữ liệu bệnh nhân và cho phép nhanh chóng thích ứng với thiết bị y tế mới mà không cần huấn luyện lại toàn bộ model.

Ví dụ triển khai#

Ví dụ PyTorch sau đây minh họa khái niệm cơ học cốt lõi: đóng băng các lớp chính của model và tạo một tham số riêng biệt, có thể huấn luyện ("soft prompt"), được tối ưu hóa để tác động đến đầu ra.

import torch
import torch.nn as nn

# 1. Define a dummy backbone (e.g., a pre-trained layer)
backbone = nn.Linear(10, 5)

# 2. Freeze the backbone weights (crucial for prompt tuning)
for param in backbone.parameters():
    param.requires_grad = False

# 3. Create a 'soft prompt' vector that IS trainable
# This represents the learnable embeddings prepended to inputs
soft_prompt = nn.Parameter(torch.randn(1, 10), requires_grad=True)

# 4. Initialize an optimizer that targets ONLY the soft prompt
optimizer = torch.optim.SGD([soft_prompt], lr=0.1)

# Verify that only the prompt is being trained
trainable_params = sum(p.numel() for p in [soft_prompt] if p.requires_grad)
print(f"Optimizing {trainable_params} parameters (Soft Prompt only)")

Tính liên quan với AI biên hiện đại#

Khi các model ngày càng lớn, khả năng điều chỉnh chúng với chi phí thấp trở nên then chốt. Mặc dù các kiến trúc như YOLO26 vốn đã được tối ưu hóa cao về hiệu năng, các nguyên tắc đóng băng backbone và điều chỉnh hiệu quả là nền tảng cho tương lai của AI biên. Các kỹ thuật tương tự tinh chỉnh prompt cho phép các thiết bị có bộ nhớ hạn chế thực hiện nhiều tác vụ đa dạng — từ phát hiện đối tượng đến phân đoạn — chỉ bằng cách thay thế các tệp cấu hình nhỏ thay vì tải lại các mạng nơ-ron khổng lồ.

Đối với các developer muốn huấn luyện và triển khai hiệu quả, việc sử dụng các công cụ như Ultralytics Platform đảm bảo model được tối ưu hóa cho các mục tiêu phần cứng cụ thể, đồng thời tận dụng các phương pháp tốt nhất của MLOps hiện đại.