Điều chỉnh Prompt (Prompt Tuning)

Prompt Tuning là một kỹ thuật mạnh mẽ và hiệu quả để điều chỉnh các mô hình tiền huấn luyện lớn, chẳng hạn như Mô hình ngôn ngữ lớn (LLM), cho các tác vụ mới mà không làm thay đổi trọng số của mô hình ban đầu. Nó là một hình thức của Tinh chỉnh hiệu quả tham số (PEFT) giữ cho hàng tỷ tham số trong mô hình cơ sở bị đóng băng và thay vào đó học một tập hợp nhỏ các "soft prompt" dành riêng cho tác vụ. Các soft prompt này không phải là văn bản mà con người có thể đọc được mà là embedding có thể học được được thêm vào đầu vào, hướng dẫn mô hình bị đóng băng tạo ra đầu ra mong muốn cho một tác vụ hạ nguồn cụ thể. Cách tiếp cận này giảm đáng kể chi phí tính toán và dung lượng lưu trữ cần thiết cho việc điều chỉnh theo tác vụ cụ thể, như được ghi lại trong bài nghiên cứu của Google AI ban đầu.

Ý tưởng cốt lõi là chỉ huấn luyện một vài nghìn hoặc một triệu tham số bổ sung (soft prompt) cho mỗi tác vụ, thay vì huấn luyện lại hoặc tinh chỉnh toàn bộ mô hình, vốn có thể có hàng tỷ tham số. Điều này giúp tạo ra nhiều "mô-đun prompt" chuyên biệt cho một mô hình tiền huấn luyện duy nhất, mỗi mô-đun được điều chỉnh cho một tác vụ khác nhau, mà không cần tạo các bản sao mô hình đầy đủ. Phương pháp này cũng giúp giảm thiểu quên thảm khốc (catastrophic forgetting), khi một mô hình quên thông tin đã học trước đó khi được huấn luyện trên một tác vụ mới.

Các Ứng dụng Thực tế

Prompt Tuning cho phép tùy chỉnh các mô hình nền tảng mạnh mẽ cho một loạt các ứng dụng chuyên dụng.

• Phân tích cảm xúc tùy chỉnh: Một công ty muốn phân tích phản hồi của khách hàng cho các sản phẩm cụ thể của mình. Một mô hình phân tích cảm xúc mục đích chung có thể không hiểu được biệt ngữ dành riêng cho ngành. Sử dụng prompt tuning, công ty có thể điều chỉnh một mô hình lớn như BERT bằng cách huấn luyện một tập hợp nhỏ các prompt mềm trên các đánh giá của khách hàng được gắn nhãn của riêng mình. Mô hình kết quả có thể phân loại chính xác phản hồi mà không cần huấn luyện mô hình đầy đủ, cung cấp thông tin chi tiết sắc thái hơn.
• Chatbot y tế chuyên dụng: Một tổ chức chăm sóc sức khỏe mong muốn xây dựng một chatbot để trả lời các câu hỏi của bệnh nhân về các tình trạng y tế cụ thể. Việc huấn luyện đầy đủ một LLM y tế lớn tốn nhiều tài nguyên. Thay vào đó, họ có thể sử dụng điều chỉnh prompt trên một mô hình được huấn luyện trước như GPT-4. Bằng cách huấn luyện một prompt dành riêng cho tác vụ trên một tập dữ liệu y tế được tuyển chọn, chatbot học cách cung cấp các câu trả lời chính xác, nhận biết ngữ cảnh cho miền đó, giúp AI trong chăm sóc sức khỏe mạnh mẽ hơn dễ tiếp cận hơn.

So sánh Tinh chỉnh Prompt với các khái niệm liên quan

Điều quan trọng là phải phân biệt Prompt Tuning với các kỹ thuật tương tự:

• Tinh chỉnh (Fine-tuning): Phương pháp này cập nhật một phần lớn, hoặc thậm chí tất cả, các tham số của mô hình đã được huấn luyện trước trên một tập dữ liệu mới. Nó tốn nhiều tài nguyên tính toán hơn nhưng đôi khi có thể đạt được hiệu suất cao hơn bằng cách điều chỉnh sâu các biểu diễn bên trong của mô hình. Các mẹo huấn luyện mô hình thường đề cập đến các khía cạnh của tinh chỉnh.
• Kỹ thuật Prompt (Prompt Engineering): Điều này tập trung vào việc thiết kế thủ công các prompt dựa trên văn bản hiệu quả (prompt cứng) để hướng dẫn một mô hình tiền huấn luyện cố định. Nó bao gồm việc tạo ra các hướng dẫn và ví dụ trong chính văn bản đầu vào và không liên quan đến việc huấn luyện bất kỳ tham số mới nào. Các kỹ thuật như prompt theo chuỗi suy nghĩ thuộc danh mục này.
• Làm phong phú Prompt (Prompt Enrichment): Kỹ thuật này tự động tăng cường prompt của người dùng bằng cách thêm ngữ cảnh, ví dụ: sử dụng Tạo sinh tăng cường truy xuất (Retrieval-Augmented Generation - RAG), trước khi nó được gửi đến mô hình AI. Không giống như điều chỉnh prompt, nó tinh chỉnh truy vấn đầu vào mà không cần huấn luyện các tham số mới.
• LoRA (Low-Rank Adaptation): Một kỹ thuật PEFT khác, chèn các ma trận hạng thấp có thể huấn luyện nhỏ vào các lớp hiện có (như cơ chế attention) của mô hình đã được huấn luyện trước. Nó cập nhật các phần khác nhau của mô hình so với Prompt Tuning, chỉ tập trung vào các embedding đầu vào. Cả hai thường được tìm thấy trong các thư viện như thư viện Hugging Face PEFT.

Mặc dù Điều chỉnh lời nhắc chủ yếu được áp dụng cho LLM trong Xử lý ngôn ngữ tự nhiên (NLP), nguyên tắc cốt lõi của khả năng thích ứng hiệu quả có liên quan trên Trí tuệ nhân tạo (AI). Trong Thị giác máy tính (CV), trong khi tinh chỉnh hoàn toàn các mô hình như Ultralytics YOLO trên bộ dữ liệu tùy chỉnh là phổ biến cho các tác vụ như phát hiện đối tượng, các phương pháp PEFT đang đạt được sức hút, đặc biệt đối với các mô hình đa phương thức lớn. Các nền tảng như Ultralytics HUB hợp lý hóa quy trình huấn luyện và triển khai các mô hình AI khác nhau, có khả năng kết hợp các kỹ thuật hiệu quả như vậy trong tương lai.