Prompt Engineering

Kỹ thuật xây dựng prompt là quy trình có chiến lược để thiết kế, tinh chỉnh và tối ưu hóa văn bản đầu vào nhằm hướng dẫn các model Trí tuệ nhân tạo (AI) tạo ra đầu ra chính xác, phù hợp và chất lượng cao. Ban đầu trở nên phổ biến cùng với sự phát triển của các Mô hình ngôn ngữ lớn (LLMs) như GPT-4, lĩnh vực này đã phát triển thành một kỹ năng quan trọng để tương tác với các hệ thống AI tạo sinh trên nhiều phương thức khác nhau, bao gồm văn bản, hình ảnh và video. Thay vì thay đổi trọng số model nền tảng thông qua việc huấn luyện lại, kỹ thuật xây dựng prompt tận dụng kiến thức sẵn có của model bằng cách diễn đạt tác vụ theo cách mà hệ thống có thể hiểu tốt nhất, thu hẹp khoảng cách giữa ý định của con người và quá trình thực thi của máy.

Cơ chế xây dựng prompt hiệu quả#

Về cốt lõi, kỹ thuật xây dựng prompt dựa trên việc hiểu cách các model nền tảng xử lý ngữ cảnh và chỉ dẫn. Một prompt được xây dựng tốt giúp giảm sự mơ hồ bằng cách cung cấp các ràng buộc rõ ràng, định dạng đầu ra mong muốn (chẳng hạn như JSON hoặc Markdown) và thông tin nền liên quan. Các chuyên gia nâng cao sử dụng những kỹ thuật như học few-shot, trong đó người dùng cung cấp một vài cặp đầu vào–đầu ra trong prompt để minh họa mẫu mong muốn.

Một chiến lược mạnh mẽ khác là xây dựng prompt theo chuỗi suy luận, khuyến khích model chia các tác vụ suy luận phức tạp thành những bước trung gian. Điều này cải thiện đáng kể hiệu suất đối với các truy vấn đòi hỏi nhiều suy luận logic. Hơn nữa, tối ưu hóa việc sử dụng cửa sổ ngữ cảnh—giới hạn về lượng văn bản mà model có thể xử lý cùng một lúc—là yếu tố quan trọng để duy trì tính mạch lạc trong các tương tác dài. Các tài nguyên bên ngoài, chẳng hạn như hướng dẫn thiết kế prompt của OpenAI, nhấn mạnh tầm quan trọng của việc tinh chỉnh lặp để xử lý hiệu quả các trường hợp biên.

Mức độ liên quan trong Thị giác máy tính#

Mặc dù thường gắn liền với văn bản, kỹ thuật xây dựng prompt ngày càng quan trọng trong Thị giác máy tính (CV). Các model đa phương thức hiện đại và detector với vocabulary mở, chẳng hạn như YOLO-World, cho phép người dùng xác định các mục tiêu detection bằng xử lý ngôn ngữ tự nhiên (NLP) thay vì các class ID dạng số được định nghĩa trước.

Trong ngữ cảnh này, "prompt" là phần mô tả bằng văn bản về đối tượng (ví dụ: "người đội mũ bảo hiểm màu đỏ"). Khả năng này, được gọi là học zero-shot, cho phép các hệ thống phát hiện những đối tượng mà chúng chưa được huấn luyện cụ thể bằng cách tận dụng các mối liên hệ đã học giữa đặc trưng hình ảnh và các embedding ngữ nghĩa. Đối với môi trường production tốc độ cao, nơi các class đã cố định, developer có thể chuyển từ các model sử dụng prompt sang những model hiệu quả được huấn luyện lại như YOLO26, nhưng kỹ thuật xây dựng prompt vẫn là yếu tố then chốt để tạo prototype nhanh và duy trì tính linh hoạt.

Các ứng dụng trong thực tế#

Kỹ thuật xây dựng prompt tạo ra giá trị trong nhiều ngành khác nhau bằng cách hỗ trợ tự động hóa linh hoạt và thông minh:

• Phân tích hình ảnh động: Trong lĩnh vực AI trong bán lẻ, quản lý cửa hàng sử dụng các model thị giác dựa trên prompt để tìm kiếm những mặt hàng cụ thể mà không cần can thiệp kỹ thuật. Một hệ thống có thể được yêu cầu theo dõi "kệ hàng trống" vào ngày này và "sản phẩm đặt sai vị trí" vào ngày khác. Tính linh hoạt này cho phép doanh nghiệp ngay lập tức điều chỉnh các hệ thống phát hiện đối tượng theo xu hướng mùa vụ.
• Tạo nội dung tự động: Các nhóm marketing dựa vào những prompt chi tiết để hướng dẫn các trình tạo văn bản thành hình ảnh như Stable Diffusion hoặc Midjourney. Bằng cách xây dựng prompt chỉ rõ ánh sáng, phong cách nghệ thuật và bố cục, designer có thể nhanh chóng tạo ra các tài sản hình ảnh.
• Truy xuất tri thức thông minh: Trong lĩnh vực hỗ trợ khách hàng, các kỹ sư thiết kế "system prompt" để chỉ dẫn chatbot trả lời truy vấn chỉ bằng dữ liệu công ty đã được xác minh. Đây là một thành phần quan trọng của Thế hệ tăng cường truy xuất (RAG), giúp AI duy trì phong cách tương tác hữu ích đồng thời tránh hiện tượng hallucination trong LLM.

Triển khai với Ultralytics#

Ví dụ sau đây minh họa cách áp dụng kỹ thuật xây dựng prompt bằng phương thức lập trình với package ultralytics. Ở đây, chúng ta sử dụng model YOLO-World, model này chấp nhận các prompt văn bản để xác định động những đối tượng cần tìm, trái ngược với các model tiêu chuẩn như YOLO26, vốn sử dụng danh sách class cố định.

from ultralytics import YOLO

# Load a YOLO-World model capable of interpreting text prompts
model = YOLO("yolov8s-world.pt")

# Apply prompt engineering to define custom classes dynamically
# The model maps these text descriptions to visual features
model.set_classes(["person in safety vest", "forklift", "blue hardhat"])

# Run inference on an image
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Show results - the model only detects objects matching the prompts
results[0].show()

Phân biệt các khái niệm liên quan#

Để triển khai hiệu quả các giải pháp AI thông qua Ultralytics Platform, điều quan trọng là phải phân biệt kỹ thuật xây dựng prompt với các kỹ thuật tối ưu hóa tương tự:

• Kỹ thuật xây dựng prompt so với Prompt Tuning: Kỹ thuật xây dựng prompt liên quan đến việc soạn thủ công đầu vào bằng ngôn ngữ tự nhiên. Ngược lại, prompt tuning là một phương pháp tinh chỉnh hiệu quả tham số (PEFT), trong đó hệ thống học các "soft prompt" (embedding vector liên tục) trong giai đoạn huấn luyện. Những soft prompt này là các phép tối ưu hóa toán học mà người dùng không thể nhìn thấy.
• Kỹ thuật xây dựng prompt so với Fine-Tuning: Fine-tuning cập nhật vĩnh viễn trọng số của model bằng một dataset huấn luyện cụ thể để chuyên biệt hóa model cho một tác vụ. Kỹ thuật xây dựng prompt không thay đổi bản thân model; kỹ thuật này chỉ tối ưu hóa đầu vào trong quá trình suy luận theo thời gian thực.
• Kỹ thuật xây dựng prompt so với Prompt Injection: Trong khi kỹ thuật xây dựng prompt mang tính xây dựng, prompt injection là một lỗ hổng bảo mật, trong đó các đầu vào độc hại thao túng model khiến model bỏ qua các ràng buộc an toàn. Việc bảo đảm An toàn AI đòi hỏi cơ chế phòng vệ mạnh mẽ trước các prompt đối nghịch như vậy.