Prompt Engineering

Prompt engineering là quá trình chiến lược gồm thiết kế, tinh chỉnh và tối ưu hóa văn bản đầu vào nhằm hướng dẫn các mô hình Artificial Intelligence (AI) tạo ra các kết quả chính xác, có độ liên quan cao và chất lượng tốt. Ban đầu trở nên nổi bật cùng sự trỗi dậy của các Large Language Models (LLMs) như GPT-4, lĩnh vực này đã tiến hóa thành một kỹ năng thiết yếu để tương tác với các hệ thống generative AI trên nhiều phương thức khác nhau, bao gồm văn bản, hình ảnh và video. Thay vì thay đổi model weights nền tảng thông qua quá trình huấn luyện lại, prompt engineering tận dụng kiến thức sẵn có của mô hình bằng cách định hình tác vụ sao cho hệ thống hiểu được tốt nhất, qua đó thu hẹp khoảng cách giữa ý định của con người và quá trình thực thi của máy móc.

Cơ chế của Prompting hiệu quả#

Về cốt lõi, prompt engineering dựa trên việc thấu hiểu cách các foundation models xử lý ngữ cảnh và câu lệnh. Một câu lệnh được xây dựng tốt sẽ giảm thiểu sự mơ hồ bằng cách cung cấp các ràng buộc tường minh, định dạng đầu ra mong muốn (chẳng hạn như JSON hoặc Markdown) cùng thông tin nền tảng phù hợp. Những người thực hành nâng cao thường ứng dụng các kỹ thuật như few-shot learning, nơi người dùng cung cấp một số ví dụ về các cặp đầu vào - đầu ra ngay trong câu lệnh nhằm thể hiện mẫu hình mong muốn.

Một chiến lược mạnh mẽ khác là chain-of-thought prompting, giúp khuyến khích mô hình chia nhỏ các tác vụ suy luận phức tạp thành các bước trung gian. Cách làm này cải thiện đáng kể hiệu suất đối với các truy vấn nặng về logic. Hơn nữa, việc tối ưu hóa việc sử dụng context window—giới hạn về lượng văn bản mà một mô hình có thể xử lý cùng lúc—là cực kỳ quan trọng để duy trì tính mạch lạc trong các tương tác dài. Các tài nguyên bên ngoài, chẳng hạn như OpenAI's guide on prompt design, nhấn mạnh tầm quan trọng của việc tinh chỉnh lặp đi lặp lại để xử lý hiệu quả các trường hợp ngoại biên.

Sự liên quan trong Computer Vision#

Dù thường được gắn liền với văn bản, prompt engineering ngày càng trở nên quan trọng trong lĩnh vực Computer Vision (CV). Các multi-modal models hiện đại và bộ phát hiện từ vựng mở, chẳng hạn như YOLO-World, cho phép người dùng định nghĩa các mục tiêu phát hiện bằng cách sử dụng natural language processing (NLP) thay vì các ID lớp dạng số được định nghĩa sẵn.

Trong bối cảnh này, "prompt" là một mô tả văn bản về đối tượng (ví dụ: "người đội mũ đỏ"). Khả năng này, được gọi là zero-shot learning, cho phép các hệ thống phát hiện các đối tượng mà chúng chưa từng được huấn luyện một cách tường minh thông qua việc tận dụng các mối liên kết đã học giữa các đặc trưng thị giác và các embedding ngữ nghĩa. Đối với các môi trường sản xuất tốc độ cao nơi các lớp được cố định, các nhà phát triển cuối cùng có thể chuyển từ các mô hình dùng câu lệnh sang các mô hình hiệu quả và được huấn luyện lại như YOLO26, nhưng prompt engineering vẫn là chìa khóa cho việc tạo mẫu nhanh và tính linh hoạt.

Các ứng dụng trong thực tế#

Prompt engineering thúc đẩy giá trị trên nhiều ngành công nghiệp khác nhau bằng cách cho phép tự động hóa linh hoạt và thông minh:

• Phân tích thị giác động: Trong AI in Retail, các quản lý cửa hàng sử dụng các mô hình thị giác dựa trên prompt để tìm kiếm các mặt hàng cụ thể mà không cần sự can thiệp kỹ thuật. Hệ thống có thể được yêu cầu theo dõi "kệ hàng trống" vào một ngày và "sản phẩm đặt nhầm vị trí" vào ngày hôm sau. Sự linh hoạt này cho phép các doanh nghiệp thích ứng ngay lập tức với các xu hướng theo mùa cho các hệ thống object detection của họ.
• Tạo nội dung tự động: Các nhóm tiếp thị dựa vào các câu lệnh chi tiết để hướng dẫn các trình tạo text-to-image như Stable Diffusion hoặc Midjourney. Bằng cách thiết kế các câu lệnh chỉ định ánh sáng, phong cách nghệ thuật và bố cục, các nhà thiết kế có thể nhanh chóng tạo ra các tài sản trực quan.
• Truy xuất tri thức thông minh: Trong hoạt động hỗ trợ khách hàng, các kỹ sư thiết kế các "system prompt" hướng dẫn các chatbots trả lời các truy vấn chỉ bằng cách sử dụng dữ liệu công ty đã được xác thực. Đây là một thành phần quan trọng của Retrieval-Augmented Generation (RAG), giúp đảm bảo AI duy trì phong thái hỗ trợ hữu ích đồng thời tránh được tình trạng hallucinations in LLMs.

Triển khai với Ultralytics#

Ví dụ sau đây minh họa cách prompt engineering được áp dụng theo phương thức lập trình bằng cách sử dụng gói ultralytics. Tại đây, chúng ta sử dụng một mô hình YOLO-World có khả năng nhận các câu lệnh văn bản để xác định các đối tượng cần tìm kiếm một cách động, tạo sự tương phản với các mô hình tiêu chuẩn như YOLO26 vốn sử dụng danh sách lớp cố định.

from ultralytics import YOLO

# Load a YOLO-World model capable of interpreting text prompts
model = YOLO("yolov8s-world.pt")

# Apply prompt engineering to define custom classes dynamically
# The model maps these text descriptions to visual features
model.set_classes(["person in safety vest", "forklift", "blue hardhat"])

# Run inference on an image
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Show results - the model only detects objects matching the prompts
results[0].show()

Phân biệt các khái niệm liên quan#

Để triển khai hiệu quả các giải pháp AI thông qua Ultralytics Platform, điều quan trọng là phải phân biệt prompt engineering với các kỹ thuật tối ưu hóa tương tự:

• Prompt Engineering so với Prompt Tuning: Prompt engineering bao gồm việc thủ công tạo ra các đầu vào bằng ngôn ngữ tự nhiên. Ngược lại, prompt tuning là một phương pháp parameter-efficient fine-tuning (PEFT) nhằm học các "soft prompt" (các embedding vector liên tục) trong giai đoạn huấn luyện. Các soft prompt này là các phép tối ưu hóa toán học vô hình đối với người dùng cuối.
• Prompt Engineering so với Fine-Tuning: Fine-tuning cập nhật vĩnh viễn trọng số của mô hình bằng cách sử dụng một training dataset cụ thể để chuyên môn hóa nó cho một tác vụ. Prompt engineering không làm thay đổi bản thân mô hình; nó chỉ tối ưu hóa đầu vào trong quá trình real-time inference.
• Prompt Engineering so với Prompt Injection: Trong khi engineering mang tính chất xây dựng, prompt injection lại là một lỗ hổng bảo mật, nơi các đầu vào độc hại thao túng mô hình khiến nó bỏ qua các ràng buộc an toàn của mình. Việc đảm bảo AI Safety đòi hỏi khả năng phòng thủ vững chắc trước các câu lệnh đối kháng như vậy.