Prompt Engineering

Prompt engineering là quy trình chiến lược trong việc thiết kế, tinh chỉnh và tối ưu hóa văn bản đầu vào để hướng dẫn các mô hình Artificial Intelligence (AI) tạo ra các đầu ra chính xác, phù hợp và chất lượng cao. Ban đầu trở nên phổ biến cùng với sự trỗi dậy của các Large Language Models (LLMs) như GPT-4, lĩnh vực này đã phát triển thành một kỹ năng quan trọng để tương tác với các hệ thống generative AI trên nhiều phương thức khác nhau, bao gồm văn bản, hình ảnh và video. Thay vì thay đổi các model weights cơ bản thông qua việc huấn luyện lại, prompt engineering tận dụng kiến thức hiện có của mô hình bằng cách thiết lập nhiệm vụ theo cách mà hệ thống có thể hiểu tốt nhất, từ đó thu hẹp khoảng cách giữa ý định của con người và việc thực thi của máy móc.

Link to this sectionCơ chế của Prompting hiệu quả#

Về cốt lõi, prompt engineering dựa trên việc hiểu cách các foundation models xử lý ngữ cảnh và hướng dẫn. Một prompt được xây dựng tốt sẽ giảm thiểu sự mơ hồ bằng cách cung cấp các ràng buộc rõ ràng, định dạng đầu ra mong muốn (như JSON hoặc Markdown) và thông tin nền tảng liên quan. Những người thực hành nâng cao sử dụng các kỹ thuật như few-shot learning, trong đó người dùng cung cấp một vài ví dụ về các cặp đầu vào-đầu ra ngay trong prompt để minh họa mẫu mong muốn.

Một chiến lược mạnh mẽ khác là chain-of-thought prompting, khuyến khích mô hình chia nhỏ các tác vụ suy luận phức tạp thành các bước trung gian. Điều này giúp cải thiện đáng kể hiệu suất đối với các truy vấn đòi hỏi logic cao. Hơn nữa, việc tối ưu hóa cách sử dụng context window—giới hạn về lượng văn bản mà một mô hình có thể xử lý cùng lúc—là yếu tố then chốt để duy trì tính nhất quán trong các tương tác dài. Các tài nguyên bên ngoài, chẳng hạn như hướng dẫn về thiết kế prompt của OpenAI, nhấn mạnh tầm quan trọng của việc tinh chỉnh lặp lại để xử lý các trường hợp ngoại lệ một cách hiệu quả.

Link to this sectionSự liên quan trong Computer Vision#

Mặc dù thường gắn liền với văn bản, prompt engineering ngày càng trở nên quan trọng trong Computer Vision (CV). Các multi-modal models hiện đại và các trình phát hiện từ vựng mở, chẳng hạn như YOLO-World, cho phép người dùng xác định các mục tiêu phát hiện bằng cách sử dụng natural language processing (NLP) thay vì các ID lớp số học được định nghĩa trước.

Trong ngữ cảnh này, "prompt" là một mô tả văn bản về đối tượng (ví dụ: "người đội mũ bảo hiểm màu đỏ"). Khả năng này, được gọi là zero-shot learning, cho phép các hệ thống phát hiện những đối tượng mà chúng không được huấn luyện rõ ràng bằng cách tận dụng các mối liên kết đã học giữa các đặc trưng hình ảnh và semantic embedding. Đối với các môi trường sản xuất tốc độ cao nơi các lớp đối tượng đã được cố định, các nhà phát triển có thể chuyển dần từ các mô hình dựa trên prompt sang các mô hình được huấn luyện lại hiệu quả như YOLO26, nhưng prompt engineering vẫn là chìa khóa cho việc tạo mẫu nhanh và tính linh hoạt.

Link to this sectionCác ứng dụng trong thực tế#

Prompt engineering thúc đẩy giá trị trên nhiều ngành công nghiệp khác nhau bằng cách cho phép tự động hóa linh hoạt và thông minh:

• Phân tích hình ảnh động: Trong AI in Retail, các quản lý cửa hàng sử dụng các mô hình thị giác dựa trên prompt để tìm kiếm các mặt hàng cụ thể mà không cần can thiệp kỹ thuật. Một hệ thống có thể được thiết lập prompt để theo dõi "kệ hàng trống" vào một ngày và "sản phẩm đặt sai chỗ" vào ngày hôm sau. Sự linh hoạt này cho phép các doanh nghiệp điều chỉnh ngay lập tức các hệ thống object detection của họ theo các xu hướng theo mùa.
• Tạo nội dung tự động: Các nhóm marketing dựa vào các prompt chi tiết để hướng dẫn các trình tạo text-to-image như Stable Diffusion hoặc Midjourney. Bằng cách kỹ thuật hóa các prompt xác định ánh sáng, phong cách nghệ thuật và bố cục, các nhà thiết kế có thể nhanh chóng tạo ra các tài sản hình ảnh.
• Truy xuất tri thức thông minh: Trong hỗ trợ khách hàng, các kỹ sư thiết kế "system prompts" để hướng dẫn các chatbots trả lời các truy vấn chỉ bằng dữ liệu đã được xác thực của công ty. Đây là thành phần quan trọng của Retrieval-Augmented Generation (RAG), đảm bảo AI duy trì phong thái hữu ích trong khi tránh hallucinations in LLMs.

Link to this sectionTriển khai với Ultralytics#

Ví dụ sau đây minh họa cách prompt engineering được áp dụng theo lập trình bằng cách sử dụng gói ultralytics. Tại đây, chúng ta sử dụng một mô hình YOLO-World chấp nhận các text prompt để xác định đối tượng cần tìm một cách linh hoạt, tương phản với các mô hình tiêu chuẩn như YOLO26 sử dụng danh sách lớp cố định.

from ultralytics import YOLO

# Load a YOLO-World model capable of interpreting text prompts
model = YOLO("yolov8s-world.pt")

# Apply prompt engineering to define custom classes dynamically
# The model maps these text descriptions to visual features
model.set_classes(["person in safety vest", "forklift", "blue hardhat"])

# Run inference on an image
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Show results - the model only detects objects matching the prompts
results[0].show()

Link to this sectionPhân biệt các khái niệm liên quan#

Để triển khai hiệu quả các giải pháp AI thông qua Ultralytics Platform, điều quan trọng là phải phân biệt được prompt engineering với các kỹ thuật tối ưu hóa tương tự:

• Prompt Engineering so với Prompt Tuning: Prompt engineering liên quan đến việc thủ công tạo ra các đầu vào bằng ngôn ngữ tự nhiên. Ngược lại, prompt tuning là một phương pháp parameter-efficient fine-tuning (PEFT) học các "soft prompt" (các vector embedding liên tục) trong giai đoạn huấn luyện. Các soft prompt này là các tối ưu hóa toán học không hiển thị với người dùng.
• Prompt Engineering so với Fine-Tuning: Fine-tuning cập nhật vĩnh viễn trọng số của mô hình bằng cách sử dụng một training dataset cụ thể để chuyên biệt hóa nó cho một tác vụ. Prompt engineering không thay đổi bản thân mô hình; nó chỉ tối ưu hóa đầu vào trong quá trình real-time inference.
• Prompt Engineering so với Prompt Injection: Trong khi engineering mang tính xây dựng, thì prompt injection là một lỗ hổng bảo mật nơi các đầu vào độc hại thao túng mô hình để bỏ qua các ràng buộc an toàn của nó. Việc đảm bảo AI Safety đòi hỏi khả năng phòng thủ mạnh mẽ chống lại các loại prompt đối nghịch như vậy.