Prompt Enrichment

Tăng cường prompt là quy trình tự động bổ sung ngữ cảnh liên quan, hướng dẫn cụ thể hoặc dữ liệu bổ trợ vào đầu vào ban đầu của người dùng trước khi gửi đầu vào đó đến một model trí tuệ nhân tạo (AI). Kỹ thuật này hoạt động như một lớp middleware thông minh, tối ưu hóa tương tác giữa con người và máy móc, đảm bảo các mô hình ngôn ngữ lớn (LLMs) và các hệ thống thị giác máy tính nhận được những truy vấn đầy đủ. Bằng cách bổ sung các chi tiết mà người dùng có thể bỏ sót—chẳng hạn như tùy chọn trước đây, dữ liệu vị trí hoặc các ràng buộc kỹ thuật—tăng cường prompt cải thiện đáng kể độ chính xác và khả năng cá nhân hóa đầu ra của model mà không yêu cầu người dùng phải là chuyên gia trong việc xây dựng hướng dẫn chi tiết.

Cơ chế tăng cường#

Chức năng cốt lõi của việc tăng cường prompt là thu hẹp khoảng cách giữa ý định mơ hồ của con người và đầu vào chính xác, giàu dữ liệu mà các model yêu cầu để đạt hiệu suất tối ưu. Khi nhận được một truy vấn, hệ thống sẽ phân tích truy vấn đó và truy xuất thông tin nền cần thiết từ một knowledge graph hoặc cơ sở dữ liệu có cấu trúc. Dữ liệu được truy xuất sẽ được định dạng bằng chương trình và nối vào prompt ban đầu.

Ví dụ, trong các quy trình Xử lý ngôn ngữ tự nhiên (NLP), một câu hỏi đơn giản như "Trạng thái là gì?" không đủ ngữ cảnh. Hệ thống tăng cường xác định phiên đang hoạt động, truy xuất số đơn hàng mới nhất từ một cơ sở dữ liệu giao dịch, rồi viết lại prompt thành: "Người dùng đang hỏi về Đơn hàng #998, hiện đang được vận chuyển. Hãy cung cấp thông tin cập nhật về việc giao hàng dựa trên trạng thái này." Quy trình này thường sử dụng cơ sở dữ liệu vector để nhanh chóng tìm ngữ cảnh liên quan về mặt ngữ nghĩa cần chèn vào.

Các ứng dụng trong thực tế#

Tăng cường prompt là yếu tố thiết yếu để triển khai các ứng dụng AI tạo sinh mạnh mẽ trong nhiều ngành, nâng cao cả các hệ thống dựa trên văn bản lẫn thị giác:

1. Hỗ trợ khách hàng nhận biết ngữ cảnh: Trong các helpdesk tự động, một chatbot sử dụng tính năng tăng cường để truy cập lịch sử mua hàng và môi trường kỹ thuật của khách hàng. Thay vì yêu cầu người dùng cung cấp phiên bản thiết bị, hệ thống truy xuất thông tin này từ metadata tài khoản và chèn vào prompt. Nhờ đó, tác nhân AI có thể cung cấp ngay các bước khắc phục sự cố dành riêng cho thiết bị, qua đó cải thiện đáng kể trải nghiệm khách hàng.

2. Cấu hình thị giác máy tính động: Trong các hoạt động an ninh, người dùng có thể chỉ cần bật cài đặt "Chế độ ban đêm". Ở phía sau, tính năng tăng cường prompt chuyển ý định cấp cao này thành các lớp đối tượng cụ thể cho một detector có vocabulary mở như YOLO-World. Hệ thống tăng cường prompt để quét cụ thể "đèn pin", "chuyển động đáng ngờ" hoặc "người không được phép", cho phép model tự động điều chỉnh trọng tâm phát hiện đối tượng.

Ví dụ: Tăng cường lớp động#

Ví dụ Python sau đây minh họa khái niệm tăng cường prompt bằng package ultralytics. Trong ví dụ này, ý định cấp cao của người dùng được tăng cường bằng chương trình thành một danh sách các lớp mô tả cụ thể để model quét tìm.

from ultralytics import YOLO


def run_enriched_inference(user_mode):
    """Enriches a simple user mode into specific detection prompts."""
    # Load a YOLO-World model capable of open-vocabulary detection
    model = YOLO("yolov8s-world.pt")

    # Enrichment Logic: Map simple user intent to detailed class prompts
    context_map = {
        "site_safety": ["hard hat", "safety vest", "gloves"],
        "traffic": ["car", "bus", "traffic light", "pedestrian"],
    }

    # Inject the enriched context into the model
    enriched_classes = context_map.get(user_mode, ["object"])
    model.set_classes(enriched_classes)

    # The model now looks for the specific enriched terms
    print(f"Mode: {user_mode} -> Enriched Prompt: {enriched_classes}")


run_enriched_inference("site_safety")

Tăng cường prompt so với các khái niệm liên quan#

Để triển khai Vận hành học máy (MLOps) hiệu quả, việc phân biệt tăng cường prompt với các thuật ngữ tương tự là rất hữu ích:

• Sinh nội dung tăng cường bằng truy xuất (RAG): RAG là một phương pháp tăng cường cụ thể. Thuật ngữ này chỉ cơ chế tìm nạp các tài liệu liên quan từ một kho dữ liệu bên ngoài để làm cơ sở cho phản hồi của model. Tăng cường là khái niệm rộng hơn, bao gồm RAG nhưng cũng bao quát việc chèn dữ liệu phiên tĩnh, metadata người dùng hoặc thời gian hệ thống mà không nhất thiết phải thực hiện tìm kiếm ngữ nghĩa phức tạp.
• Kỹ thuật xây dựng prompt: Đây là công việc thủ công nhằm thiết kế các prompt hiệu quả. Tăng cường là một quy trình tự động áp dụng linh hoạt các nguyên tắc xây dựng prompt trong thời gian chạy.
• Tinh chỉnh prompt: Đây là một kỹ thuật tinh chỉnh hiệu quả về tham số (PEFT), trong đó "prompt mềm" (các tensor có thể học) được tối ưu hóa trong quá trình huấn luyện. Tăng cường prompt diễn ra hoàn toàn trong suy luận theo thời gian thực và không làm thay đổi trọng số model.
• Học từ ít ví dụ: Phương pháp này cung cấp các ví dụ trong prompt để dạy model một tác vụ. Các hệ thống tăng cường thường tự động chèn những ví dụ ít mẫu này dựa trên loại tác vụ, qua đó kết hợp hiệu quả cả hai khái niệm.

Mức độ liên quan trong các hệ thống AI hiện đại#

Khi các model như Ultralytics YOLO26 và GPT-4 ngày càng mạnh hơn, điểm nghẽn thường chuyển sang chất lượng của đầu vào. Tăng cường prompt giảm thiểu hiện tượng ảo giác trong LLMs bằng cách neo model vào dữ liệu thực tế được cung cấp. Trong thị giác máy tính (CV), tính năng này cho phép xây dựng các hệ thống phát hiện học không mẫu linh hoạt, có thể ngay lập tức thích ứng với môi trường mới mà không cần huấn luyện lại, chỉ bằng cách thay đổi các prompt văn bản đưa vào hệ thống. Tính linh hoạt này rất quan trọng để xây dựng các giải pháp AI đa phương thức có khả năng mở rộng, có thể suy luận trên cả văn bản và hình ảnh. Người dùng muốn quản lý các dataset được sử dụng để neo các hệ thống này thường dựa vào các công cụ như Ultralytics Platform để tổ chức và chú thích thông tin một cách hiệu quả.