Prompt Enrichment

Làm giàu prompt là quá trình tự động tăng cường thông tin đầu vào ban đầu của người dùng với ngữ cảnh liên quan, hướng dẫn cụ thể hoặc dữ liệu bổ sung trước khi gửi đến một mô hình Trí tuệ nhân tạo (AI). Kỹ thuật này đóng vai trò như một lớp trung gian thông minh giúp tối ưu hóa sự tương tác giữa con người và máy móc, đảm bảo rằng các Mô hình ngôn ngữ lớn (LLM) và hệ thống thị giác máy tính nhận được các truy vấn toàn diện. Bằng cách chèn thêm các chi tiết mà người dùng có thể bỏ qua—chẳng hạn như sở thích lịch sử, dữ liệu vị trí hoặc các ràng buộc kỹ thuật—làm giàu prompt cải thiện đáng kể độ chính xác và tính cá nhân hóa của đầu ra mô hình mà không yêu cầu người dùng phải là chuyên gia trong việc soạn thảo các hướng dẫn chi tiết.

Link to this sectionCơ chế của việc làm giàu dữ liệu#

Chức năng cốt lõi của làm giàu prompt là thu hẹp khoảng cách giữa ý định mơ hồ của con người và đầu vào chính xác, giàu dữ liệu mà các mô hình yêu cầu để đạt hiệu suất tối ưu. Khi một truy vấn được nhận, hệ thống sẽ phân tích và truy xuất thông tin nền cần thiết từ một đồ thị tri thức hoặc một cơ sở dữ liệu có cấu trúc. Dữ liệu truy xuất này được định dạng theo chương trình và được đính kèm vào prompt gốc.

Ví dụ, trong các quy trình Xử lý ngôn ngữ tự nhiên (NLP), một câu hỏi đơn giản như "Trạng thái thế nào?" là không đủ về mặt ngữ cảnh. Hệ thống làm giàu sẽ xác định phiên làm việc hiện tại, truy xuất số đơn hàng mới nhất từ một cơ sở dữ liệu giao dịch, và viết lại prompt thành: "Người dùng đang hỏi về Đơn hàng #998, hiện đang trong quá trình vận chuyển. Hãy cung cấp cập nhật vận chuyển dựa trên trạng thái này." Quá trình này thường sử dụng các cơ sở dữ liệu vector để nhanh chóng tìm kiếm ngữ cảnh có liên quan về mặt ngữ nghĩa để chèn vào.

Link to this sectionCác ứng dụng trong thực tế#

Làm giàu prompt là yếu tố cần thiết để triển khai các ứng dụng AI tạo sinh mạnh mẽ trong nhiều ngành công nghiệp khác nhau, giúp nâng cao cả hệ thống dựa trên văn bản và thị giác:

1. Hỗ trợ khách hàng nhận biết ngữ cảnh: Trong các tổng đài tự động, một chatbot sử dụng tính năng làm giàu dữ liệu để truy cập lịch sử mua hàng và môi trường kỹ thuật của khách hàng. Thay vì yêu cầu người dùng cung cấp phiên bản thiết bị, hệ thống sẽ truy xuất thông tin này từ siêu dữ liệu tài khoản và chèn vào prompt. Điều này cho phép tác nhân AI cung cấp các bước khắc phục sự cố tức thì, dành riêng cho thiết bị, cải thiện đáng kể trải nghiệm khách hàng.

2. Cấu hình thị giác máy tính động: Trong các hoạt động an ninh, người dùng có thể chỉ cần chuyển đổi cài đặt "Chế độ ban đêm". Phía sau, việc làm giàu prompt chuyển đổi ý định cấp cao này thành các lớp đối tượng cụ thể cho một bộ phát hiện từ vựng mở như YOLO-World. Hệ thống làm giàu prompt để quét cụ thể "đèn pin", "chuyển động đáng ngờ" hoặc "người không được phép", cho phép mô hình thích ứng với trọng tâm phát hiện đối tượng một cách linh hoạt.

Link to this sectionVí dụ: Làm giàu lớp đối tượng động#

Ví dụ Python sau đây minh họa khái niệm làm giàu prompt bằng cách sử dụng gói ultralytics. Tại đây, ý định cấp cao của người dùng được làm giàu một cách lập trình thành một danh sách các lớp mô tả cụ thể mà mô hình sẽ quét.

from ultralytics import YOLO


def run_enriched_inference(user_mode):
    """Enriches a simple user mode into specific detection prompts."""
    # Load a YOLO-World model capable of open-vocabulary detection
    model = YOLO("yolov8s-world.pt")

    # Enrichment Logic: Map simple user intent to detailed class prompts
    context_map = {
        "site_safety": ["hard hat", "safety vest", "gloves"],
        "traffic": ["car", "bus", "traffic light", "pedestrian"],
    }

    # Inject the enriched context into the model
    enriched_classes = context_map.get(user_mode, ["object"])
    model.set_classes(enriched_classes)

    # The model now looks for the specific enriched terms
    print(f"Mode: {user_mode} -> Enriched Prompt: {enriched_classes}")


run_enriched_inference("site_safety")

Link to this sectionLàm giàu Prompt so với các khái niệm liên quan#

Để triển khai Vận hành học máy (MLOps) hiệu quả, việc phân biệt làm giàu prompt với các thuật ngữ tương tự là rất hữu ích:

• RAG (Retrieval-Augmented Generation): RAG là một phương pháp làm giàu cụ thể. Nó đề cập nghiêm ngặt đến cơ chế tìm nạp các tài liệu có liên quan từ một kho dữ liệu bên ngoài để tạo cơ sở cho phản hồi của mô hình. Làm giàu prompt là khái niệm rộng hơn, bao gồm RAG nhưng cũng bao gồm việc chèn dữ liệu phiên tĩnh, siêu dữ liệu người dùng hoặc thời gian hệ thống mà không nhất thiết phải thực hiện tìm kiếm ngữ nghĩa phức tạp.
• Kỹ thuật Prompt (Prompt Engineering): Đây là kỹ thuật thủ công trong việc thiết kế các prompt hiệu quả. Làm giàu prompt là một quá trình tự động áp dụng các nguyên tắc kỹ thuật prompt một cách linh hoạt trong thời gian chạy (runtime).
• Tinh chỉnh Prompt (Prompt Tuning): Đây là một kỹ thuật tinh chỉnh hiệu quả tham số (PEFT), trong đó các "prompt mềm" (các tensor có thể học được) được tối ưu hóa trong quá trình huấn luyện. Làm giàu prompt xảy ra hoàn toàn trong quá trình suy luận thời gian thực và không làm thay đổi trọng số mô hình.
• Học vài ví dụ (Few-Shot Learning): Điều này liên quan đến việc cung cấp các ví dụ trong prompt để dạy mô hình một nhiệm vụ. Các hệ thống làm giàu thường chèn các ví dụ few-shot này một cách động dựa trên loại nhiệm vụ, kết hợp hiệu quả cả hai khái niệm.

Link to this sectionSự phù hợp trong các hệ thống AI hiện đại#

Khi các mô hình như Ultralytics YOLO26 và GPT-4 ngày càng trở nên mạnh mẽ, nút thắt cổ chai thường chuyển sang chất lượng của đầu vào. Làm giàu prompt giảm thiểu sự ảo tưởng trong LLM bằng cách đặt mô hình vào dữ liệu thực tế được cung cấp. Trong thị giác máy tính (CV), nó cho phép các hệ thống phát hiện zero-shot learning linh hoạt, có thể thích ứng với môi trường mới ngay lập tức mà không cần huấn luyện lại, chỉ bằng cách sửa đổi các prompt văn bản được đưa vào hệ thống. Sự linh hoạt này rất quan trọng để xây dựng các giải pháp AI đa phương thức có khả năng mở rộng, có thể suy luận trên cả văn bản và hình ảnh. Những người dùng muốn quản lý các tập dữ liệu được sử dụng để làm cơ sở cho các hệ thống này thường dựa vào các công cụ như Ultralytics Platform để sắp xếp và chú thích thông tin của họ một cách hiệu quả.