Làm phong phú Prompt (Prompt Enrichment)

Làm giàu nhanh là quá trình tự động bổ sung dữ liệu đầu vào ban đầu của người dùng với ngữ cảnh, dữ liệu hoặc hướng dẫn liên quan trước khi gửi đến mô hình Trí tuệ Nhân tạo (AI) . Bằng cách đưa vào các chi tiết cụ thể mà người dùng có thể đã bỏ sót, kỹ thuật này đảm bảo rằng các Mô hình Ngôn ngữ Lớn (LLM) và hệ thống thị giác nhận được một truy vấn toàn diện, dẫn đến kết quả đầu ra chính xác hơn, được cá nhân hóa và có thể thực hiện được. Nó hoạt động như một lớp trung gian thông minh, tối ưu hóa tương tác giữa con người và máy móc mà không yêu cầu người dùng phải là chuyên gia trong việc tạo ra các gợi ý chi tiết.

Cơ chế làm giàu

Chức năng cốt lõi của việc làm giàu nhanh chóng là thu hẹp khoảng cách giữa ý định mơ hồ của người dùng và dữ liệu đầu vào chính xác mà AI cần. Khi nhận được truy vấn, hệ thống sẽ truy xuất thông tin bổ sung—chẳng hạn như sở thích của người dùng, dữ liệu lịch sử hoặc chỉ số cảm biến theo thời gian thực—từ biểu đồ kiến thức hoặc cơ sở dữ liệu. Dữ liệu được truy xuất này được định dạng theo chương trình và được thêm vào truy vấn ban đầu.

Ví dụ, trong Xử lý Ngôn ngữ Tự nhiên (NLP) , một câu hỏi đơn giản như "Trạng thái hiện tại là gì?" là không đủ cho một mô hình. Thông qua việc làm giàu, hệ thống xác định ID phiên hoạt động của người dùng, tra cứu giao dịch gần nhất trong cơ sở dữ liệu vector và viết lại lời nhắc thành: "Người dùng (ID: 5521) đang hỏi về Đơn hàng số 998, hiện đang trong quá trình vận chuyển. Hãy cập nhật trạng thái dựa trên dữ liệu theo dõi này."

Các Ứng dụng Thực tế

Việc làm giàu nhanh chóng là điều cần thiết để triển khai các ứng dụng AI tạo sinh mạnh mẽ trên nhiều ngành công nghiệp khác nhau:

1. Hỗ trợ Khách hàng Nhận thức Bối cảnh: Trong các tổng đài trợ giúp tự động, chatbot sử dụng tính năng làm giàu để truy cập lịch sử mua hàng và môi trường kỹ thuật của khách hàng. Thay vì hỏi người dùng về phiên bản thiết bị, hệ thống sẽ lấy thông tin này từ siêu dữ liệu tài khoản và đưa vào lời nhắc. Điều này cho phép tác nhân AI cung cấp các bước khắc phục sự cố ngay lập tức, cụ thể cho từng thiết bị, cải thiện đáng kể trải nghiệm của khách hàng .
2. Cấu hình Thị giác Máy tính Động: Trong các hoạt động bảo mật, người dùng có thể chỉ cần bật/tắt cài đặt "Chế độ Ban đêm". Đằng sau hậu trường, tính năng làm giàu lời nhắc sẽ chuyển đổi ý định cấp cao này thành các lớp đối tượng cụ thể cho Mô hình Ngôn ngữ Thị giác (VLM) hoặc bộ phát hiện từ vựng mở. Hệ thống làm giàu lời nhắc để tìm kiếm cụ thể "đèn pin", "chuyển động đáng ngờ" hoặc "người không được phép", cho phép mô hình điều chỉnh tiêu điểm phát hiện đối tượng một cách linh hoạt.

Ví dụ: Làm giàu lớp động với YOLO -Thế giới

Sau đây là Python Ví dụ minh họa khái niệm làm giàu nhanh chóng bằng Ultralytics YOLO -World . Ở đây, lựa chọn "chế độ" đơn giản của người dùng được lập trình để làm giàu thành danh sách các lớp mô tả cụ thể mà mô hình sẽ quét.

from ultralytics import YOLO


def run_enriched_inference(user_mode):
    """Enriches a simple user mode into specific detection prompts."""
    # Load an open-vocabulary YOLO model
    model = YOLO("yolov8s-world.pt")

    # Enrichment Logic: Map simple user intent to detailed class prompts
    context_map = {
        "site_safety": ["hard hat", "safety vest", "gloves"],
        "traffic": ["car", "bus", "traffic light", "pedestrian"],
    }

    # Inject the enriched context into the model
    enriched_classes = context_map.get(user_mode, ["object"])
    model.set_classes(enriched_classes)

    # The model now looks for the specific enriched terms
    # model.predict("site_image.jpg") # Run inference
    print(f"Mode: {user_mode} -> Enriched Prompt: {enriched_classes}")


# Example usage
run_enriched_inference("site_safety")

So sánh Làm phong phú Prompt với các khái niệm liên quan

Để triển khai các Hoạt động học máy (MLOps) hiệu quả, cần phân biệt làm giàu nhanh chóng với các thuật ngữ tương tự:

• Retrieval-Augmented Generation (RAG) : RAG là một phương pháp làm giàu dữ liệu cụ thể. Nó đề cập chặt chẽ đến cơ chế lấy các tài liệu liên quan từ một kho dữ liệu bên ngoài để làm cơ sở cho phản hồi của mô hình. Làm giàu dữ liệu là khái niệm rộng hơn, bao gồm cả RAG nhưng cũng bao gồm việc đưa dữ liệu phiên tĩnh, siêu dữ liệu người dùng hoặc thời gian hệ thống mà không nhất thiết phải thực hiện tìm kiếm ngữ nghĩa phức tạp.
• Kỹ thuật nhắc nhở : Đây là kỹ thuật thủ công để thiết kế các lời nhắc hiệu quả. Làm giàu là một quy trình tự động áp dụng các nguyên tắc kỹ thuật nhắc nhở một cách linh hoạt khi chạy.
• Điều chỉnh nhanh : Đây là kỹ thuật tinh chỉnh hiệu quả tham số (PEFT), trong đó "lời nhắc mềm" (tensor có thể học được) được tối ưu hóa trong quá trình huấn luyện. Việc làm giàu nhanh diễn ra hoàn toàn trong quá trình suy luận thời gian thực và không làm thay đổi trọng số mô hình .
• Học tập ít lần : Phương pháp này bao gồm việc cung cấp các ví dụ trong lời nhắc để dạy mô hình một nhiệm vụ. Các hệ thống làm giàu thường đưa các ví dụ ít lần này vào một cách linh hoạt dựa trên loại nhiệm vụ, kết hợp hiệu quả cả hai khái niệm.

Sự liên quan trong các hệ thống AI hiện đại

Khi các mô hình như Ultralytics YOLO11 và GPT-4 trở nên hiệu quả hơn, nút thắt thường chuyển sang chất lượng đầu vào. Làm giàu tức thời giúp giảm thiểu ảo giác trong LLM bằng cách đặt mô hình vào dữ liệu thực tế được cung cấp. Trong thị giác máy tính (CV) , nó cho phép các hệ thống phát hiện linh hoạt, không cần xử lý, có thể thích ứng ngay lập tức với môi trường mới mà không cần đào tạo lại, chỉ bằng cách sửa đổi các lời nhắc văn bản được đưa vào hệ thống. Tính linh hoạt này rất quan trọng để xây dựng các giải pháp AI đa phương thức , có khả năng mở rộng, có thể suy luận trên cả văn bản và hình ảnh.