Làm phong phú Prompt (Prompt Enrichment)

Làm giàu thông tin đầu vào là quá trình tự động bổ sung ngữ cảnh liên quan, hướng dẫn cụ thể hoặc dữ liệu bổ sung cho thông tin đầu vào ban đầu của người dùng trước khi gửi đến mô hình Trí tuệ Nhân tạo (AI) . Kỹ thuật này hoạt động như một lớp phần mềm trung gian thông minh giúp tối ưu hóa sự tương tác giữa con người và máy móc, đảm bảo rằng các Mô hình Ngôn ngữ Lớn (LLM) và hệ thống thị giác máy tính nhận được các truy vấn toàn diện. Bằng cách bổ sung các chi tiết mà người dùng có thể bỏ sót—chẳng hạn như sở thích trước đây, dữ liệu vị trí hoặc các ràng buộc kỹ thuật—làm giàu thông tin đầu vào cải thiện đáng kể độ chính xác và tính cá nhân hóa của đầu ra của mô hình mà không yêu cầu người dùng phải là chuyên gia trong việc soạn thảo các hướng dẫn chi tiết.

Cơ chế làm giàu

Chức năng cốt lõi của việc làm giàu thông tin nhắc nhở là thu hẹp khoảng cách giữa ý định mơ hồ của con người và dữ liệu đầu vào chính xác, phong phú mà các mô hình yêu cầu để đạt hiệu suất tối ưu. Khi nhận được một truy vấn, hệ thống sẽ phân tích nó và truy xuất thông tin nền cần thiết từ biểu đồ tri thức hoặc cơ sở dữ liệu có cấu trúc. Dữ liệu được truy xuất này được định dạng bằng lập trình và được thêm vào thông tin nhắc nhở ban đầu.

Ví dụ, trong quy trình Xử lý Ngôn ngữ Tự nhiên (NLP) , một câu hỏi đơn giản như "Tình trạng hiện tại là gì?" là không đủ về mặt ngữ cảnh. Một hệ thống làm giàu thông tin sẽ xác định phiên hoạt động, truy xuất số đơn hàng mới nhất từ cơ sở dữ liệu giao dịch và viết lại lời nhắc thành: "Người dùng đang hỏi về Đơn hàng số 998, hiện đang trong quá trình vận chuyển. Vui lòng cung cấp thông tin cập nhật về vận chuyển dựa trên trạng thái này." Quá trình này thường sử dụng cơ sở dữ liệu vector để nhanh chóng tìm thấy ngữ cảnh có liên quan về mặt ngữ nghĩa để đưa vào.

Các Ứng dụng Thực tế

Việc bổ sung dữ liệu kịp thời là rất cần thiết để triển khai các ứng dụng AI tạo sinh mạnh mẽ trong nhiều ngành công nghiệp khác nhau, giúp nâng cao cả các hệ thống dựa trên văn bản và hình ảnh:

1. Hỗ trợ khách hàng dựa trên ngữ cảnh: Trong các hệ thống hỗ trợ tự động, chatbot sử dụng công nghệ làm giàu dữ liệu để truy cập lịch sử mua hàng và môi trường kỹ thuật của khách hàng. Thay vì hỏi người dùng phiên bản thiết bị của họ, hệ thống sẽ lấy thông tin này từ siêu dữ liệu tài khoản và đưa vào lời nhắc. Điều này cho phép tác nhân AI cung cấp các bước khắc phục sự cố cụ thể cho từng thiết bị ngay lập tức, cải thiện đáng kể trải nghiệm khách hàng .
2. Cấu hình thị giác máy tính động: Trong các hoạt động an ninh, người dùng có thể chỉ cần bật/tắt chế độ "Chế độ ban đêm". Ẩn sau đó, quá trình làm giàu thông tin nhắc nhở sẽ dịch ý định cấp cao này thành các lớp đối tượng cụ thể cho một bộ phát hiện từ vựng mở như YOLO -World . Hệ thống làm giàu thông tin nhắc nhở để quét cụ thể các từ khóa "đèn pin", "chuyển động đáng ngờ" hoặc "người không được phép", cho phép mô hình điều chỉnh trọng tâm phát hiện đối tượng một cách linh hoạt.

Ví dụ: Làm giàu lớp động

Sau đây là Python Ví dụ này minh họa khái niệm làm giàu thông tin bằng cách sử dụng... ultralytics Trong gói này, ý định cấp cao của người dùng được lập trình để làm phong phú thêm thành một danh sách các lớp mô tả cụ thể mà mô hình sẽ quét tìm.

from ultralytics import YOLO


def run_enriched_inference(user_mode):
    """Enriches a simple user mode into specific detection prompts."""
    # Load a YOLO-World model capable of open-vocabulary detection
    model = YOLO("yolov8s-world.pt")

    # Enrichment Logic: Map simple user intent to detailed class prompts
    context_map = {
        "site_safety": ["hard hat", "safety vest", "gloves"],
        "traffic": ["car", "bus", "traffic light", "pedestrian"],
    }

    # Inject the enriched context into the model
    enriched_classes = context_map.get(user_mode, ["object"])
    model.set_classes(enriched_classes)

    # The model now looks for the specific enriched terms
    print(f"Mode: {user_mode} -> Enriched Prompt: {enriched_classes}")


run_enriched_inference("site_safety")

So sánh Làm phong phú Prompt với các khái niệm liên quan

Để triển khai các Hoạt động học máy (MLOps) hiệu quả, cần phân biệt làm giàu nhanh chóng với các thuật ngữ tương tự:

• Tạo dữ liệu tăng cường bằng truy xuất (RAG) : RAG là một phương pháp làm giàu dữ liệu cụ thể. Nó đề cập chính xác đến cơ chế lấy các tài liệu liên quan từ một kho dữ liệu bên ngoài để làm cơ sở cho phản hồi của mô hình. Làm giàu dữ liệu là khái niệm rộng hơn bao gồm RAG nhưng cũng bao gồm việc chèn dữ liệu phiên tĩnh, siêu dữ liệu người dùng hoặc thời gian hệ thống mà không nhất thiết phải thực hiện tìm kiếm ngữ nghĩa phức tạp.
• Kỹ thuật nhắc nhở : Đây là kỹ thuật thủ công để thiết kế các lời nhắc hiệu quả. Làm giàu là một quy trình tự động áp dụng các nguyên tắc kỹ thuật nhắc nhở một cách linh hoạt khi chạy.
• Điều chỉnh nhanh : Đây là kỹ thuật tinh chỉnh hiệu quả tham số (PEFT), trong đó "lời nhắc mềm" (tensor có thể học được) được tối ưu hóa trong quá trình huấn luyện. Việc làm giàu nhanh diễn ra hoàn toàn trong quá trình suy luận thời gian thực và không làm thay đổi trọng số mô hình .
• Học tập ít lần : Phương pháp này bao gồm việc cung cấp các ví dụ trong lời nhắc để dạy mô hình một nhiệm vụ. Các hệ thống làm giàu thường đưa các ví dụ ít lần này vào một cách linh hoạt dựa trên loại nhiệm vụ, kết hợp hiệu quả cả hai khái niệm.

Sự liên quan trong các hệ thống AI hiện đại

Khi các mô hình như Ultralytics YOLO26 và GPT-4 trở nên mạnh mẽ hơn, điểm nghẽn thường chuyển sang chất lượng dữ liệu đầu vào. Việc làm giàu dữ liệu nhắc nhở giúp giảm thiểu hiện tượng ảo giác trong các mô hình học máy dựa trên ngôn ngữ (LLM) bằng cách dựa trên dữ liệu thực tế được cung cấp. Trong thị giác máy tính (CV) , nó cho phép các hệ thống phát hiện học tập linh hoạt, không cần huấn luyện lại, có thể thích ứng với môi trường mới ngay lập tức mà không cần đào tạo lại, chỉ đơn giản bằng cách sửa đổi các lời nhắc văn bản được đưa vào hệ thống. Tính linh hoạt này rất quan trọng để xây dựng các giải pháp AI đa phương thức , có khả năng mở rộng, có thể suy luận trên cả văn bản và hình ảnh. Người dùng muốn quản lý các tập dữ liệu được sử dụng để xây dựng các hệ thống này thường dựa vào các công cụ như Nền tảng Ultralytics để tổ chức và chú thích thông tin của họ một cách hiệu quả.