Prompt Chaining

Prompt chaining chia một tác vụ thành chuỗi các lần gọi mô hình ngôn ngữ lớn (LLM) hoặc model khác, trong đó mỗi prompt được tạo từ đầu ra của lần gọi trước. Thay vì một prompt dài phải đọc email hỗ trợ, tìm mã đơn hàng, kiểm tra đơn hàng và soạn câu trả lời, chuỗi sẽ chạy một prompt riêng, hẹp hơn cho từng bước; mã thông thường chuyển kết quả giữa các bước và kiểm tra chúng trong quá trình thực hiện. Có thể kiểm tra, thử nghiệm và sửa riêng từng đầu ra trung gian. Tongshuang Wu, Michael Terry và Carrie Cai đã nghiên cứu mô hình này trong AI Chains, công trình được trình bày tại CHI 2022; nghiên cứu cho thấy chaining cải thiện chất lượng kết quả cũng như cảm nhận về tính minh bạch và khả năng kiểm soát của người tham gia trong nghiên cứu người dùng với 20 người.

Cách hoạt động của prompt chain#

Chain là một chương trình cố định. Developer quyết định các bước, thứ tự của chúng và template prompt cho từng bước; mã sẽ chuyển dữ liệu giữa các bước, thường dưới dạng JSON có thể phân tích cú pháp nhờ schema đầu ra có cấu trúc. Hướng dẫn Building Effective Agents của Anthropic xếp prompt chaining vào nhóm workflow, tức hệ thống có luồng xử lý được xác định trong mã, đồng thời mô tả các bước kiểm tra bằng mã, gọi là gate, giữa các bước để xác nhận quy trình vẫn đi đúng hướng. Ví dụ bao gồm viết nội dung marketing rồi dịch nội dung đó, và soạn dàn ý, đối chiếu với tiêu chí rồi mới viết tài liệu. Đổi lại là độ trễ để lấy độ chính xác: mỗi lần gọi dễ xử lý chính xác hơn, nhưng mỗi bước lại thêm một lượt khứ hồi.

Gate rất quan trọng vì lỗi cộng dồn. Một giá trị trích xuất sai ở bước một sẽ trở thành một dữ kiện được khẳng định chắc chắn ở bước ba, vì vậy chain thường xác thực định dạng, phạm vi giá trị hoặc các trường bắt buộc trước khi chuyển tiếp dữ liệu. Chain dài hơn có thể thêm vòng lặp như ở trên, thử lại một bước với thông báo lỗi được đưa vào prompt, hoặc thêm bước định tuyến trong đó lần gọi đầu tiên gắn nhãn request và mã chọn prompt phù hợp để xử lý. Các framework như LangChain cung cấp các thành phần để kết hợp chain, dù nhiều chain dùng trong production chỉ gồm vài lần gọi hàm bằng Python thuần.

Ứng dụng thực tế#

• Sinh mã: AlphaCodium kết nối các bước phân tích bài toán, sinh test, soạn lời giải và sửa lỗi dựa trên test; phương pháp này nâng pass@5 của GPT-4 trên các bài toán xác thực CodeContests từ 19% với một prompt trực tiếp duy nhất lên 44%.
• Xử lý tài liệu: Các pipeline hóa đơn và hợp đồng trích xuất trường dữ liệu trong một lần gọi, xác thực chúng bằng mã, rồi tạo bản tóm tắt hoặc email từ các trường đã xác thực trong một lần gọi khác.
• Sinh tăng cường truy xuất (RAG): Lần gọi đầu tiên viết lại câu hỏi của người dùng thành truy vấn tìm kiếm, mã thực hiện truy xuất trên cơ sở dữ liệu vector, rồi lần gọi thứ hai trả lời dựa trên các đoạn văn bản được truy xuất.
• Nhận diện biển số: Một model YOLO phát hiện biển số trong các khung hình video, sau đó mỗi biển số được cắt ra sẽ được gửi đến GPT-4o mini để đọc ký tự dưới dạng văn bản, nhờ vậy model ngôn ngữ chỉ xử lý hình ảnh biển số.

Ultralytics Platform Agents tạo loại chain này trên một canvas trực quan. Template YOLO → VLM Monitor chạy YOLO26 trên một hình ảnh, chuyển các đối tượng phát hiện được đến block Gate chỉ tiếp tục khi tìm thấy ít nhất một người, rồi gửi hình ảnh cùng kết quả từ các bước trước đến một model thị giác-ngôn ngữ trong block LLM. Đây là chain tương tự được viết bằng Python, đến bước prompt cho liên kết thứ hai:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# Link 1: detect objects and list their class names
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]
names = [result.names[int(c)] for c in result.boxes.cls]

# Gate: call the language model only when a person is present
if "person" in names:
    # Link 2: build the next prompt from link 1's output
    prompt = f"Objects detected: {', '.join(names)}. In one sentence, describe what the people are doing."
    print(prompt)

Prompt được in ra đưa kết quả phát hiện đối tượng vào lần gọi tiếp theo; hình ảnh không có người sẽ không bao giờ được chuyển đến bước đó.

Prompt chaining và các khái niệm liên quan#

• Prompt chain-of-thought: Yêu cầu một lần gọi model trình bày các bước lập luận. Prompt chain phân bổ các bước này qua nhiều lần gọi, với mã xử lý ở giữa.
• AI agent và prompt ReAct: Model tự chọn hành động tiếp theo và quyết định khi nào hoàn tất. Trong chain, developer cố định trước các bước, nhờ đó chain dễ kiểm thử hơn và có chi phí dự đoán được.
• Workflow agentic: Nhóm rộng hơn gồm các hệ thống LLM được xây dựng từ nhiều bước và công cụ, bao gồm chaining cùng với định tuyến, các lần gọi song song và mô hình điều phối viên-nhân viên.
• Prompt engineering: Kỹ thuật viết từng prompt riêng lẻ. Chaining là quyết định thiết kế về số lượng prompt cần dùng và cách dữ liệu luân chuyển giữa chúng.