Chunked Prefill
Tìm hiểu cách chunked prefill cải thiện latency và throughput khi inference LLM bằng cách chia các prompt dài thành các chunk token để phục vụ mượt mà hơn dưới các workload đồng thời.
Prefill theo phân đoạn là một kỹ thuật lập lịch suy luận, chia prompt đầu vào dài thành các nhóm token nhỏ hơn thay vì xử lý toàn bộ prompt trong một thao tác liên tục. Inference engine có thể đan xen các phân đoạn này với quá trình sinh token cho các request khác, ngăn một prompt dài chiếm dụng GPU quá lâu. Kết quả thường là độ trễ ổn định hơn khi có workload đồng thời, tận dụng phần cứng tốt hơn và dịch vụ dễ dự đoán hơn cho các ứng dụng mô hình ngôn ngữ lớn tương tác.
Cách Prefill theo phân đoạn hoạt động#
Suy luận Transformer tự hồi quy có hai giai đoạn chính:
- Prefill: Model xử lý tất cả token đầu vào, tính toán các trạng thái attention của chúng và nạp KV cache. Prefill đánh giá nhiều token song song và thường bị giới hạn bởi năng lực tính toán.
- Decode: Model sinh đầu ra từng token một trong khi đọc các trạng thái đã được cache trước đó. Decode thường bị giới hạn bởi băng thông bộ nhớ thay vì năng lực tính toán thuần túy.
Nếu không phân đoạn, một request gồm 20.000 token có thể chiếm một bước suy luận lâu hơn nhiều so với request ngắn. Khi đó, các quá trình sinh đang hoạt động có thể bị tạm dừng, làm tăng độ trễ giữa các token ngay cả khi prompt của chúng ngắn.
Với prefill theo phân đoạn, scheduler gán cho mỗi vòng lặp một ngân sách token. Trước tiên, scheduler lập lịch các thao tác decode đang hoạt động, sau đó dùng ngân sách còn lại cho một hoặc nhiều phân đoạn prompt. Nếu một prompt không vừa, các token còn lại của prompt sẽ chờ đến vòng lặp sau. Hướng dẫn tối ưu hóa vLLM hiện tại mô tả cách tiếp cận này như một phương thức kết hợp công việc prefill nặng về tính toán với decode nặng về bộ nhớ.
Phân đoạn thay đổi thời điểm xử lý các token của prompt, không thay đổi thứ tự hoặc ý nghĩa của chúng. Mỗi phân đoạn hoàn tất sẽ mở rộng trạng thái attention đã cache của request cho đến khi toàn bộ prompt sẵn sàng và quá trình decode có thể bắt đầu.
Vì sao Prefill theo phân đoạn quan trọng#
Prefill theo phân đoạn giải quyết các mục tiêu hiệu năng cạnh tranh trong hoạt động phục vụ model production:
- Độ trễ giữa các token: Ưu tiên các request decode hiện có giúp phản hồi dạng stream tiếp tục mà không bị tạm dừng lâu.
- Thời gian đến token đầu tiên: Các phân đoạn lớn giúp hoàn tất prompt mới sớm hơn, trong khi các phân đoạn quá nhỏ có thể trì hoãn token được sinh đầu tiên.
- Thông lượng: Kết hợp công việc prefill và decode có thể tận dụng năng lực tính toán của GPU và băng thông bộ nhớ hiệu quả hơn.
- Tính công bằng: Các prompt dài ít có khả năng chặn nhiều request tương tác ngắn hơn.
Do đó, thiết lập phân đoạn hoặc ngân sách token là một sự đánh đổi. Cấu hình scheduler vLLM cung cấp các tùy chọn kiểm soát giới hạn token theo batch, prefill từng phần và ngưỡng cho prompt dài. Ngân sách nhỏ hơn thường ưu tiên decode có độ phản hồi cao, trong khi ngân sách lớn hơn ưu tiên nạp prompt nhanh hơn.
Phân đoạn không loại bỏ mọi nút thắt hiệu năng. Context dài vẫn tiêu tốn bộ nhớ cache, còn việc tiếp nhận request quá mạnh có thể gây áp lực lên cache, preemption request hoặc công việc lặp lại. Operator nên đo độ trễ suy luận trung vị và ở đuôi phân phối, thời gian đến token đầu tiên, độ trễ giữa các token, thông lượng và mức sử dụng bộ nhớ GPU trên các phân phối prompt thực tế.
Các khái niệm suy luận liên quan#
Prefill theo phân đoạn có mối liên hệ chặt chẽ với một số kỹ thuật tối ưu hóa, nhưng phục vụ mục đích riêng:
- Batching liên tục: Thêm và loại bỏ request một cách động trong quá trình sinh. Prefill theo phân đoạn bổ trợ cho kỹ thuật này bằng cách giúp lập lịch việc xử lý prompt dài tại các ranh giới cấp token.
- Caching prompt: Tái sử dụng các trạng thái đã tính toán cho phần tiền tố prompt lặp lại. Prefill theo phân đoạn lập lịch cho phép tính toán mới; nó không bỏ qua phép tính đó.
- Quản lý paged KV-cache: Tổ chức các trạng thái attention đã cache thành các block bộ nhớ. Tổng quan về TensorRT-LLM của NVIDIA bao gồm caching phân trang và batching in-flight cùng với các tối ưu hóa xử lý prompt.
- Batching động: Kết hợp các request riêng biệt thành batch, như được giải thích trong hướng dẫn batching động của NVIDIA Triton. Kỹ thuật này không nhất thiết chia một prompt dài riêng lẻ thành các prefill từng phần.
- Prefill và decode phân tách: Chạy các giai đoạn trên những worker riêng biệt. Hướng dẫn triển khai prefill và decode của NVIDIA cho thấy thay vào đó có thể scale độc lập các giai đoạn này.
Mặc dù workflow triển khai Ultralytics YOLO26 trên Triton hỗ trợ suy luận computer vision có khả năng scale và batching tự động, object detection YOLO tiêu chuẩn không có giai đoạn text-prefill tự hồi quy. Prefill theo phân đoạn chủ yếu áp dụng cho các model ngôn ngữ sinh và model đa phương thức.
Các ứng dụng trong thực tế#
-
Trợ lý tài liệu: Một trợ lý tăng cường truy xuất có thể nhận một báo cáo dài đồng thời phục vụ người dùng với các câu hỏi ngắn. Phân đoạn prefill của báo cáo cho phép các cuộc trò chuyện đang diễn ra tiếp tục decode thay vì bị đóng băng cho đến khi toàn bộ context được xử lý.
-
Phân tích video đa phương thức: Một model thị giác-ngôn ngữ có thể nhận đặc trưng hình ảnh, mô tả đối tượng và một chỉ dẫn văn bản dài. Pipeline thị giác trước tiên có thể tạo kết quả detection bằng dự đoán Ultralytics YOLO, sau đó gửi context thị giác có cấu trúc đến model sinh. Prefill theo phân đoạn giúp lập lịch các token thị giác và văn bản tạo ra cùng với các request khác. Workflow encode-prefill-decode đa phương thức của NVIDIA minh họa lý do việc quản lý độc lập các giai đoạn này có thể cải thiện khả năng scale.
Hướng dẫn triển khai thực tế#
Chỉ bật prefill theo phân đoạn thông qua một serving engine chính thức hỗ trợ kiến trúc mục tiêu. Ví dụ, cấu hình backend TensorRT-LLM ghi lại các tùy chọn kiểm soát context phân đoạn cho những deployment được hỗ trợ.
Benchmark với mức độ đồng thời, độ dài đầu vào và độ dài đầu ra thực tế thay vì chỉ dựa vào một request duy nhất. Bắt đầu với ngân sách token được runtime khuyến nghị, sau đó điều chỉnh trong khi theo dõi thời gian đến token đầu tiên và độ trễ giữa các token. Cuối cùng, kiểm thử các workload hỗn hợp gồm cả prompt rất dài và rất ngắn; đây là trường hợp prefill theo phân đoạn mang lại giá trị vận hành rõ ràng nhất.
