Cấp phép YOLO
Quay lại Bảng thuật ngữ Ultralytics

Speculative Decoding

Speculative decoding cho phép một model nháp nhỏ đề xuất token để model lớn kiểm tra trong một lượt, giúp tăng tốc đầu ra LLM mà không làm thay đổi nội dung.

Speculative decoding là kỹ thuật inference tăng tốc sinh văn bản trong mô hình ngôn ngữ lớn (LLM) bằng cách để một model nháp nhỏ, nhanh dự đoán một số token sắp tới, rồi yêu cầu model đích lớn kiểm tra tất cả trong một lượt forward duy nhất. Mỗi dự đoán được chấp nhận là một token mà model lớn không cần tạo từng bước; quy tắc chấp nhận đảm bảo đầu ra tuân theo chính xác cùng phân phối xác suất như khi chỉ dùng model đích. Yaniv Leviathan, Matan Kalman và Yossi Matias tại Google giới thiệu kỹ thuật này trong bài Fast Inference from Transformers via Speculative Decoding vào tháng 11 năm 2022, báo cáo tốc độ sinh T5-XXL nhanh hơn 2–3 lần với đầu ra giống hệt. Charlie Chen và cộng sự tại DeepMind công bố cùng ý tưởng dưới tên speculative sampling vào tháng 2 năm 2023, đạt tốc độ nhanh hơn 2–2,5 lần trên Chinchilla 70 tỷ tham số.

Vì sao giải mã còn dư địa để dự đoán#

Quá trình sinh tự hồi quy tạo một token cho mỗi lượt forward, và mỗi lượt đều đọc toàn bộ trọng số model từ bộ nhớ. Với một chuỗi đơn, lưu lượng bộ nhớ quyết định tốc độ: GPU dành phần lớn thời gian mỗi bước để chờ băng thông bộ nhớ, nên chấm điểm năm token trong một lượt gần như mất thời gian bằng chấm điểm một token. Speculative decoding tận dụng compute nhàn rỗi đó cho bước kiểm chứng. Nhiều token dễ dự đoán, chẳng hạn phần còn lại của một cụm từ phổ biến, dấu ngoặc đóng trong code hoặc tên được sao chép từ prompt; model nháp có kích thước chỉ bằng một phần nhỏ model đích thường dự đoán đúng các token này. Kết quả là độ trễ inference cho mỗi câu trả lời thấp hơn.

Vòng lặp tạo nháp và kiểm chứng#

Mỗi vòng có ba bước. Model nháp tạo k token ứng viên; việc này tốn ít chi phí vì model nhỏ. Sau đó, model đích xử lý toàn bộ k token nháp trong một lượt, tái sử dụng KV cache cho ngữ cảnh trước đó, rồi trả về xác suất của chính model cho từng vị trí được dự đoán. Cuối cùng, các token nháp được kiểm tra từ trái sang phải. Một token nháp x được chấp nhận với xác suất min(1, p(x) / q(x)), trong đó p là xác suất của model đích và q là xác suất của model nháp. Khi token đầu tiên bị từ chối, một token thay thế được lấy mẫu từ phân phối còn lại max(0, p - q), đã chuẩn hóa lại; các token nháp còn lại bị loại bỏ. Nếu cả k token nháp đều được chấp nhận, dự đoán của model đích cho vị trí tiếp theo được lấy miễn phí từ cùng lượt tính toán, nên mỗi vòng tạo ra từ 1 đến k + 1 token.

Với giải mã tham lam, phép kiểm tra chỉ cần so khớp và giữ lại các token nháp nếu chúng trùng với token có xác suất cao nhất của model đích. Nếu mỗi token nháp được chấp nhận với xác suất a, một vòng tạo trung bình (1 - a^(k+1)) / (1 - a) token; do đó, khi a = 0.8 và k = 4, model đích tiến thêm khoảng 3.4 token cho mỗi lượt forward.

Mô phỏng PyTorch này áp dụng quy tắc chấp nhận cho một bước giải mã và đếm số token được tạo ra:

import torch

torch.manual_seed(0)
p = torch.tensor([0.50, 0.30, 0.15, 0.05])  # target model's next-token probabilities
q = torch.tensor([0.40, 0.20, 0.20, 0.20])  # draft model's probabilities for the same step

# Draft 100,000 tokens from q and accept each with probability min(1, p / q)
draft = torch.multinomial(q, 100_000, replacement=True)
accepted = torch.rand(len(draft)) < (p[draft] / q[draft]).clamp(max=1)

# A rejected token is replaced by a sample from the leftover mass max(0, p - q)
residual = (p - q).clamp(min=0)
fallback = torch.multinomial(residual / residual.sum(), len(draft), replacement=True)
tokens = torch.where(accepted, draft, fallback)

print(f"accepted drafts: {accepted.float().mean():.3f}")
print(f"output frequencies: {torch.bincount(tokens) / len(tokens)}")

Lượt chạy chấp nhận 80,1% token nháp, tương ứng với độ giao nhau giữa hai phân phối—tổng min(p, q)—là 0,80. Tần suất đầu ra 0.5003, 0.2985, 0.1503 và 0.0510 tái tạo phân phối đích p, dù phần lớn token do model nháp đề xuất.

Bản nháp không nhất thiết phải đến từ một mạng riêng:

  • Model ngôn ngữ nhỏ cùng dòng model: Model dùng cùng tokenizer, được phát hành cùng model lớn, là lựa chọn kinh điển.
  • Các head Medusa: Các head giải mã bổ sung trên model đích dự đoán nhiều token tương lai từ trạng thái ẩn cuối cùng và kiểm chứng chúng bằng tree attention.
  • Tra cứu prompt: Token nháp được sao chép từ các n-gram trùng khớp trong prompt; cách này hiệu quả với tác vụ tóm tắt, câu trả lời có tăng cường truy xuất và chỉnh sửa code có lặp lại nội dung đầu vào.

Chưng cất tri thức training model nhỏ để thay thế model lớn, đồng thời cũng là cách phổ biến để training model nháp sao cho model đích chấp nhận dự đoán của model nháp thường xuyên hơn. Lượng tử hóa model giảm độ chính xác của chính các trọng số model đích, làm đầu ra thay đổi đôi chút; model nháp đã lượng tử hóa thường được ghép cặp với model đích.

Các engine phục vụ model như vLLM, SGLang, TensorRT-LLM và llama.cpp tích hợp speculative decoding; Hugging Face Transformers cung cấp tính năng này dưới dạng sinh có hỗ trợ. Pipeline YOLO26 chuyển kết quả phát hiện sang model ngôn ngữ thông qua giao diện LLM của Ultralytics có thể trỏ base_url đến một server cục bộ như vậy, nhờ đó báo cáo được tạo và truyền về nhanh hơn với cùng phân phối đầu ra. Mức cải thiện lớn nhất đạt được ở batch size nhỏ: khi lưu lượng cao, continuous batching vốn đã lấp đầy GPU bằng các request khác, nên còn rất ít compute dư cho bước kiểm chứng.

Khám phá các giải pháp

Thị giác máy tính trong thể thao

Thị giác máy tính trong thể thao

Khám phá cách Ultralytics YOLO thúc đẩy thị giác máy tính trong thể thao với khả năng theo dõi cầu thủ và bóng, phân tích hiệu suất, cung cấp thông tin chuyên sâu cho huấn luyện và hỗ trợ phục hồi cho vận động viên.
Tìm hiểu thêm
Thị giác máy tính cho ảnh hàng không

Thị giác máy tính cho ảnh hàng không

Chuyển hình ảnh từ drone và ảnh hàng không thành thông tin chuyên sâu theo thời gian thực cho nông nghiệp, nuôi trồng thủy sản, bảo tồn và phân tích không gian địa lý với Ultralytics YOLO.
Tìm hiểu thêm
Thị giác máy tính trong hàng không vũ trụ

Thị giác máy tính trong hàng không vũ trụ

Ứng dụng computer vision trong ngành hàng không vũ trụ với Ultralytics YOLO cho kiểm tra máy bay, phát hiện dị vật trên đường băng (FOD), vận hành mặt đất tại sân bay và phát hiện lỗi vật liệu composite.
Tìm hiểu thêm
Computer vision trong lĩnh vực an ninh

Computer vision trong lĩnh vực an ninh

Bảo vệ mọi địa điểm bằng model Ultralytics YOLO. Vision AI hỗ trợ giám sát vành đai, phát hiện mối đe dọa, nhận dạng biển số và an toàn nơi làm việc.
Tìm hiểu thêm
Computer vision trong robotics

Computer vision trong robotics

Tăng cường năng lực cho máy móc thông minh bằng model Ultralytics YOLO. Vision AI trong lĩnh vực robotics hỗ trợ điều hướng tự động, nhận thức, theo dõi đối tượng và điều khiển theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong logistics

Thị giác máy tính trong logistics

Tinh giản hoạt động logistics với các model Ultralytics YOLO. Vision AI hỗ trợ kiểm tra kiện hàng, phân loại, theo dõi phương tiện và giám sát an toàn kho hàng theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong bán lẻ

Thị giác máy tính trong bán lẻ

Định hình lại hoạt động bán lẻ với các model Ultralytics YOLO. Vision AI hỗ trợ theo dõi hàng tồn kho, giám sát kệ hàng, quản lý hàng chờ và phân tích khách hàng thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong chăm sóc sức khỏe

Thị giác máy tính trong chăm sóc sức khỏe

Xây dựng các giải pháp chăm sóc sức khỏe với model Ultralytics YOLO. Vision AI trong chăm sóc sức khỏe hỗ trợ xử lý hình ảnh y tế nhanh hơn, chẩn đoán thông minh hơn và theo dõi bệnh nhân.
Tìm hiểu thêm
Thị giác máy tính trong sản xuất

Thị giác máy tính trong sản xuất

Tối ưu hóa sản xuất bằng các model Ultralytics YOLO. Vision AI thúc đẩy kiểm soát chất lượng, phát hiện lỗi, tuân thủ PPE và tự động hóa dây chuyền lắp ráp.
Tìm hiểu thêm
Thị giác máy tính trong ngành ô tô

Thị giác máy tính trong ngành ô tô

Ứng dụng thị giác máy tính trong ngành ô tô với các model Ultralytics YOLO. Vision AI nâng cao an toàn giao thông, hỗ trợ người lái và tự động hóa phương tiện để tạo nên những tuyến đường thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong nông nghiệp

Thị giác máy tính trong nông nghiệp

Ứng dụng AI thị giác vào nông nghiệp thông minh với các model Ultralytics YOLO. Hỗ trợ giám sát cây trồng, theo dõi vật nuôi và canh tác chính xác để nâng cao năng suất một cách thông minh hơn.
Tìm hiểu thêm

Hãy cùng nhau kiến tạo tương lai của AI!

Bắt đầu hành trình hướng đến tương lai của machine learning