Cấp phép YOLO
Quay lại Bảng thuật ngữ Ultralytics

KV Cache

KV cache lưu key và value của các token trước đó để Transformer không phải tính toán lại chúng, giúp tăng tốc quá trình tạo văn bản của LLM. Tìm hiểu cách hoạt động và chi phí bộ nhớ.

Bộ nhớ đệm KV (bộ nhớ đệm khóa-giá trị) lưu các vector khóa và giá trị mà các lớp attention của transformer đã tính cho những token trước đó, nhờ vậy không cần tính lại chúng khi model tạo token tiếp theo. Mô hình ngôn ngữ lớn (LLM) tạo văn bản từng token một, và mỗi token mới phải attention đến mọi token đứng trước nó. Với bộ nhớ đệm KV, mỗi bước tạo chỉ tính khóa và giá trị cho token mới nhất rồi đọc phần còn lại từ bộ nhớ, nhờ đó có thể tạo các câu trả lời dài trong thực tế. Đổi lại là chi phí bộ nhớ: bộ nhớ đệm tăng theo từng token và thường chiếm nhiều bộ nhớ GPU hơn trọng số model khi phục vụ ngữ cảnh dài hoặc phục vụ với batch lớn.

Cách bộ nhớ đệm KV hoạt động#

Trong mỗi lớp attention, mọi token được chiếu thành một query, một key và một value. Query của một token được so sánh với key của tất cả token mà nó có thể truy cập; các trọng số thu được sẽ kết hợp value của chúng thành đầu ra. Trong LLM chỉ có bộ giải mã, một token chỉ có thể truy cập chính nó và các token trước đó, vì vậy key và value của các token cũ không đổi sau khi được tính. Do đó, quá trình tạo diễn ra theo hai giai đoạn. Trong giai đoạn prefill, model xử lý song song toàn bộ prompt và điền dữ liệu vào bộ nhớ đệm. Trong giai đoạn giải mã, mỗi bước model tạo một token, thêm key và value của token đó vào bộ nhớ đệm, cho đến khi phát ra token kết thúc chuỗi hoặc đạt giới hạn độ dài:

Prefill bị giới hạn bởi năng lực tính toán, vì giai đoạn này thực hiện các phép nhân ma trận lớn trên nhiều token cùng lúc. Giải mã bị giới hạn bởi băng thông bộ nhớ, vì mỗi bước phải đọc toàn bộ bộ nhớ đệm và mọi trọng số model để tạo một token duy nhất.

Vì sao cách này tăng tốc độ tạo#

Không có bộ nhớ đệm, bước t sẽ tính lại key và value cho tất cả t token đã được tạo, khiến tổng khối lượng công việc tăng theo bình phương độ dài đầu ra. Với bộ nhớ đệm, mỗi bước chỉ thêm một key và một value cho mỗi lớp. Ví dụ dùng một head bên dưới giải mã chuỗi 10 token có bộ nhớ đệm và so sánh đầu ra cuối cùng với kết quả tính lại toàn bộ:

import torch

torch.manual_seed(0)
d = 64
w_q, w_k, w_v = torch.randn(3, d, d) / d**0.5  # one attention head's projections
tokens = torch.randn(10, d)  # embeddings of a 10-token sequence

# Decode token by token: project only the newest token and append it to the cache
k_cache, v_cache = torch.empty(0, d), torch.empty(0, d)
for x in tokens:
    k_cache = torch.cat([k_cache, (x @ w_k)[None]])
    v_cache = torch.cat([v_cache, (x @ w_v)[None]])
    out_cached = torch.softmax((x @ w_q) @ k_cache.T / d**0.5, dim=-1) @ v_cache

# Without a cache, the last step re-projects keys and values for all 10 tokens
k_full, v_full = tokens @ w_k, tokens @ w_v
out_full = torch.softmax((tokens[-1] @ w_q) @ k_full.T / d**0.5, dim=-1) @ v_full

print(f"Same output: {torch.allclose(out_cached, out_full, atol=1e-5)}")
print(f"Key/value projections over 10 steps: cached {len(tokens)}, recomputed {sum(range(1, len(tokens) + 1))}")

Đoạn mã in ra Same output: True và cached 10, recomputed 55: bộ nhớ đệm cho kết quả giống hệt nhau trong khi chỉ chiếu mỗi token một lần, thay vì thực hiện 1 + 2 + ... + 10 phép chiếu nếu mỗi bước đều bắt đầu lại từ đầu.

  • Caching prompt: giữ bộ nhớ đệm KV của một tiền tố prompt dùng chung, chẳng hạn như system prompt hoặc tài liệu dài, rồi tái sử dụng cho các yêu cầu riêng biệt để những yêu cầu sau bỏ qua phần prefill tương ứng.
  • Trọng số model: các tham số cố định được học trong quá trình huấn luyện và dùng chung cho mọi yêu cầu. Bộ nhớ đệm KV thuộc về một chuỗi riêng và bị loại bỏ khi chuỗi đó kết thúc.
  • Embedding: các vector biểu diễn từng token khi token đi vào model. Mỗi lớp tạo key và value riêng từ trạng thái ẩn của token, vì vậy bộ nhớ đệm lưu một key và một value cho mỗi token trong mỗi lớp.
  • Caching ngữ nghĩa: lưu toàn bộ câu trả lời và trả lại cho các truy vấn tương tự về sau, bỏ qua hoàn toàn model.

Bộ nhớ đệm KV trong mô hình thị giác#

Mô hình ngôn ngữ-thị giác (VLM) chuyển một hình ảnh thành hàng trăm hoặc hàng nghìn token thị giác; những token này đi vào bộ nhớ đệm KV giống như văn bản, nên một hình ảnh độ phân giải cao có thể chiếm bộ nhớ đệm tương đương vài trang văn bản. Mô hình video phát trực tuyến cũng gặp phải mức tăng tương tự ở mỗi khung hình. SAM 2 của Meta, chạy trong gói Python Ultralytics, áp dụng bộ nhớ đệm tương tự cho phân đoạn video: ngân hàng bộ nhớ lưu các đặc trưng đã mã hóa của những khung hình trước đó; attention bộ nhớ đọc các đặc trưng này khi phân đoạn mỗi khung hình mới, duy trì theo dõi đối tượng khi bị che khuất mà không cần xử lý lại các khung hình cũ.

Chi phí bộ nhớ và cách giảm thiểu#

Bộ nhớ đệm lưu hai vector—key và value—cho mỗi token trong mỗi lớp và mỗi head khóa-giá trị, vì vậy kích thước của nó là 2 × số lớp × số head KV × kích thước head × số byte mỗi giá trị × số token. Với Llama 2 7B ở FP16, có 32 lớp, 32 head và kích thước head là 128, dung lượng cần thiết là 512 KiB mỗi token, tương đương 2 GiB cho một chuỗi 4.096 token. Hệ thống phục vụ sử dụng một số kỹ thuật để chứa được nhiều chuỗi hơn trong bộ nhớ:

  • Attention nhóm truy vấn (GQA): nhiều head truy vấn dùng chung một head khóa-giá trị. Llama 3 8B sử dụng 8 head KV cho 32 head truy vấn, giảm bộ nhớ đệm xuống còn 128 KiB mỗi token.
  • PagedAttention: lưu bộ nhớ đệm thành các khối kích thước cố định, tương tự trang bộ nhớ ảo, nhờ đó bộ nhớ được cấp phát khi các chuỗi tăng lên. Được giới thiệu cùng engine phục vụ vLLM, kỹ thuật này tăng thông lượng lên 2–4 lần so với các hệ thống trước đó.
  • Lượng tử hóa bộ nhớ đệm KV: lưu key và value ở định dạng FP8 hoặc INT8 thay vì FP16, giảm một nửa dung lượng bộ nhớ đệm.
  • Attention cửa sổ trượt: mỗi lớp chỉ attention đến các token gần nhất, nhờ đó giới hạn bộ nhớ đệm ở kích thước cửa sổ.
  • Attention tiềm ẩn đa head (MLA): nén key và value thành một vector tiềm ẩn nhỏ dùng chung trước khi lưu vào bộ nhớ đệm. Trong DeepSeek-V2, kỹ thuật này giảm bộ nhớ đệm KV 93,3% so với model DeepSeek 67B trước đó.

Khám phá các giải pháp

Thị giác máy tính trong thể thao

Thị giác máy tính trong thể thao

Khám phá cách Ultralytics YOLO thúc đẩy thị giác máy tính trong thể thao với khả năng theo dõi cầu thủ và bóng, phân tích hiệu suất, cung cấp thông tin chuyên sâu cho huấn luyện và hỗ trợ phục hồi cho vận động viên.
Tìm hiểu thêm
Thị giác máy tính cho ảnh hàng không

Thị giác máy tính cho ảnh hàng không

Chuyển hình ảnh từ drone và ảnh hàng không thành thông tin chuyên sâu theo thời gian thực cho nông nghiệp, nuôi trồng thủy sản, bảo tồn và phân tích không gian địa lý với Ultralytics YOLO.
Tìm hiểu thêm
Thị giác máy tính trong hàng không vũ trụ

Thị giác máy tính trong hàng không vũ trụ

Ứng dụng computer vision trong ngành hàng không vũ trụ với Ultralytics YOLO cho kiểm tra máy bay, phát hiện dị vật trên đường băng (FOD), vận hành mặt đất tại sân bay và phát hiện lỗi vật liệu composite.
Tìm hiểu thêm
Computer vision trong lĩnh vực an ninh

Computer vision trong lĩnh vực an ninh

Bảo vệ mọi địa điểm bằng model Ultralytics YOLO. Vision AI hỗ trợ giám sát vành đai, phát hiện mối đe dọa, nhận dạng biển số và an toàn nơi làm việc.
Tìm hiểu thêm
Computer vision trong robotics

Computer vision trong robotics

Tăng cường năng lực cho máy móc thông minh bằng model Ultralytics YOLO. Vision AI trong lĩnh vực robotics hỗ trợ điều hướng tự động, nhận thức, theo dõi đối tượng và điều khiển theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong logistics

Thị giác máy tính trong logistics

Tinh giản hoạt động logistics với các model Ultralytics YOLO. Vision AI hỗ trợ kiểm tra kiện hàng, phân loại, theo dõi phương tiện và giám sát an toàn kho hàng theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong bán lẻ

Thị giác máy tính trong bán lẻ

Định hình lại hoạt động bán lẻ với các model Ultralytics YOLO. Vision AI hỗ trợ theo dõi hàng tồn kho, giám sát kệ hàng, quản lý hàng chờ và phân tích khách hàng thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong chăm sóc sức khỏe

Thị giác máy tính trong chăm sóc sức khỏe

Xây dựng các giải pháp chăm sóc sức khỏe với model Ultralytics YOLO. Vision AI trong chăm sóc sức khỏe hỗ trợ xử lý hình ảnh y tế nhanh hơn, chẩn đoán thông minh hơn và theo dõi bệnh nhân.
Tìm hiểu thêm
Thị giác máy tính trong sản xuất

Thị giác máy tính trong sản xuất

Tối ưu hóa sản xuất bằng các model Ultralytics YOLO. Vision AI thúc đẩy kiểm soát chất lượng, phát hiện lỗi, tuân thủ PPE và tự động hóa dây chuyền lắp ráp.
Tìm hiểu thêm
Thị giác máy tính trong ngành ô tô

Thị giác máy tính trong ngành ô tô

Ứng dụng thị giác máy tính trong ngành ô tô với các model Ultralytics YOLO. Vision AI nâng cao an toàn giao thông, hỗ trợ người lái và tự động hóa phương tiện để tạo nên những tuyến đường thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong nông nghiệp

Thị giác máy tính trong nông nghiệp

Ứng dụng AI thị giác vào nông nghiệp thông minh với các model Ultralytics YOLO. Hỗ trợ giám sát cây trồng, theo dõi vật nuôi và canh tác chính xác để nâng cao năng suất một cách thông minh hơn.
Tìm hiểu thêm

Hãy cùng nhau kiến tạo tương lai của AI!

Bắt đầu hành trình hướng đến tương lai của machine learning