Prompt Caching
Khám phá cách prompt caching tối ưu hóa generative AI bằng cách giảm độ trễ và chi phí. Tìm hiểu vai trò của kỹ thuật này trong LLM và computer vision theo thời gian thực với Ultralytics YOLO26.
Bộ nhớ đệm prompt là một chiến lược tối ưu hóa nâng cao, chủ yếu được sử dụng trong AI tạo sinh để giảm đáng kể chi phí và cải thiện thời gian phản hồi trong quá trình suy luận. Trong lĩnh vực Mô hình ngôn ngữ lớn (LLMs), việc xử lý văn bản yêu cầu chuyển đổi đầu vào thành các chuỗi số được gọi là token. Thông thường, một phần lớn dữ liệu đầu vào—chẳng hạn như chỉ thị hệ thống chi tiết, một tài liệu pháp lý dài hoặc một codebase—vẫn cố định qua nhiều truy vấn khác nhau của người dùng. Thay vì xử lý lại các phần không thay đổi này cho mỗi yêu cầu mới, bộ nhớ đệm prompt lưu trữ các trạng thái toán học đã được tính toán trước (thường được gọi là bộ nhớ đệm Key-Value) trong bộ nhớ. Điều này cho phép engine suy luận bỏ qua các phép tính dư thừa và chỉ tập trung năng lực tính toán vào những phần mới, động trong prompt của người dùng.
Cơ chế và lợi ích#
Cơ chế nền tảng của bộ nhớ đệm prompt dựa trên kiến trúc Transformer, vốn xử lý dữ liệu tuần tự. Bằng cách xác định tiền tố lặp lại của prompt, hệ thống có thể tải trực tiếp các trạng thái tương ứng của cơ chế attention từ bộ nhớ tốc độ cao.
- Giảm độ trễ: Bộ nhớ đệm giúp giảm đáng kể độ trễ suy luận, đặc biệt là Thời gian đến Token đầu tiên (TTFT). Điều này đảm bảo các ứng dụng thời gian thực, chẳng hạn như chatbot tương tác, mang lại cảm giác phản hồi tức thì cho người dùng.
- Hiệu quả chi phí: Vì các nhà cung cấp điện toán đám mây thường tính phí dựa trên thời lượng tính toán hoặc số token được xử lý, việc bỏ qua phần xử lý nặng đối với ngữ cảnh tĩnh sẽ mang lại khoản tiết kiệm đáng kể.
- Tăng thông lượng: Bằng cách giải phóng tài nguyên GPU, máy chủ có thể xử lý khối lượng yêu cầu đồng thời lớn hơn, giúp toàn bộ hạ tầng phục vụ model có khả năng mở rộng tốt hơn.
Các ứng dụng trong thực tế#
Bộ nhớ đệm prompt đang làm thay đổi các ngành phụ thuộc vào ngữ cảnh dữ liệu lớn.
-
Trợ lý lập trình: Trong phát triển phần mềm, các công cụ như GitHub Copilot sử dụng lượng ngữ cảnh khổng lồ từ các tệp đang mở của người dùng và cấu trúc repository. Bằng cách lưu vào bộ nhớ đệm các embedding của codebase, model có thể cung cấp các gợi ý hoàn thành code theo thời gian thực mà không cần phân tích lại toàn bộ cấu trúc tệp của dự án sau mỗi lần nhấn phím.
-
Phân tích pháp lý và y khoa: Các chuyên gia thường truy vấn AI Agent trên những tài liệu tĩnh khổng lồ, chẳng hạn như kho lưu trữ án lệ hoặc hồ sơ bệnh sử. Sử dụng Sinh tăng cường truy xuất (RAG), hệ thống truy xuất các đoạn văn bản liên quan. Bộ nhớ đệm prompt đảm bảo ngữ cảnh nền tảng của những tài liệu được truy xuất không cần phải tính toán lại cho các câu hỏi tiếp theo, giúp tinh gọn quy trình hỏi đáp.
Mức độ liên quan trong Thị giác máy tính#
Mặc dù theo truyền thống gắn liền với văn bản, khái niệm bộ nhớ đệm cũng đóng vai trò quan trọng trong Thị giác máy tính (CV) đa phương thức. Các model như YOLO-World cho phép người dùng phát hiện đối tượng bằng các prompt văn bản với từ vựng mở. Khi người dùng định nghĩa một danh sách lớp (ví dụ: "person, backpack, car"), model sẽ tính toán embedding văn bản cho các lớp này. Việc lưu các embedding này vào bộ nhớ đệm giúp model không cần mã hóa lại prompt văn bản cho từng khung hình video, cho phép suy luận thời gian thực tốc độ cao.
Phân biệt các thuật ngữ liên quan#
- So với Prompt Engineering: Prompt engineering bao gồm nỗ lực của con người trong việc thiết kế đầu vào văn bản tối ưu để định hướng model. Bộ nhớ đệm prompt là một tối ưu hóa tính toán ở backend, lưu trữ quá trình máy xử lý văn bản đó.
- So với Prompt Tuning: Prompt tuning là một kỹ thuật Học chuyển giao, cập nhật các trọng số model cụ thể (soft prompt) để điều chỉnh model cho một tác vụ. Bộ nhớ đệm không thay đổi các tham số của model; nó chỉ ghi nhớ các trạng thái activation trong thời gian chạy.
Ví dụ code: Lưu embedding văn bản vào bộ nhớ đệm trong thị giác máy tính#
Đoạn mã Python sau đây minh họa khái niệm "lưu prompt vào bộ nhớ đệm" trong ngữ cảnh thị giác máy tính bằng gói ultralytics. Bằng cách thiết lập các lớp một lần trong model YOLO-World, các embedding văn bản được tính toán và lưu trữ (duy trì), cho phép model dự đoán hiệu quả trên nhiều hình ảnh mà không cần xử lý lại phần mô tả văn bản.
from ultralytics import YOLOWorld
# Load a YOLO-World model capable of open-vocabulary detection
model = YOLOWorld("yolov8s-world.pt")
# "Cache" the prompt: Define classes once.
# The model computes and stores text embeddings for these specific terms.
model.set_classes(["helmet", "reflective vest", "gloves"])
# Run inference repeatedly. The text prompt is not re-computed for each call.
# This mimics the efficiency gains of prompt caching in LLMs.
results_1 = model.predict("construction_site_1.jpg")
results_2 = model.predict("construction_site_2.jpg")Để quản lý dataset và triển khai các model đã được tối ưu hóa này, Nền tảng Ultralytics cung cấp một môi trường toàn diện để gắn nhãn dữ liệu, huấn luyện các model tiên tiến như YOLO26 và giám sát hiệu suất triển khai trên nhiều thiết bị Edge AI khác nhau.
