Prompt Caching

发现提示缓存 (Prompt Caching) 如何通过降低延迟和成本来优化生成式 AI。了解它在 LLM 中的作用，以及与 Ultralytics YOLO26 进行实时计算机视觉的应用。

Prompt 缓存是一种高级优化策略，主要用于 生成式 AI 中，以显著降低推理过程中的成本并缩短响应时间。在 大型语言模型 (LLMs) 领域，处理文本需要将输入转换为被称为 token 的数值序列。通常，很大一部分输入数据（例如详细的系统指令、冗长的法律文档或代码库）在许多不同的用户查询中保持不变。Prompt 缓存不会为每个新请求重新处理这些不变的部分，而是将预先计算好的数学状态（通常称为键值缓存）存储在内存中。这使得 推理引擎 能够跳过冗余计算，将算力集中在用户 prompt 中新增的动态部分上。

机制与优势#

Prompt 缓存的基本机制依赖于按顺序处理数据的 Transformer 架构。通过识别 prompt 的重复前缀，系统可以直接从高速内存中加载相应的 注意力机制 状态。

降低延迟： 缓存显著降低了 推理延迟，具体表现为首个 token 生成时间 (TTFT)。这确保了实时应用（如交互式 聊天机器人）给用户的体验是即时响应的。
成本效益： 由于 云计算 提供商通常根据计算持续时间或 token 处理量进行计费，因此跳过静态上下文的大量繁重工作可以带来可观的成本节约。
提高吞吐量： 通过释放 GPU 资源，服务器可以处理更高容量的并发请求，从而使整个 模型部署 基础设施更具可扩展性。

实际应用#

Prompt caching 正在改变那些依赖大量数据上下文的行业。

编码助手： 在软件开发中，诸如 GitHub Copilot 的工具会利用来自用户打开的文件和仓库结构的大量上下文。通过缓存代码库的嵌入，模型能够提供实时的代码补全建议，而无需为每次按键重新分析整个项目文件结构。
法律和医疗分析： 专业人员经常针对海量静态文档（如判例法档案或患者病史记录）向 AI 智能体 发起查询。通过使用 检索增强生成 (RAG)，系统会检索相关的文本块。Prompt 缓存确保了这些检索到的文档的基础上下文无需为后续问题重新计算，从而简化了问答工作流。

在计算机视觉中的相关性#

虽然缓存传统上与文本相关，但缓存的概念在多模态 计算机视觉 (CV) 中至关重要。诸如 YOLO-World 的模型允许用户使用开放词汇文本 prompt 来检测对象。当用户定义了一组类别（例如“person, backpack, car”）时，模型会计算这些类别的文本嵌入。缓存这些嵌入可以防止模型为每一帧视频重新编码文本 prompt，从而实现高速的 实时推理。

区分相关术语#

与 Prompt 工程的区别： Prompt 工程涉及人类设计最佳文本输入以引导模型的工作。而 Prompt 缓存是一种后端计算优化，用于存储机器对该文本的处理结果。
与 Prompt 调优的区别： Prompt 调优是一种 迁移学习 技术，它通过更新特定的 模型权重（软 prompt）来使模型适应某个任务。缓存不会更改模型的参数；它只在运行时记忆激活状态。

代码示例：在视觉场景中缓存文本嵌入#

以下 Python 代码片段演示了在视觉上下文中使用 ultralytics 软件包“缓存” prompt 的概念。通过在 YOLO-World 模型中设置一次类别，文本嵌入会被计算并存储（持久化），从而允许模型高效地对多张图像进行预测，而无需重新处理文本描述。

from ultralytics import YOLOWorld

# Load a YOLO-World model capable of open-vocabulary detection
model = YOLOWorld("yolov8s-world.pt")

# "Cache" the prompt: Define classes once.
# The model computes and stores text embeddings for these specific terms.
model.set_classes(["helmet", "reflective vest", "gloves"])

# Run inference repeatedly. The text prompt is not re-computed for each call.
# This mimics the efficiency gains of prompt caching in LLMs.
results_1 = model.predict("construction_site_1.jpg")
results_2 = model.predict("construction_site_2.jpg")

为了管理数据集并部署这些优化后的模型，Ultralytics 平台 提供了一个综合环境，用于标注数据、训练诸如 YOLO26 的先进模型，以及跨各种 边缘 AI 设备监控部署性能。