Contextual Retrieval

了解上下文检索如何通过文档感知块、混合检索和重排序来改进RAG，并探索Ultralytics YOLO26以获取多模态视觉上下文。

Contextual retrieval 是一种预处理技术，它在为每个数据块建立索引之前添加简短的、文档特定的解释，从而改进 retrieval-augmented generation (RAG)。该技术在 Anthropic’s 2024 contextual retrieval guide 中首次提出，可帮助搜索系统理解原本模棱两可的段落所属的位置，从而改善提供给大语言模型的证据。(anthropic.com)

Link to this sectionContextual Retrieval 的工作原理#

标准 RAG 将文档分割成块并将其转换为 embeddings。然而，像“收入增长 3%”这样的数据块可能会遗漏公司、报告期和文档类型。Contextual retrieval 使用完整的文档来生成简洁的前缀（例如“本文描述了 ACME 在 2025 年第二季度的财务业绩”），然后再对组合文本进行索引。

典型的工作流程包括：

Semantic Chunking: 将文档划分为符合检索和模型限制的连贯段落。分块的主要目的是使大型源数据可搜索，同时不超过模型的 context window。
Context Generation: 参照 Claude contextual embeddings cookbook 等流程，使用模型总结每个数据块与其来源的关系。
Hybrid Search: 使用密集向量和诸如 BM25 keyword ranking 等词汇方法来为上下文关联的数据块建立索引。
Reranking: 在将最佳证据发送给生成器之前，使用更深入的查询-数据块比较来重新对检索到的候选结果进行排序。

Anthropic 报告称，上下文嵌入与上下文 BM25 的结合将其前 20 名检索失败率降低了 49%，而在其测试中添加重排序则降低了 67%。结果因数据集而异，因此这些数字应被视为基准而非保证。(anthropic.com)

Link to this section计算机视觉中的 Contextual Retrieval#

在 multimodal RAG 中，文档上下文可以包括检测到的对象、图像标题、时间戳、相机位置或周围的视频事件。以下示例使用 Ultralytics YOLO26 为图像创建可搜索的上下文：

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
result = model("https://ultralytics.com/images/bus.jpg")[0]
labels = [model.names[int(cls)] for cls in result.boxes.cls.tolist()]
context = f"Street-scene image containing: {', '.join(labels)}."
print(context)

生成的文本可以在嵌入前附加到图像说明或元数据记录的前面。开发者可以探索相关的 YOLO prediction workflows 和 visual similarity search。

Link to this section实际应用#

Enterprise and Legal Search: 策略助手保留文档名称、日期、部门和条款关系，减少孤立段落带来的误导性回答。
Visual Maintenance Systems: 检测到的机械、缺陷类型和设施位置在系统检索维修手册或检查记录之前为图像提供上下文。
Personalized Education: 学习智能体可以结合学生对话与活动日志来检索与学习者当前任务相关的指导。

Link to this section相关技术与最佳实践#

Contextual retrieval 不同于 context engineering，后者管理在运行时提供给模型的所有信息。它也不同于 late chunking research，后者在将标记表示汇集到数据块中之前嵌入完整的文档。2025 comparative evaluation 发现 contextual retrieval 在保持语义连贯性方面很有效，但计算要求更高。(arxiv.org)

当前的最佳实践包括测试多种块大小、保留源元数据、结合密集和关键词检索，以及使用 Microsoft’s RAG evaluation guidance 测量召回率、准确率、基础性和响应完整性。诸如 SAGE precise retrieval 之类的新研究倾向于语义分割和动态块选择，而 2026 retrieval benchmark 则支持混合检索和神经重排序，用于复杂的文表混合文档。构建视觉知识系统的团队可以使用 Ultralytics Platform 来标注数据集、训练视觉模型、部署端点并监控提供结构化视觉上下文的组件。