Context Engineering
了解 context engineering 如何构建用于 AI 的数据负载。学习利用 Ultralytics YOLO26 优化 LLM 和视觉工作流的关键策略。
上下文工程是一门关于在推理过程中策划、管理和构建提供给人工智能模型的信息的艺术与科学。虽然 Prompt Engineering 主要侧重于编写有效的指令,但上下文工程更进一步,通过系统地优化填充到模型 context window 中的标记载荷(如实时数据、外部知识和工具反馈)来实现。其目标是确保 Large Language Model (LLM) 或 Vision-Language Model (VLM) 获得所需的精确背景信息,从而进行准确推理,而不会受到信息过载的困扰。
正如最近一份关于 LLM 上下文工程的综合调查 中所概述的那样,该学科涉及信息检索、处理和管理的规范化。它本质上是现代 AI 应用的记忆和智能管道。
Link to this sectionAI 业务上下文细化#
对于企业而言,通用 AI 模型往往因与专有数据隔离而受到限制。上下文工程有助于进行 AI 业务上下文细化,这意味着模型的输出是专门针对组织独特的工作流和实时数据流进行调整的。通过集成 Retrieval-Augmented Generation (RAG),公司可以将上下文的上下文(从内部 wiki、客户关系管理系统或实时 API)无缝地直接提取到模型的处理管道中。
该领域最重要的突破之一是 Model Context Protocol (MCP),这是由 Anthropic 最近推出并由 Linux Foundation 托管的一项开放标准。MCP 通过为 AI 助手提供通用连接器解决了大规模数据集成问题,使开发人员能够标准化如何将组织的上下文知识注入到他们的 Agentic Workflows 中,而无需为每个新数据源构建自定义管道。
Link to this section策略:角色上下文记忆与优化#
有效的上下文工程依赖于战略性的内存管理,以防止模型遗忘关键指令或产生幻觉。通过正确利用这些技术,开发人员可以从一次性聊天查询转向高度可靠、能够执行多步企业工作流的自主系统:
- Write Context:将特定的、高价值的数据直接注入系统提示词中,以引导即时行为。
- Select Context:仅从向量数据库中动态检索最相关的片段,以提供实时的组织知识。
- Compress Context:汇总长文档以适应像 GPT-4o 或 Google Gemini 这样大容量模型的内存限制。
- Isolate Context:在多个子代理之间划分任务,使每个子代理仅接收其特定角色所需的背景信息,这通常被称为角色上下文记忆管理。
Link to this section现实世界的 AI 应用#
上下文工程正在跨多个行业积极地转变基于文本和基于视觉的 AI 解决方案:
- Enterprise Multi-Tool Agents:公司内部助手利用上下文工程来支持销售团队。AI 不需要用户来回粘贴信息,而是通过 MCP 安全地从 CRM 中检索实时客户数据。它随后汇总最近的沟通内容并草拟一份有针对性的跟进邮件,从而极大地简化了日常运营。
- Context-Aware Medical Imaging:在医疗保健领域,仅凭视觉数据通常是不够的。computer vision 管道可能会使用 Ultralytics YOLO26 来检测 X 射线中的异常情况。上下文工程将这些视觉边界框与患者的电子健康记录(年龄、既往病史、当前药物)相结合,然后再将统一的载荷传递给深度学习模型进行全面的诊断推理。
Link to this section计算机视觉中的上下文工程#
虽然上下文工程通常与语言模型相关联,但它对于部署稳健的 object detection 系统正变得至关重要。在集成使用 PyTorch 或 TensorFlow 构建的像 YOLO26 这样的模型时,开发人员可以使用上下文来丰富其用于下游分析的预测结果。
The following Python example demonstrates how to extract a predict inference using the ultralytics package and format it alongside external metadata to create an enriched context payload:
import json
from ultralytics import YOLO
# Load the recommended YOLO26 model
model = YOLO("yolo26n.pt")
# Execute inference on an image
results = model("patient_scan.jpg")
# Extract human-readable class names from the detected bounding boxes
detected_objects = [model.names[int(box.cls[0])] for box in results[0].boxes]
# Apply context engineering: merge visual AI outputs with external metadata
enriched_context = {
"patient_id": "PX-8923",
"clinical_history": "Chronic cough, non-smoker",
"yolo_visual_findings": detected_objects,
"scan_timestamp": "2026-06-25T09:03:00Z",
}
# Output the structured context, ready to be ingested by an MCP server or LLM
print(json.dumps(enriched_context, indent=4))为了轻松构建、标注和管理这些复杂视觉管道的数据集,团队可以利用 Ultralytics Platform。对于在私有环境中进行商业化部署这些解决方案的组织,Enterprise license 可确保高级上下文工程架构的安全合规集成。






