LangChain

LangChain 是一个开源框架，旨在简化由 large language models (LLMs) 驱动的应用程序的开发。虽然像 GPT-4 这样的 LLM 本身就很强大，但它们通常是独立运行的，缺乏对实时数据或特定业务背景的感知。LangChain 充当了桥梁的作用，允许开发者将各种组件（如提示词、模型和外部数据源）串联起来，以创建复杂的、具备上下文感知能力的应用程序。通过管理这些交互的复杂性，LangChain 使 artificial intelligence (AI) 系统能够对问题进行推理，并根据动态输入采取行动。

Link to this sectionLangChain 的核心组件#

该框架围绕几个模块化概念构建，这些概念协同工作以增强 Natural Language Processing (NLP) 工作流程。

• 链（Chains）： 作为基本的构建块，链是对 LLM 或其他工具的一系列调用。例如，一个简单的链可以获取用户的输入，使用 prompt engineering 模板对其进行格式化，然后将其传递给模型以生成响应。更复杂的链可以对多个调用进行排序，其中一个步骤的输出将成为下一步的输入。
• 代理（Agents）： 与遵循硬编码序列的链不同，AI agent 使用 LLM 作为推理引擎来确定采取哪些行动以及采取行动的顺序。代理可以查询 API、搜索网络或访问数据库，以回答需要最新知识的问题。
• 检索（Retrieval）： 为了使模型响应基于事实数据，LangChain 促进了 Retrieval-Augmented Generation (RAG)。这涉及根据用户查询从 vector database 中提取相关文档，并将它们馈送到模型的上下文窗口中。
• 记忆（Memory）： 标准 LLM 是无状态的，这意味着它们会忘记之前的交互。LangChain 提供了记忆组件，允许聊天机器人跨对话保持上下文，模仿人类 dialog 的连续性。

Link to this section实际应用#

LangChain 在推动生成式 AI 从实验性笔记本走向各行各业的生产环境方面发挥着重要作用。

1. 与你的数据聊天 (RAG)： 最常见的应用之一是企业搜索。企业使用 LangChain 将内部文档、PDF 或技术手册摄入到可搜索的索引中。当员工提出问题时，系统会检索相关段落并将其馈送给 LLM，确保答案是准确且基于公司数据的，而不是幻觉产生的。这显著改善了组织内部的 knowledge distillation。

2. 多模态分析： LangChain 可以编排将文本与其他模态（如 Computer Vision (CV)）相结合的工作流程。例如，安全系统可以使用 object detection 来识别未经授权的人员，然后触发 LangChain 代理来起草事件报告并通过电子邮件发送给主管。

Link to this section与计算机视觉的集成#

结构化视觉数据与语言推理之间的协同效应是一个强大的发展领域。开发者可以使用像 Ultralytics YOLO26 这样高性能的模型从图像中提取详细信息（例如对象计数、类别或位置），并将这些结构化数据传递到 LangChain 工作流程中进行进一步分析或自然语言描述。

以下 Python 代码片段演示了如何使用 Ultralytics 模型提取检测到的类别名称，从而创建可以馈送到下游语言链的基于文本的上下文。

from ultralytics import YOLO

# Load the YOLO26 model to generate structured data for a chain
model = YOLO("yolo26n.pt")

# Run inference on an image URL
results = model("https://ultralytics.com/images/bus.jpg")

# Extract detection class names to feed into a LangChain prompt
detections = [model.names[int(c)] for c in results[0].boxes.cls]

# Format the output as a context string for an LLM
chain_input = f"The image contains the following objects: {', '.join(detections)}."
print(chain_input)

Link to this section区分关键术语#

区分 LangChain 与其所编排的技术非常重要：

• LangChain 与 LLMs 的区别： LLM（例如 OpenAI 的 GPT-4 或 Anthropic 的 Claude）是处理和生成文本的“大脑”。LangChain 是将该大脑连接到 data preprocessing 管道、API 和用户界面的“脚手架”或基础设施。
• LangChain 与 Prompt Engineering 的区别： 提示工程专注于精心设计最佳文本输入，以从模型中获得最佳结果。LangChain 自动化了这些提示的管理，允许使用动态 prompt templates，这些模板在发送给模型之前通过编程方式填充数据。

For developers looking to build robust AI systems, exploring the official LangChain documentation provides deep technical dives, while the Ultralytics documentation offers the necessary tools to integrate state-of-the-art vision capabilities into these intelligent workflows. Additionally, users can leverage the Ultralytics Platform to manage the datasets and training pipelines that feed into these advanced multi-modal systems.