LangChain

LangChain是一个开源框架，旨在简化由大型语言模型 (LLM)驱动的应用程序开发。尽管像GPT-4这样的LLM本身功能强大，但它们通常独立运行，缺乏对实时数据或特定业务背景的感知。LangChain充当桥梁，允许开发者将提示、模型和外部数据源等各种组件串联起来，以创建复杂的、上下文感知的应用程序。通过管理这些交互的复杂性，LangChain使人工智能 (AI)系统能够根据动态输入进行问题推理并采取行动。

LangChain 的核心组件

该框架围绕几个模块化概念构建，这些概念协同工作以增强 自然语言处理 (NLP) 工作流。

• 链：作为基本构建块，链是对大型语言模型（LLM）或其他实用程序的调用序列。例如，一个简单的链可能会接收用户输入，使用提示工程模板对其进行格式化，然后将其传递给模型以生成响应。更复杂的链可以按顺序执行多个调用，其中一个步骤的输出成为下一个步骤的输入。
• 智能体：与遵循硬编码序列的链不同， AI智能体使用LLM作为推理引擎来决定采取哪些行动以及按什么顺序。智能体可以查询API、搜索网络或访问数据库，以回答需要最新知识的问题。
• 检索：为了使模型响应基于事实数据，LangChain促进了检索增强生成 (RAG)。这涉及根据用户查询从向量数据库中获取相关文档，并将其输入到模型的上下文窗口中。
• 记忆：标准LLM是无状态的，意味着它们会忘记之前的交互。LangChain提供记忆组件，允许聊天机器人跨对话保持上下文，模仿人类对话的连续性。

实际应用

LangChain在将生成式AI从实验性笔记本推向各行业的生产环境中发挥着关键作用。

1. 与您的数据对话（RAG）：最常见的应用之一是企业搜索。企业使用LangChain将内部文档、PDF或技术手册摄取到可搜索的索引中。当员工提出问题时，系统会检索相关段落并将其提供给LLM，确保答案准确并基于公司数据，而非凭空捏造。这显著提升了组织内部的知识蒸馏。
2. 多模态分析：LangChain能够协调结合文本与其他模态（如计算机视觉）的工作流。例如，安防系统可通过物体检测识别未经授权人员，随后触发LangChain智能体起草事件报告并通过电子邮件发送给主管。

与计算机视觉集成

结构化视觉数据与语言推理之间的协同效应是极具发展潜力的领域。开发者可Ultralytics 等高性能模型从图像中提取详细信息——例如物体计数、类别或位置——并将这些结构化数据传递至LangChain工作流进行进一步分析或自然语言描述。

以下 Python 代码片段演示了如何使用Ultralytics 提取检测到的类名，创建可输入下游语言链的文本上下文环境。

from ultralytics import YOLO

# Load the YOLO26 model to generate structured data for a chain
model = YOLO("yolo26n.pt")

# Run inference on an image URL
results = model("https://ultralytics.com/images/bus.jpg")

# Extract detection class names to feed into a LangChain prompt
detections = [model.names[int(c)] for c in results[0].boxes.cls]

# Format the output as a context string for an LLM
chain_input = f"The image contains the following objects: {', '.join(detections)}."
print(chain_input)

关键术语的区分

区分LangChain与其所协调的技术至关重要：

• LangChain与大型语言模型（LLM）的对比： 大型语言模型（如 OpenAI 的 GPT-4 或Anthropic Claude）是处理和生成文本的"大脑"。 LangChain 则是连接该大脑与数据预处理管道、API 及用户界面的"支架"或基础设施。
• LangChain 与 提示工程：提示工程侧重于精心设计最佳文本输入以从模型中获得最佳结果。LangChain 自动化这些提示的管理，允许动态的 提示模板 在发送到模型之前通过编程方式填充数据。

对于希望构建强大 AI 系统的开发者而言，查阅官方 LangChain 文档可提供深入的技术探讨，而Ultralytics 文档则提供了将最先进的视觉能力集成到这些智能工作流程中的必要工具。此外，用户可以利用Ultralytics Platform来管理为这些先进多模态系统提供数据的数据集和训练管道。