Ultralytics YOLO27:
返回 Ultralytics 术语表

DSPy

了解 DSPy 框架如何以可编程、自我改进的 LLM 流水线取代手动提示工程,从而构建稳健且经过优化的 AI 系统。

DSPy(声明式自改进语言程序)是由斯坦福大学开发的开源框架,用于优化开发者与大型语言模型(LLMs)的交互方式。DSPy 不依赖手动反复试错的提示工程,而是将语言模型调用视为可编程、可优化的模块,使开发者能够构建复杂的 AI 系统。这种方法将脆弱的文本提示转变为稳健的、先进的机器学习(ML)流水线,弥合了基础生成式任务与复杂智能体工作流之间的差距。

DSPy 框架的工作原理#

DSPy 通过将程序的底层逻辑与用于引导模型的具体文本指令分离来运行。借助算法化的优化器和编译器,该框架会自动评估和改进声明式模块。通过定义清晰的签名——例如输入一个问题并要求输出特定格式的答案——该框架会衡量响应结果,并迭代更新提示或模型权重。

从概念上看,这类似于微调,但它在数学层面作用于提示层,因此相比传统的手动调整,能够大幅提升准确性和可靠性。其基础架构详见斯坦福大学关于 DSPy 的 arXiv 论文,该论文突出了 DSPy 在复杂自然语言处理(NLP)任务中自我纠错的能力。

AI 和 ML 的实际应用#

从提示转向编程,使组织能够在各种用例中部署高度可靠的语言模型:

  • 检索增强生成(RAG): 企业使用DSPy 框架来自动检索和综合上下文数据。系统不再将如何解析检索到的文档硬编码为指令,而是动态学习最优的提示结构。现代企业流水线通常会集成 Langfuse 等追踪工具,以便在生产环境中监控和调试这些经过动态优化的检索增强生成(RAG)应用。
  • 多智能体编排: 在利用来自OpenAI或Anthropic等机构的基础模型构建的复杂生成式 AI系统中,DSPy 负责管理多个智能体之间的通信。该框架会系统地调优数据提取模块与摘要模块之间的交接过程,其作用类似于超参数调优对传统深度学习网络稳定性的提升。这些企业级创新在IBM 的技术智库等高级资源中得到了广泛讨论。

DSPy 与传统提示工程的对比#

区分 DSPy 与传统的提示工程实践至关重要。传统提示工程在很大程度上依赖人的直觉和手动重写来引导模型行为,而 DSPy 则将这一过程系统化为算法优化问题。正如Google DeepMind的研究人员构建能够发现自身最优路径的算法一样,DSPy 基于严格的评估指标编译指令,将开发者的角色从手动编写文本转变为设计稳健的评估标准。

将程序化优化与视觉 AI 集成#

虽然 DSPy 主要专注于运行在PyTorch等机器学习后端上的文本系统,但声明式编程的理念对于计算机视觉(CV)应用同样具有很高的价值。在将 LLMs 与视觉系统连接起来进行多模态决策时,DSPy 可以通过程序化方式确保生成结构化 JSON 输出,从而在没有格式幻觉的情况下触发下游的目标检测任务。

下面的 Python 代码片段演示了如何在 DSPy 智能体确定需要进行图像处理后,通过Ultralytics Python API实例化边缘视觉模块,例如Ultralytics YOLO26框架:

from ultralytics import YOLO

# Initialize the state-of-the-art YOLO26 model for high-speed edge inference
model = YOLO("yolo26n.pt")

# Perform inference on a target image dynamically triggered by an agentic pipeline
results = model("https://ultralytics.com/images/bus.jpg")

# Extract the detected classes to feed back into the language model's context
detected_classes = [model.names[int(box.cls)] for box in results[0].boxes]
print(f"Vision Agent Output: {detected_classes}")

为了扩展这些文本与视觉混合项目,团队可以利用Ultralytics Platform进行自动数据集标注、云端训练和无缝模型部署。该生态系统使开发者能够专注于高层应用逻辑,而不是手动配置。

Explore solutions

用于航拍影像的计算机视觉

用于航拍影像的计算机视觉

使用 Ultralytics YOLO 将无人机和航拍影像转化为针对农业、水产养殖、环境监测、自然保护及地理空间分析的实时洞察。
了解更多
航空航天中的计算机视觉

航空航天中的计算机视觉

借助 Ultralytics YOLO 模型将视觉 AI 引入空中监测。使用计算机视觉解决方案赋能无人机、航空航天工作流、环境保护与地理空间行业。
了解更多

使用 Ultralytics YOLO 模型保护每个站点。视觉 AI 赋能周界监控、威胁检测、车牌识别和工作场所安全。
了解更多
机器人计算机视觉

机器人计算机视觉

借助 Ultralytics YOLO 模型打造更智能的机器。机器人技术中的视觉 AI 可实现自主导航、感知、目标跟踪和实时控制。
了解更多
物流计算机视觉

物流计算机视觉

使用 Ultralytics YOLO 模型提升物流效率。视觉 AI 可实现包裹检测、分拣、车辆跟踪和仓库安全实时监控。
了解更多
零售计算机视觉

零售计算机视觉

使用 Ultralytics YOLO 模型重新构想零售。视觉 AI 为库存跟踪、货架监控、队列管理和更智能的客户洞察提供支持。
了解更多
医疗领域的计算机视觉

医疗领域的计算机视觉

使用 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可实现更快的医学影像处理、更智能的诊断和患者监护。
了解更多
制造业中的计算机视觉

制造业中的计算机视觉

使用 Ultralytics YOLO 模型优化制造业。视觉 AI 可推动质量控制、缺陷检测、PPE 合规和装配线自动化。
了解更多
汽车行业中的计算机视觉

汽车行业中的计算机视觉

使用 Ultralytics YOLO 模型在汽车行业应用计算机视觉。视觉 AI 提升道路安全、驾驶辅助和车辆自动化水平,让道路更加智能。
了解更多
农业中的计算机视觉

农业中的计算机视觉

使用 Ultralytics YOLO 模型将视觉 AI 带入智能农业。为作物监测、牲畜追踪和精准农业提供支持,提升产量与智能化水平。
了解更多
用于航拍影像的计算机视觉

用于航拍影像的计算机视觉

使用 Ultralytics YOLO 将无人机和航拍影像转化为针对农业、水产养殖、环境监测、自然保护及地理空间分析的实时洞察。
了解更多
航空航天中的计算机视觉

航空航天中的计算机视觉

借助 Ultralytics YOLO 模型将视觉 AI 引入空中监测。使用计算机视觉解决方案赋能无人机、航空航天工作流、环境保护与地理空间行业。
了解更多

使用 Ultralytics YOLO 模型保护每个站点。视觉 AI 赋能周界监控、威胁检测、车牌识别和工作场所安全。
了解更多
机器人计算机视觉

机器人计算机视觉

借助 Ultralytics YOLO 模型打造更智能的机器。机器人技术中的视觉 AI 可实现自主导航、感知、目标跟踪和实时控制。
了解更多
物流计算机视觉

物流计算机视觉

使用 Ultralytics YOLO 模型提升物流效率。视觉 AI 可实现包裹检测、分拣、车辆跟踪和仓库安全实时监控。
了解更多
零售计算机视觉

零售计算机视觉

使用 Ultralytics YOLO 模型重新构想零售。视觉 AI 为库存跟踪、货架监控、队列管理和更智能的客户洞察提供支持。
了解更多
医疗领域的计算机视觉

医疗领域的计算机视觉

使用 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可实现更快的医学影像处理、更智能的诊断和患者监护。
了解更多
制造业中的计算机视觉

制造业中的计算机视觉

使用 Ultralytics YOLO 模型优化制造业。视觉 AI 可推动质量控制、缺陷检测、PPE 合规和装配线自动化。
了解更多
汽车行业中的计算机视觉

汽车行业中的计算机视觉

使用 Ultralytics YOLO 模型在汽车行业应用计算机视觉。视觉 AI 提升道路安全、驾驶辅助和车辆自动化水平,让道路更加智能。
了解更多
农业中的计算机视觉

农业中的计算机视觉

使用 Ultralytics YOLO 模型将视觉 AI 带入智能农业。为作物监测、牲畜追踪和精准农业提供支持,提升产量与智能化水平。
了解更多
用于航拍影像的计算机视觉

用于航拍影像的计算机视觉

使用 Ultralytics YOLO 将无人机和航拍影像转化为针对农业、水产养殖、环境监测、自然保护及地理空间分析的实时洞察。
了解更多
航空航天中的计算机视觉

航空航天中的计算机视觉

借助 Ultralytics YOLO 模型将视觉 AI 引入空中监测。使用计算机视觉解决方案赋能无人机、航空航天工作流、环境保护与地理空间行业。
了解更多

使用 Ultralytics YOLO 模型保护每个站点。视觉 AI 赋能周界监控、威胁检测、车牌识别和工作场所安全。
了解更多
机器人计算机视觉

机器人计算机视觉

借助 Ultralytics YOLO 模型打造更智能的机器。机器人技术中的视觉 AI 可实现自主导航、感知、目标跟踪和实时控制。
了解更多
物流计算机视觉

物流计算机视觉

使用 Ultralytics YOLO 模型提升物流效率。视觉 AI 可实现包裹检测、分拣、车辆跟踪和仓库安全实时监控。
了解更多
零售计算机视觉

零售计算机视觉

使用 Ultralytics YOLO 模型重新构想零售。视觉 AI 为库存跟踪、货架监控、队列管理和更智能的客户洞察提供支持。
了解更多
医疗领域的计算机视觉

医疗领域的计算机视觉

使用 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可实现更快的医学影像处理、更智能的诊断和患者监护。
了解更多
制造业中的计算机视觉

制造业中的计算机视觉

使用 Ultralytics YOLO 模型优化制造业。视觉 AI 可推动质量控制、缺陷检测、PPE 合规和装配线自动化。
了解更多
汽车行业中的计算机视觉

汽车行业中的计算机视觉

使用 Ultralytics YOLO 模型在汽车行业应用计算机视觉。视觉 AI 提升道路安全、驾驶辅助和车辆自动化水平,让道路更加智能。
了解更多
农业中的计算机视觉

农业中的计算机视觉

使用 Ultralytics YOLO 模型将视觉 AI 带入智能农业。为作物监测、牲畜追踪和精准农业提供支持,提升产量与智能化水平。
了解更多

让我们共同构建 AI 的未来!

开启你的机器学习未来之旅