Function Calling (Tool Use)

探索函数调用和工具使用如何赋能 AI 与 API 和数据库交互。立即了解如何将 Ultralytics YOLO26 集成到智能体工作流中。

函数调用通常也称为工具使用，是现代人工智能 (AI)中的一种强大范式，使模型能够将自身能力扩展到静态文本或图像生成之外。模型不再只是根据内部训练数据回答提示词，而是可以输出结构化命令，以触发外部编程函数、查询数据库或与 REST APIs 交互。这种方法实际上赋予了 AI 在数字环境中采取实际行动的能力。

当 AI 系统使用函数调用时，开发者会向模型提供一个可用工具列表，并使用 JSON Schema 描述这些工具。如果用户的提示词需要实时数据或执行特定操作，模型会暂停标准生成流程，并输出符合所选工具所需参数的高度结构化 JSON 格式载荷。OpenAI 的函数调用 API 和 Anthropic 的工具使用框架等框架推动了这项技术的普及，使对话代理成为能够解决问题的系统。

实际应用#

将工具使用集成到工作流中，会改变软件的运行方式。这些能力通过伯克利函数调用排行榜等基准进行评估，并正在推动系统向高度自主化方向转变。

**自动化零售与客户服务：**在零售业中的 AI中，虚拟助手可以使用函数调用查询实时库存。如果客户询问“我的订单在哪里？”，模型会生成一个调用数据库 API 的函数调用，获取跟踪状态，然后返回自然语言响应。
视觉辅助数据提取：视觉语言模型 (VLM)可以将 Ultralytics YOLO 目标检测器用作工具。如果要求其验证工厂图像中的安全合规情况，主对话式 AI 可以调用运行 Ultralytics YOLO26 模型的脚本来检测安全帽，并将目标检测结果无缝返回到用户的对话中。

将计算机视觉集成为工具#

你可以将计算机视觉模型作为功能工具提供给上层的 AI 代理。在这种架构中，你需要定义一个执行推理的 Python 方法，推理模型可以在需要视觉数据时触发该方法。

from ultralytics import YOLO


# Define a specific tool function for an AI agent to call
def count_objects_in_scene(image_url: str) -> str:
    # Load the highly efficient YOLO26 model
    model = YOLO("yolo26n.pt")

    # Perform inference to analyze the visual data
    results = model(image_url)
    object_count = len(results[0].boxes)

    # Return structured context back to the calling AI system
    return f"Vision Analysis: Detected {object_count} objects in the scene."


# Simulated function call executed by an AI system
print(count_objects_in_scene("https://ultralytics.com/images/bus.jpg"))

区分相关术语#

要全面理解现代 AI 架构，了解函数调用与类似概念之间的联系和区别会很有帮助：

**模型上下文协议 (MCP)：**函数调用依赖于传入模型提示词的特定 API 定义，而 MCP 是一种更高层次的标准化架构。MCP 创建了一个用于将 AI 模型连接到数据源的通用协议，而函数调用则是模型实际调用这些连接所使用的局部机制。
**检索增强生成 (RAG)：**RAG 是一种专门用于获取相关文本或文档，以增强 LLM 提示词的方法。函数调用是一种更广泛的机制；AI 可以使用工具执行 RAG，也可以使用工具将文件写入磁盘或发送电子邮件。你可以在 PyTorch 文档和 Google Gemini 多模态指南中找到使用工具实现 RAG 的完整方案。
**AI 代理：**AI 代理是一个完整的自主系统，能够感知环境并采取行动以实现目标。函数调用是赋予代理执行这些操作能力的核心技能。在部署大规模代理系统时，团队通常会使用 Ultralytics Platform 无缝训练和提供这些代理调用的底层视觉模型，使其能够感知世界。从静态模型转向代理工作流的组织通常会依赖 TensorFlow 等深度学习库，来优化这些函数所通信的端点。