Function Calling (Tool Use)

Las llamadas a funciones, a menudo denominadas uso de herramientas, son un paradigma potente de la inteligencia artificial (AI) moderna que permite a los modelos ampliar sus capacidades más allá de la generación de texto o imágenes estáticos. En lugar de limitarse a responder a una instrucción basándose en los datos de entrenamiento internos, el modelo puede generar comandos estructurados para activar funciones de programación externas, consultar bases de datos o interactuar con REST APIs. Este enfoque proporciona efectivamente a la AI la capacidad de realizar acciones tangibles en entornos digitales.

Cuando un sistema de AI utiliza llamadas a funciones, los desarrolladores proporcionan al modelo una lista de herramientas disponibles descritas mediante JSON Schema. Si la instrucción del usuario requiere datos en tiempo real o una acción específica, el modelo pausa su proceso de generación estándar y produce una carga útil con un formato JSON muy estructurado que coincide con los parámetros necesarios de la herramienta seleccionada. Marcos como la API de llamadas a funciones de OpenAI y el marco de uso de herramientas de Anthropic han popularizado esta técnica, convirtiendo los agentes conversacionales en capaces resolutores de problemas.

Aplicaciones en el mundo real#

La integración del uso de herramientas en los flujos de trabajo transforma el funcionamiento del software. Evaluadas mediante referencias como la clasificación de Berkeley de llamadas a funciones, estas capacidades están impulsando un cambio hacia sistemas altamente autónomos.

• Comercio minorista y atención al cliente automatizados: En la AI en el comercio minorista, un asistente virtual puede utilizar llamadas a funciones para consultar el inventario en tiempo real. Si un cliente pregunta: «¿Dónde está mi pedido?», el modelo genera una llamada a una función de una API de base de datos, obtiene el estado del seguimiento y devuelve una respuesta en lenguaje natural.
• Extracción de datos asistida por visión: Un modelo de visión y lenguaje (VLM) puede utilizar detectores de objetos Ultralytics YOLO como herramientas. Si se le pide que verifique el cumplimiento de las normas de seguridad en una imagen de una fábrica, la AI conversacional principal puede llamar a un script que ejecuta un modelo Ultralytics YOLO26 para detectar cascos de seguridad y devolver sin interrupciones los resultados de la detección de objetos al diálogo del usuario.

Integrar la visión artificial como herramienta#

Puedes exponer un modelo de visión artificial como herramienta funcional para un agente de AI general. En esta arquitectura, defines un método de Python que realiza la inferencia y que un modelo de razonamiento puede activar cuando se necesitan datos visuales.

from ultralytics import YOLO


# Define a specific tool function for an AI agent to call
def count_objects_in_scene(image_url: str) -> str:
    # Load the highly efficient YOLO26 model
    model = YOLO("yolo26n.pt")

    # Perform inference to analyze the visual data
    results = model(image_url)
    object_count = len(results[0].boxes)

    # Return structured context back to the calling AI system
    return f"Vision Analysis: Detected {object_count} objects in the scene."


# Simulated function call executed by an AI system
print(count_objects_in_scene("https://ultralytics.com/images/bus.jpg"))

Diferenciación entre términos relacionados#

Para comprender plenamente las arquitecturas modernas de AI, resulta útil entender cómo se relacionan las llamadas a funciones con conceptos similares y en qué se diferencian de ellos:

• Protocolo de contexto del modelo (MCP): Mientras que las llamadas a funciones se basan en definiciones de API específicas incluidas en la instrucción del modelo, MCP es una arquitectura general y estandarizada. MCP crea un protocolo universal para conectar modelos de AI con fuentes de datos, mientras que las llamadas a funciones son el mecanismo localizado que utilizan los modelos para invocar realmente esas conexiones.
• Generación aumentada mediante recuperación (RAG): RAG es una metodología diseñada específicamente para obtener texto o documentos relevantes con los que ampliar la instrucción de un LLM. Las llamadas a funciones son un mecanismo más amplio: una AI puede utilizar una herramienta para realizar RAG, pero también puede usar herramientas para escribir archivos en el disco o enviar un correo electrónico. Puedes encontrar implementaciones completas de RAG mediante herramientas en la documentación de PyTorch y en las guías multimodales de Google Gemini.
• Agente de AI: Un agente de AI es el sistema autónomo completo que percibe su entorno y realiza acciones para alcanzar un objetivo. Las llamadas a funciones son la habilidad principal que proporciona a un agente la capacidad de ejecutar esas acciones. Al implementar sistemas agénticos a gran escala, los equipos suelen utilizar la plataforma de Ultralytics para entrenar y servir sin interrupciones los modelos visuales subyacentes a los que recurren estos agentes para ver el mundo. Las organizaciones que pasan de modelos estáticos a flujos de trabajo agénticos suelen apoyarse en bibliotecas de aprendizaje profundo como TensorFlow para optimizar los endpoints con los que se comunican estas funciones.