Function Calling (Tool Use)

A chamada de funções, frequentemente referida como uso de ferramentas, é um paradigma poderoso na inteligência artificial (AI) moderna que permite aos modelos expandirem as suas capacidades para além da geração estática de texto ou imagens. Em vez de apenas responder a um prompt com base nos dados de treino internos, o modelo pode produzir comandos estruturados para acionar funções de programação externas, consultar bases de dados ou interagir com REST APIs. Esta abordagem permite efetivamente que a AI execute ações concretas em ambientes digitais.

Quando um sistema de AI utiliza a chamada de funções, os programadores fornecem ao modelo uma lista de ferramentas disponíveis descritas através de JSON Schema. Se o prompt do utilizador exigir dados em tempo real ou uma ação específica, o modelo interrompe o seu processo normal de geração e produz um payload em formato JSON altamente estruturado, correspondente aos parâmetros necessários da ferramenta selecionada. Frameworks como a API de chamadas de funções da OpenAI e o framework de uso de ferramentas da Anthropic popularizaram esta técnica, transformando agentes conversacionais em solucionadores de problemas capazes.

Aplicações no mundo real#

A integração do uso de ferramentas nos fluxos de trabalho transforma a forma como o software funciona. Avaliadas por benchmarks como o Leaderboard de Chamadas de Funções de Berkeley, estas capacidades estão a impulsionar uma mudança para sistemas altamente autónomos.

• Retalho Automatizado e Atendimento ao Cliente: No contexto da AI no retalho, um assistente virtual pode utilizar a chamada de funções para consultar o inventário em tempo real. Se um cliente perguntar: "Onde está a minha encomenda?", o modelo gera uma chamada de função para uma API de base de dados, obtém o estado do seguimento e devolve uma resposta em linguagem natural.
• Extração de Dados Assistida por Visão: Um modelo de visão-linguagem (VLM) pode utilizar detetores de objetos Ultralytics YOLO como ferramentas. Se lhe for pedido que verifique a conformidade com as normas de segurança numa imagem de uma fábrica, a AI conversacional principal pode chamar um script que executa um modelo Ultralytics YOLO26 para detetar capacetes de segurança, devolvendo sem problemas os resultados da deteção de objetos ao diálogo do utilizador.

Integração da Visão Computacional como Ferramenta#

Podes expor um modelo de visão computacional como uma ferramenta funcional para um agente de AI abrangente. Nesta arquitetura, defines um método Python que realiza a inferência e que um modelo de raciocínio pode acionar quando forem necessários dados visuais.

from ultralytics import YOLO


# Define a specific tool function for an AI agent to call
def count_objects_in_scene(image_url: str) -> str:
    # Load the highly efficient YOLO26 model
    model = YOLO("yolo26n.pt")

    # Perform inference to analyze the visual data
    results = model(image_url)
    object_count = len(results[0].boxes)

    # Return structured context back to the calling AI system
    return f"Vision Analysis: Detected {object_count} objects in the scene."


# Simulated function call executed by an AI system
print(count_objects_in_scene("https://ultralytics.com/images/bus.jpg"))

Diferenciação de Termos Relacionados#

Para compreender plenamente as arquiteturas modernas de AI, é útil perceber como a chamada de funções se relaciona com conceitos semelhantes e em que difere deles:

• Model Context Protocol (MCP): Enquanto a chamada de funções depende de definições específicas de API transmitidas no prompt do modelo, o MCP é uma arquitetura abrangente e padronizada. O MCP cria um protocolo universal para ligar modelos de AI a fontes de dados, enquanto a chamada de funções é o mecanismo localizado que os modelos utilizam para invocar efetivamente essas ligações.
• Geração Aumentada por Recuperação (RAG): O RAG é uma metodologia concebida especificamente para obter texto ou documentos relevantes e complementar o prompt de um LLM. A chamada de funções é um mecanismo mais abrangente; uma AI pode utilizar uma ferramenta para executar RAG, mas também pode utilizar ferramentas para escrever ficheiros no disco ou enviar um e-mail. Podes encontrar implementações abrangentes de RAG que utilizam ferramentas na Documentação do PyTorch e nos guias multimodais do Google Gemini.
• Agente de AI: Um agente de AI é o sistema autónomo completo que perceciona o seu ambiente e executa ações para alcançar um objetivo. A chamada de funções é a competência principal que dá a um agente a capacidade de executar essas ações. Ao implementar sistemas agentivos de grande escala, as equipas utilizam frequentemente a Ultralytics Platform para treinar e disponibilizar sem problemas os modelos visuais subjacentes que estes agentes utilizam para ver o mundo. As organizações que passam de modelos estáticos para fluxos de trabalho agentivos recorrem frequentemente a bibliotecas de aprendizagem profunda como o TensorFlow para otimizar os endpoints com os quais estas funções comunicam.