Function Calling (Tool Use)

La chiamata di funzioni, spesso definita uso degli strumenti, è un paradigma potente nell'intelligenza artificiale (AI) moderna che consente ai modelli di estendere le proprie capacità oltre la generazione statica di testo o immagini. Invece di limitarsi a rispondere a un prompt basandosi sui dati di addestramento interni, il modello può generare comandi strutturati per attivare funzioni di programmazione esterne, interrogare database o interagire con le REST API. Questo approccio conferisce di fatto all'AI la capacità di compiere azioni concrete in ambienti digitali.

Quando un sistema di AI utilizza la chiamata di funzioni, gli sviluppatori forniscono al modello un elenco degli strumenti disponibili descritti tramite lo schema JSON. Se il prompt dell'utente richiede dati in tempo reale o un'azione specifica, il modello sospende il normale processo di generazione e restituisce un payload in formato JSON altamente strutturato, conforme ai parametri richiesti dallo strumento selezionato. Framework come l'API di chiamata di funzioni di OpenAI e il framework per l'uso degli strumenti di Anthropic hanno reso popolare questa tecnica, trasformando gli agenti conversazionali in efficaci risolutori di problemi.

Applicazioni nel mondo reale#

L'integrazione dell'uso degli strumenti nei flussi di lavoro trasforma il modo in cui opera il software. Valutate da benchmark come la classifica Berkeley delle chiamate di funzioni, queste capacità stanno favorendo il passaggio a sistemi altamente autonomi.

• Commercio al dettaglio e assistenza clienti automatizzati: nell'AI nel commercio al dettaglio, un assistente virtuale può usare la chiamata di funzioni per consultare l'inventario in tempo reale. Se un cliente chiede: "Dov'è il mio ordine?", il modello genera una chiamata di funzione a un'API di database, recupera lo stato della spedizione e restituisce una risposta in linguaggio naturale.
• Estrazione dei dati assistita dalla visione: un modello di visione-linguaggio (VLM) può usare i rilevatori di oggetti Ultralytics YOLO come strumenti. Se gli viene chiesto di verificare la conformità alle norme di sicurezza in un'immagine di una fabbrica, l'AI conversazionale principale può chiamare uno script che esegue un modello Ultralytics YOLO26 per rilevare i caschi protettivi, restituendo senza interruzioni i risultati del rilevamento degli oggetti nel dialogo dell'utente.

Integrazione della computer vision come strumento#

Puoi esporre un modello di computer vision come strumento funzionale per un agente di AI di livello superiore. In questa architettura, definisci un metodo Python che esegue l'inferenza e che un modello di ragionamento può attivare quando sono necessari dati visivi.

from ultralytics import YOLO


# Define a specific tool function for an AI agent to call
def count_objects_in_scene(image_url: str) -> str:
    # Load the highly efficient YOLO26 model
    model = YOLO("yolo26n.pt")

    # Perform inference to analyze the visual data
    results = model(image_url)
    object_count = len(results[0].boxes)

    # Return structured context back to the calling AI system
    return f"Vision Analysis: Detected {object_count} objects in the scene."


# Simulated function call executed by an AI system
print(count_objects_in_scene("https://ultralytics.com/images/bus.jpg"))

Distinzione tra termini correlati#

Per comprendere appieno le architetture moderne di AI, è utile capire in che modo la chiamata di funzioni è correlata a concetti simili e in cosa differisce da essi:

• Model Context Protocol (MCP): mentre la chiamata di funzioni si basa su definizioni specifiche di API passate nel prompt del modello, MCP è un'architettura standardizzata di portata generale. MCP crea un protocollo universale per connettere i modelli di AI alle fonti di dati, mentre la chiamata di funzioni è il meccanismo localizzato che i modelli usano per invocare effettivamente tali connessioni.
• Generazione aumentata dal recupero (RAG): RAG è una metodologia progettata specificamente per recuperare testi o documenti pertinenti con cui arricchire il prompt di un LLM. La chiamata di funzioni è un meccanismo più ampio: un'AI può usare uno strumento per eseguire il RAG, ma può anche usare strumenti per scrivere file sul disco o inviare un'e-mail. Puoi trovare implementazioni complete del RAG che utilizzano strumenti nella documentazione di PyTorch e nelle guide multimodali di Google Gemini.
• Agente di AI: un agente di AI è un sistema autonomo completo che percepisce l'ambiente e intraprende azioni per raggiungere un obiettivo. La chiamata di funzioni è la competenza principale che dà a un agente la capacità di eseguire tali azioni. Quando implementano sistemi agentici su larga scala, i team usano spesso la piattaforma Ultralytics per addestrare e distribuire senza interruzioni i modelli visivi sottostanti che questi agenti utilizzano per vedere il mondo. Le organizzazioni che passano dai modelli statici ai flussi di lavoro agentici si affidano spesso a librerie di deep learning come TensorFlow per ottimizzare gli endpoint con cui queste funzioni comunicano.