Function Calling (Tool Use)

L'appel de fonction, souvent appelé utilisation d'outils, est un paradigme puissant dans l'intelligence artificielle (IA) moderne qui permet aux modèles d'étendre leurs capacités au-delà de la simple génération de texte ou d'images. Au lieu de se contenter de répondre à une requête basée sur des données d'entraînement internes, le modèle peut générer des commandes structurées pour déclencher des fonctions de programmation externes, interroger des bases de données ou interagir avec des REST APIs. Cette approche donne efficacement à l'IA la capacité d'effectuer des actions concrètes dans des environnements numériques.

Lorsqu'un système d'IA utilise l'appel de fonction, tu fournis au modèle une liste d'outils disponibles décrits à l'aide de JSON Schema. Si la requête de l'utilisateur nécessite des données en temps réel ou une action spécifique, le modèle met en pause son processus de génération standard et produit une charge utile au format JSON hautement structuré correspondant aux paramètres requis de l'outil sélectionné. Des frameworks tels que l'API d'appel de fonction d'OpenAI et le framework d'utilisation d'outils d'Anthropic ont popularisé cette technique, transformant les agents conversationnels en véritables experts en résolution de problèmes.

Link to this sectionApplications concrètes#

L'intégration de l'utilisation d'outils dans tes flux de travail transforme le fonctionnement des logiciels. Évaluées par des benchmarks tels que le Berkeley Function Calling Leaderboard, ces capacités favorisent une transition vers des systèmes hautement autonomes.

• Commerce de détail et service client automatisés : Dans l'IA pour le commerce de détail, un assistant virtuel peut utiliser l'appel de fonction pour consulter l'inventaire en direct. Si un client demande "Où est ma commande ?", le modèle génère un appel de fonction vers une API de base de données, récupère le statut de suivi et renvoie une réponse en langage naturel.
• Extraction de données assistée par vision : Un modèle vision-langage (VLM) peut utiliser les détecteurs d'objets Ultralytics YOLO comme outils. Si on lui demande de vérifier la conformité de sécurité sur une image d'usine, l'IA conversationnelle principale peut appeler un script exécutant un modèle Ultralytics YOLO26 pour détecter les casques de protection, renvoyant de manière transparente les résultats de détection d'objets dans la discussion de l'utilisateur.

Link to this sectionIntégrer la vision par ordinateur comme outil#

Tu peux exposer un modèle de vision par ordinateur en tant qu'outil fonctionnel pour un agent IA global. Dans cette architecture, tu définis une méthode Python qui effectue l'inférence, qu'un modèle de raisonnement peut déclencher lorsque des données visuelles sont nécessaires.

from ultralytics import YOLO


# Define a specific tool function for an AI agent to call
def count_objects_in_scene(image_url: str) -> str:
    # Load the highly efficient YOLO26 model
    model = YOLO("yolo26n.pt")

    # Perform inference to analyze the visual data
    results = model(image_url)
    object_count = len(results[0].boxes)

    # Return structured context back to the calling AI system
    return f"Vision Analysis: Detected {object_count} objects in the scene."


# Simulated function call executed by an AI system
print(count_objects_in_scene("https://ultralytics.com/images/bus.jpg"))

Link to this sectionDifférencier les termes associés#

Pour bien comprendre les architectures d'IA modernes, il est utile de saisir comment l'appel de fonction se rapporte à des concepts similaires et en quoi il en diffère :

• Model Context Protocol (MCP) : Alors que l'appel de fonction repose sur des définitions d'API spécifiques transmises dans la requête du modèle, MCP est une architecture globale et standardisée. MCP crée un protocole universel pour connecter les modèles d'IA aux sources de données, tandis que l'appel de fonction est le mécanisme localisé que les modèles utilisent pour invoquer réellement ces connexions.
• Retrieval Augmented Generation (RAG) : RAG est une méthodologie conçue spécifiquement pour récupérer du texte ou des documents pertinents afin d'augmenter la requête d'un LLM. L'appel de fonction est un mécanisme plus large ; une IA peut utiliser un outil pour effectuer du RAG, mais elle peut aussi utiliser des outils pour écrire des fichiers sur le disque ou envoyer un e-mail. Tu peux trouver des implémentations complètes du RAG utilisant des outils dans la documentation PyTorch et les guides multimodaux de Google Gemini.
• Agent IA : Un agent IA est le système autonome complet qui perçoit son environnement et prend des mesures pour atteindre un objectif. L'appel de fonction est la compétence principale qui donne à un agent la capacité d'exécuter ces actions. Lors du déploiement de systèmes agents à grande échelle, les équipes utilisent souvent la plateforme Ultralytics pour entraîner et déployer de manière transparente les modèles visuels sous-jacents sur lesquels ces agents s'appuient pour voir le monde. Les organisations qui passent de modèles statiques à des flux de travail agents s'appuient souvent sur des bibliothèques de deep learning comme TensorFlow pour optimiser les points de terminaison avec lesquels ces fonctions communiquent.