AI Agent Orchestration

L’orchestration des agents IA est la couche de coordination d’un système composé de plusieurs agents IA, modèles et outils. Elle détermine quel composant gère chaque partie d’une tâche, quel contexte lui est transmis, dans quel ordre les composants s’exécutent, comment ils se transmettent le travail et comment leurs résultats sont combinés et vérifiés. L’orchestrateur peut être du code ordinaire au flux de contrôle fixe, un LLM qui planifie et délègue à l’exécution, ou une combinaison des deux. L’orchestration transforme un ensemble de spécialistes — par exemple un agent de recherche, un agent de programmation et un modèle de vision par ordinateur — en un système qui accomplit des tâches qu’aucun appel à un grand modèle de langage (LLM) ne pourrait réaliser seul.

Rôle d’une couche d’orchestration#

• Routage : Envoie chaque sous-tâche à l’agent ou au modèle le mieux adapté, souvent un petit modèle rapide pour les étapes simples et un modèle de pointe pour les étapes difficiles.
• Gestion du contexte : Fournit à chaque agent uniquement les instructions, fichiers et résultats antérieurs dont il a besoin. Les sous-agents qui travaillent dans des fenêtres de contexte distinctes peuvent explorer en profondeur et renvoyer un bref résumé au lieu de remplir le contexte de l’agent principal.
• Transferts structurés : Transmet les résultats entre agents sous forme de données validées, comme du JSON suivant un schéma fixe, afin que l’étape suivante puisse s’appuyer sur leur format.
• Gestion des erreurs : Relance les étapes échouées, impose des délais d’attente et des budgets, et attend l’approbation humaine avant les actions importantes.
• Observabilité : Enregistre une trace de chaque appel, résultat d’outil et décision afin de repérer et de rejouer les échecs.

Modèles d’orchestration courants#

La plupart des systèmes combinent quelques modèles d’orchestration récurrents :

• Pipelines séquentiels : Chaque agent traite la sortie de l’agent précédent dans un ordre fixe, par exemple rédiger, relire, puis traduire.
• Distribution parallèle : Plusieurs agents travaillent en parallèle sur la même entrée, puis un agrégateur fusionne leurs résultats ou choisit le résultat majoritaire.
• Orchestrateur et agents travailleurs : Un agent principal décompose la tâche en sous-tâches à l’exécution, les délègue à des agents travailleurs et synthétise leurs réponses. Ce modèle hiérarchique convient aux tâches ouvertes dont les étapes ne peuvent pas être définies à l’avance.
• Transmission : Un agent transfère toute la conversation à un spécialiste mieux adapté, par exemple lorsqu’un agent de triage transmet une question de facturation à un agent de facturation.
• Discussion de groupe et débat : Les agents interviennent à tour de rôle dans un fil partagé, critiquent les contributions des autres et les enrichissent, sous la supervision d’un modérateur.
• Évaluateur-optimiseur : Un agent produit un résultat et un autre l’évalue selon des critères, puis le processus se répète jusqu’à ce que le résultat soit validé.

Des frameworks comme LangGraph, l’OpenAI Agents SDK, le Google Agent Development Kit et le Microsoft Agent Framework, qui succède à AutoGen et Semantic Kernel, implémentent ces modèles sous forme de graphes d’agents et d’outils partageant un même état. Deux protocoles ouverts relient les différents éléments : le Model Context Protocol (MCP) connecte les agents aux outils et aux données, et le protocole Agent2Agent (A2A) permet à des agents conçus par différents fournisseurs de se déléguer des tâches.

Orchestration et notions connexes#

• Workflows agentiques : Un workflow est une séquence prédéfinie d’appels à un LLM et d’outils. L’orchestration désigne la coordination plus large de nombreux agents et workflows ; elle peut être pilotée par du code ou par un LLM qui planifie à l’exécution.
• Mélange d’agents (MoA) : Un modèle concurrent précis dans lequel plusieurs modèles répondent au même prompt et un modèle agrégateur rédige une réponse unique améliorée. En général, l’orchestration répartit différentes sous-tâches entre plusieurs agents.
• Systèmes d’IA composés : Terme générique désignant les systèmes qui combinent des modèles, des systèmes de récupération et des outils. L’orchestration est la logique de contrôle au sein d’un tel système.
• Kubernetes et orchestration de conteneurs : Planifient et mettent à l’échelle les conteneurs sur plusieurs machines. L’orchestration d’agents coordonne le raisonnement et les étapes d’utilisation des outils ; les plateformes d’agents s’exécutent souvent sur des orchestrateurs de conteneurs sous-jacents.

Orchestration des modèles de vision#

Les systèmes de vision appliquent les mêmes modèles avec des modèles comme exécutants : un détecteur d’objets rapide traite chaque image et détermine lesquelles justifient l’intervention d’un spécialiste plus lent. Ultralytics Platform Agents permet de créer visuellement ces workflows, en connectant un bloc YOLO26 à des blocs Gate qui vérifient le nombre de détections ou les plages de confiance, puis à des blocs de modèle vision-langage, de jeu de données, Slack et webhook ; ainsi, un workflow « YOLO → VLM Monitor » demande à un VLM de décrire une scène uniquement lorsque YOLO détecte une personne. En Python, le même routage n’envoie une image à un exécutant d’estimation de pose que lorsque le détecteur trouve des personnes :

from ultralytics import YOLO

# Worker models: a general detector and a pose specialist
detector = YOLO("yolo26n.pt")
pose_worker = YOLO("yolo26n-pose.pt")
image = "https://ultralytics.com/images/bus.jpg"

# Orchestrator step 1: run the detector and read its findings
detections = detector(image)[0]
people = int((detections.boxes.cls == 0).sum())

# Orchestrator step 2: route to the pose worker only when people are present
if people:
    poses = pose_worker(image)[0]
    print(f"{people} people detected, {len(poses.keypoints)} poses estimated")
else:
    print("No people detected, pose worker skipped")

Le résultat du détecteur détermine si le deuxième modèle s’exécute, ce qui permet aux pipelines à déclenchement conditionnel d’éviter de traiter avec des modèles coûteux les images qui n’en ont pas besoin.

Applications concrètes#

• Fabrication : Lorsqu’un capteur déclenche une alerte, un orchestrateur envoie les images de la caméra à un agent d’inspection des défauts et demande à un agent LLM de rechercher dans les journaux de maintenance, puis combine les deux résultats dans un bon de réparation.
• Traitement de documents : Les pages numérisées sont envoyées à des exécutants de détection d’objets et d’OCR, qui en extraient les tableaux et les champs ; un modèle de raisonnement vérifie les valeurs extraites par rapport aux règles, et les pages dont le niveau de confiance est faible sont transmises à un réviseur humain.
• Codage agentique : Un agent de codage lance des sous-agents pour rechercher dans la base de code, exécuter des tests et examiner le diff, tout en préservant son propre contexte pour la modification principale.
• Service client : Un agent de triage identifie la demande et la transmet à des agents de facturation, d’assistance technique ou de retour, qui disposent des outils et des autorisations pertinents.

Coûts et modes de défaillance#

L’orchestration apporte des capacités supplémentaires, au prix de tokens et de complexité. Dans le système de recherche multi-agents d’Anthropic, un agent principal Claude Opus 4 dirigeant des sous-agents Claude Sonnet 4 a dépassé de 90,2 % un agent Claude Opus 4 unique lors d’une évaluation de recherche interne, tandis que les exécutions multi-agents utilisaient environ 15 fois plus de tokens que les interactions par chat ; ce modèle est donc surtout avantageux pour les tâches vastes qui se divisent en parties parallèles. La coordination crée aussi de nouvelles possibilités d’échec : les agents peuvent mal interpréter leurs instructions, se cacher des informations ou s’arrêter avant la vérification de la tâche. Une étude sur les causes d’échec des systèmes LLM multi-agents a classé plus de 1 600 traces annotées issues de sept frameworks en 14 modes de défaillance regroupés sous les problèmes de conception du système, le désalignement entre agents et la vérification des tâches.