Mixture of Agents (MoA)

Un Mixture of Agents (MoA) est une architecture d'intelligence artificielle avancée qui exploite plusieurs large language models (LLMs) ou agents autonomes pour résoudre collaborativement des tâches complexes. Au lieu de s'appuyer sur un seul modèle pour générer une réponse, un système MoA interroge plusieurs modèles distincts simultanément. Ces agents initiaux produisent des réponses indépendantes, qui sont ensuite transmises à un agent agrégateur ou synthétiseur. L'agrégateur évalue, affine et combine ces diverses perspectives en un seul résultat final de haute qualité. Cette approche collaborative renforce considérablement les capacités de raisonnement et atténue les biais ou faiblesses individuels des modèles autonomes, représentant une avancée majeure dans le domaine du natural language processing (NLP) et de la résolution de problèmes.

Mélange d'agents vs Mélange d'experts#

Bien que leurs noms se ressemblent, il est crucial de différencier le MoA du concept connexe de Mixture of Experts (MoE).

• Mixture of Experts (MoE) : Fonctionne au sein d'une seule neural network architecture. Il utilise un mécanisme de routage pour n'activer que des sous-couches spécialisées spécifiques (experts) pour chaque jeton lors de l'inférence. Cela optimise l'efficacité computationnelle tout en maintenant un nombre élevé de paramètres.
• Mixture of Agents (MoA) : Fonctionne au niveau du modèle ou du système. Il implique des AI agents entièrement séparés — souvent construits sur des modèles de fondation différents — interagissant dans un pipeline. Le MoA agit davantage comme un model ensemble combiné à un processus de révision intelligent, tel que détaillé dans de récentes recherches sur les multi-agent system research.

Applications concrètes#

Les architectures MoA excellent dans les environnements nécessitant un raisonnement approfondi, une vérification des faits et une synthèse de données diverses.

• Ingénierie logicielle complexe : En développement logiciel, un système MoA peut utiliser Anthropic Claude pour rédiger la logique principale, OpenAI GPT-4o pour générer des tests unitaires et un modèle localisé pour l'audit de sécurité. Un agent agrégateur final examine le code combiné, le teste et produit un script raffiné et exempt de bugs.
• Diagnostics médicaux automatisés : Dans le domaine de l'AI in healthcare, un pipeline de diagnostic MoA peut déployer des agents spécialisés pour examiner l'historique des patients, analyser les résultats de laboratoire et traiter l'imagerie médicale. L'agent synthétiseur regroupe ces conclusions pour aider les médecins à formuler un diagnostic complet, réduisant ainsi drastiquement le risque d'erreur humaine.

Intégration de la vision dans les flux de travail MoA#

Les systèmes MoA modernes sont de plus en plus multimodaux, ce qui signifie qu'ils s'appuient sur des modèles de computer vision (CV) pour percevoir le monde physique avant de raisonner à partir de celui-ci. Par exemple, dans le domaine de l'AI in manufacturing, un agent visuel peut inspecter un flux de caméra en direct et envoyer ses observations factuelles à un agent de raisonnement.

L'exemple Python suivant montre comment Ultralytics YOLO26 peut fonctionner comme un "agent visuel" au sein d'un pipeline MoA, extrayant des données contextuelles à alimenter vers des LLMs en aval. Les développeurs peuvent gérer et affiner de manière transparente ces outils de vision spécialisés à l'aide de la Ultralytics Platform.

from ultralytics import YOLO

# Initialize YOLO26 as a dedicated visual agent
visual_agent = YOLO("yolo26n.pt")

# The agent observes the environment by running inference on an image
results = visual_agent("https://ultralytics.com/images/bus.jpg")

# Extract structured data to pass to the MoA aggregator
detected_classes = [visual_agent.names[int(cls)] for cls in results[0].boxes.cls]
unique_objects = set(detected_classes)

# This text context is then sent to the reasoning agent
print(f"Visual Agent Report: I have identified {', '.join(unique_objects)} in the scene.")

En comblant le fossé entre des modèles de vision hautement performants construits avec des frameworks comme PyTorch et des moteurs cognitifs avancés comme Google Gemini, les écosystèmes MoA reflètent la collaboration humaine. Ils deviennent rapidement la colonne vertébrale des pipelines Agentic RAG, ouvrant la voie à des systèmes autonomes plus robustes et fiables.