Model Ensemble

Un ensemble de modèles est une approche stratégique de l’apprentissage automatique qui consiste à combiner les prédictions de plusieurs modèles individuels afin de produire un résultat final souvent plus précis et plus robuste que celui que pourrait obtenir un seul modèle. À l’image d’un comité d’experts délibérant pour parvenir à une meilleure décision qu’une seule personne, un ensemble de modèles exploite les points forts de diverses architectures afin d’atténuer les erreurs. Cette technique est largement utilisée pour améliorer les performances dans les tâches complexes, réduire le risque de surapprentissage et gérer le compromis biais-variance inhérent à la modélisation statistique.

Mécanismes des ensembles de modèles#

Le principe fondamental d’un ensemble de modèles est la « diversité ». En entraînant plusieurs modèles — souvent appelés « apprenants de base » ou « apprenants faibles » — sur différents sous-ensembles des données d’entraînement ou à l’aide de différents algorithmes, l’ensemble garantit que les erreurs commises par un modèle seront probablement corrigées par les autres. Dans le contexte de l’apprentissage profond, cela implique souvent d’exécuter plusieurs réseaux neuronaux en parallèle lors de l’inférence.

Les méthodes courantes pour combiner ces prédictions comprennent :

• Vote : utilisé en classification d’images, où la classe sélectionnée par la majorité des modèles devient la prédiction finale.
• Moyennage : souvent utilisé dans les tâches de régression, où les sorties numériques sont moyennées afin de réduire le bruit.
• Fusion pondérée : en détection d’objets, des techniques comme la fusion pondérée des boîtes (WBF) combinent les boîtes englobantes de différents détecteurs en fonction de leurs scores de confiance.

Applications concrètes#

Les ensembles de modèles sont essentiels dans les environnements à forts enjeux où maximiser la précision est primordial et où les ressources de calcul permettent d’exécuter plusieurs modèles.

1. Diagnostics médicaux : dans l’analyse d’images médicales, manquer un diagnostic peut avoir de graves conséquences. Les radiologues utilisent souvent des ensembles qui combinent un réseau neuronal convolutif (CNN) standard avec un Transformer de vision (ViT). Le CNN excelle dans l’analyse des textures locales, tandis que le ViT capture le contexte global, ce qui permet au système de détecter les tumeurs avec une sensibilité supérieure à celle de chacune des architectures utilisées seules.

2. Conduite autonome : les systèmes de perception des véhicules autonomes doivent être conçus pour rester sûrs en cas de défaillance. Les ingénieurs déploient fréquemment un ensemble de modèles de détection, par exemple en fusionnant la vitesse en temps réel de YOLO26 avec la précision fondée sur les Transformers de RT-DETR. Cela garantit que les piétons ou les obstacles sont détectés même si un modèle rencontre des difficultés dans certaines conditions d’éclairage, comme les éblouissements ou les ombres.

Implémenter des ensembles avec Python#

Bien que des stratégies complexes d’ensembles puissent être créées à l’aide de bibliothèques comme Scikit-learn, tu peux créer un ensemble d’inférence de base pour la vision par ordinateur en chargeant simplement plusieurs modèles et en traitant la même entrée. L’exemple suivant montre comment charger deux modèles Ultralytics YOLO distincts afin de générer des prédictions sur la même image.

from ultralytics import YOLO

# Load two different model variants to create a diverse ensemble
model_a = YOLO("yolo26n.pt")  # Nano model (Speed focused)
model_b = YOLO("yolo26s.pt")  # Small model (Higher accuracy)

# Perform inference on an image with both models
# In production, results are typically merged programmatically
results_a = model_a("https://ultralytics.com/images/bus.jpg")
results_b = model_b("https://ultralytics.com/images/bus.jpg")

print(f"Model A detected {len(results_a[0].boxes)} objects.")
print(f"Model B detected {len(results_b[0].boxes)} objects.")

Ensemble de modèles ou mélange d’experts#

Il est utile de distinguer un ensemble de modèles standard d’un mélange d’experts (MoE), un terme souvent rencontré dans les travaux modernes sur les grands modèles de langage (LLM).

• Ensemble de modèles : interroge généralement tous les modèles de la collection pour chaque entrée et agrège les résultats. Cela maximise des métriques comme la précision moyenne (mAP), mais augmente considérablement la latence d’inférence et le coût de calcul. Il s’agit d’une approche par force brute visant à améliorer la qualité.
• Mélange d’experts : utilise un « réseau de routage » pour diriger les données uniquement vers quelques sous-modèles « experts » spécifiques, les mieux adaptés à l’entrée actuelle. Cela permet une évolutivité considérable des modèles de fondation sans subir le coût de calcul lié à l’exécution de chaque paramètre pour chaque jeton.

Avantages et considérations#

Le principal avantage d’un ensemble de modèles est l’amélioration des performances. Les ensembles dominent souvent les classements lors de défis de science des données tels que les compétitions Kaggle, car ils peuvent modéliser des schémas complexes que les modèles seuls ne détectent pas. Cela a toutefois un coût : le déploiement d’ensembles nécessite davantage de mémoire et de puissance de calcul.

Pour les équipes qui cherchent à gérer efficacement ces exigences en ressources, l’Ultralytics Platform propose des outils permettant d’entraîner, de suivre et d’évaluer différentes architectures de modèles. En comparant facilement les métriques de performance, les développeurs peuvent déterminer si le gain de précision obtenu grâce à un ensemble justifie l’infrastructure supplémentaire requise pour le déploiement dans des scénarios d’IA en périphérie.