Ensemble de modèles

Un ensemble de modèles est une technique d'apprentissage automatique qui combine les prédictions de deux ou plusieurs modèles individuels pour produire une prédiction finale unique, souvent supérieure. Le principe de base repose sur l'idée de la "sagesse des foules" : en agrégeant les "opinions" de plusieurs modèles différents, l'ensemble peut compenser les erreurs ou les biais individuels de n'importe quel modèle, ce qui conduit à une plus grande précision, à une meilleure robustesse et à une réduction du risque de surajustement. Cette approche est la pierre angulaire de la ML haute performance et est fréquemment utilisée pour remporter des concours de science des données.

Fonctionnement des Ensembles Modèles

L'efficacité d'un ensemble de modèles dépend de la diversité des modèles qui le composent. Si tous les modèles commettent les mêmes erreurs, les combiner n'offre aucun avantage. Par conséquent, la diversité est encouragée en formant les modèles sur différents sous-ensembles de données de formation, en utilisant différents algorithmes ou en initialisant les modèles avec différents paramètres.

Les techniques courantes de création et de combinaison d'ensembles sont les suivantes

• Bagging (Bootstrap Aggregating) : Il s'agit d'entraîner plusieurs instances du même modèle sur différents sous-ensembles aléatoires des données d'apprentissage. La prédiction finale est généralement une moyenne ou un vote majoritaire de toutes les prédictions du modèle. Random Forest est un exemple classique d'ensemble basé sur le bagging.
• Renforcement (Boosting) : Les modèles sont formés de manière séquentielle, chaque nouveau modèle s'attachant à corriger les erreurs commises par ses prédécesseurs. Il en résulte un modèle composite puissant et très précis. Les algorithmes de boosting les plus répandus sont AdaBoost et Gradient Boosting, avec des implémentations telles que XGBoost et LightGBM.
• L'empilage : Cette méthode consiste à former plusieurs modèles différents (par exemple, un réseau neuronal, une machine à vecteur de support et un arbre de décision) et à utiliser un autre modèle, appelé méta-apprenant, pour combiner leurs prédictions et produire le résultat final.

Concepts connexes

Il est utile de distinguer un ensemble de modèles des termes apparentés :

• Méthodes d'ensemble: Il s'agit d'une catégorie théorique plus large de techniques (comme le bagging et le boosting) utilisées dans l'apprentissage automatique. Un "ensemble de modèles" est l'artefact concret - la collection spécifique de modèles formés - créé par l'application d'une méthode d'ensemble.
• Mélange d'experts (MoE) : Contrairement à un ensemble classique qui combine les résultats de tous les modèles, un mélange d'experts utilise un réseau de contrôle pour sélectionner dynamiquement le modèle "expert" le plus approprié pour une entrée donnée. Un MoE sélectionne un expert, alors qu'un ensemble les consulte tous.

Applications dans le monde réel

Les ensembles de modèles sont largement utilisés dans divers domaines pour obtenir des performances de pointe.

1. Détection d'objets dans le domaine de la vision par ordinateur : Dans les systèmes critiques pour la sécurité, comme les véhicules autonomes, ou pour les tâches de grande valeur, comme la surveillance de la sécurité, les ensembles peuvent améliorer la fiabilité. Par exemple, un ensemble peut combiner différents modèles de détection d'objets, tels que différentes versions d'Ultralytics YOLO comme YOLOv8 et YOLOv10, ou des modèles formés avec différentes stratégies d'augmentation des données. Le Guide d'assemblage de modèles YOLOv5 montre comment cela peut améliorer la précision de la détection. Même des techniques telles que l'augmentation du temps de test (TTA) peuvent être considérées comme une forme d'assemblage, car elles font la moyenne des prédictions sur plusieurs versions augmentées d'une image.
2. Diagnostic médical : Les ensembles sont essentiels dans l'analyse d'images médicales pour des tâches telles que le diagnostic de maladies à partir de radiographies, d'IRM ou de diapositives de pathologie. Un CNN peut exceller dans la détection de certaines anomalies, tandis qu'un autre est meilleur dans d'autres. En assemblant leurs prédictions, un outil de diagnostic peut atteindre une plus grande précision et une plus grande fiabilité, ce qui est essentiel pour des applications telles que la détection des tumeurs.

Bien que puissants, les ensembles augmentent la complexité et les besoins de calcul pour la formation et le déploiement des modèles. La gestion de plusieurs modèles nécessite davantage de ressources, une ingénierie minutieuse et des pratiques MLOps robustes. Cependant, les gains de performance significatifs justifient souvent ces coûts dans les applications critiques. Des plateformes comme Ultralytics HUB peuvent simplifier la gestion de plusieurs modèles construits à l'aide de frameworks comme PyTorch ou TensorFlow.