Ensemble

Les méthodes d'ensemble sont une technique puissante dans l'apprentissage automatique (AA) où plusieurs modèles individuels sont combinés pour produire un modèle prédictif unique et supérieur. L'idée centrale est qu'en agrégeant la « sagesse » de plusieurs modèles, la prédiction finale sera plus précise, stable et robuste que la prédiction de n'importe quel modèle constitutif individuel. Cette approche est analogue à la recherche de conseils auprès d'un groupe diversifié d'experts ; la décision collective est souvent meilleure que l'opinion d'un expert individuel. Ces techniques sont très efficaces pour réduire le surapprentissage et améliorer la généralisation des modèles sur des données non vues.

Comment fonctionnent les ensembles

L'apprentissage d'ensemble comprend deux étapes principales : l'entraînement d'un groupe de modèles de base diversifiés, puis la combinaison de leurs prédictions. La diversité entre les modèles de base est cruciale ; si tous les modèles font les mêmes erreurs, l'ensemble ne fournira aucune amélioration. Cette diversité peut être obtenue en utilisant différents algorithmes, en s'entraînant sur différents sous-ensembles des données d'entraînement, ou en utilisant différents hyperparamètres.

Une fois les modèles entraînés, leurs prédictions sont agrégées. Pour les tâches de classification, cela se fait souvent par un mécanisme de vote (par exemple, la classe avec le plus de votes gagne). Pour les tâches de régression, les prédictions sont généralement moyennées. Le modèle combiné résultant présente souvent de meilleures performances, un concept exploré dans le théorème du jury de Condorcet.

Techniques d'ensemble courantes

Plusieurs méthodes populaires existent pour créer des ensembles efficaces :

• Bagging (Bootstrap Aggregating) : Cette technique implique l'entraînement de plusieurs modèles (par exemple, des arbres de décision) sur différents sous-ensembles aléatoires des données d'entraînement. L'algorithme de forêt aléatoire est une implémentation bien connue du bagging.
• Boosting : Les modèles sont entraînés séquentiellement, chaque nouveau modèle se concentrant sur la correction des erreurs commises par ses prédécesseurs. Les algorithmes de boosting les plus connus sont AdaBoost, Gradient Boosting, XGBoost et LightGBM.
• Empilement (Généralisation empilée) : Cette méthode implique l'entraînement de plusieurs modèles différents (apprenants de base) et l'utilisation d'un autre modèle d'apprentissage automatique (un méta-apprenant) pour apprendre à combiner au mieux leurs prédictions.
• Vote et moyennage : Ce sont les méthodes les plus simples, où la prédiction finale est le vote majoritaire (vote dur) ou la moyenne des probabilités prédites (vote doux) de tous les modèles. Les modèles Ultralytics YOLO prennent en charge une forme de moyennage avec sa fonctionnalité d'assemblage de modèles.

Applications concrètes

Les méthodes d'ensemble sont largement utilisées dans les applications critiques où une grande précision est primordiale :

1. Analyse d’images médicales : Dans des tâches comme la détection de tumeurs, un ensemble de réseaux neuronaux convolutifs (CNN) peut être utilisé. Chaque CNN peut être entraîné sur différents sous-ensembles d’images médicales ou avec différentes architectures. En combinant leurs sorties, le système peut obtenir un diagnostic plus fiable et plus précis, réduisant ainsi le risque de faux négatifs ou de faux positifs dans des applications comme l’imagerie médicale.
2. Systèmes autonomes : Pour les véhicules autonomes, une détection d'objets fiable est une question de sécurité. Un ensemble peut combiner différents modèles, tels que YOLOv8 et YOLO11, ou des modèles entraînés avec différentes stratégies d'augmentation de données. Cette approche atténue le risque qu'un seul modèle ne parvienne pas à détecter un piéton ou un obstacle, ce qui conduit à un système de perception plus robuste.

Ensemble vs. Concepts Connexes

Il est utile de distinguer les méthodes d'ensemble des autres concepts connexes :

• Ensemble de modèles : Ce terme est souvent utilisé de manière interchangeable avec "Ensemble". Alors que "Ensemble" fait référence à la technique générale, un Ensemble de modèles fait généralement référence à la mise en œuvre pratique de la combinaison d'instances de modèles entraînés spécifiques. Le principe sous-jacent est le même.
• Mélange d'experts (MoE) : Bien que les deux utilisent plusieurs modèles, leurs mécanismes diffèrent. Un ensemble combine les prédictions de tous les modèles pour chaque entrée. En revanche, un modèle de mélange d'experts (MoE) utilise un réseau de gating pour sélectionner dynamiquement le modèle "expert" le plus approprié pour une entrée spécifique, en utilisant uniquement un sous-ensemble de modèles pour chaque prédiction.

Bien que les ensembles ajoutent de la complexité et une surcharge de calcul à l'entraînement des modèles et au déploiement, les gains de performance justifient souvent le coût. Des plateformes comme Ultralytics HUB peuvent rationaliser la gestion de plusieurs modèles construits avec des frameworks comme PyTorch ou TensorFlow, simplifiant ainsi la création d'ensembles puissants.