Ensemble

Les méthodes d'ensemble sont une technique puissante d'apprentissage machine (ML) dans laquelle plusieurs modèles individuels sont combinés pour produire un modèle prédictif unique et supérieur. L'idée de base est qu'en agrégeant la "sagesse" de plusieurs modèles, la prédiction finale sera plus précise, plus stable et plus robuste que la prédiction d'un seul modèle constitutif. Cette approche est analogue à la recherche de conseils auprès d'un groupe diversifié d'experts ; la décision collective est souvent meilleure que l'opinion de n'importe quel expert individuel. Ces techniques sont très efficaces pour réduire le surajustement et améliorer la généralisation des modèles sur des données inédites.

Fonctionnement des ensembles

L'apprentissage d'ensemble comporte deux étapes principales : la formation d'un groupe de modèles de base diversifiés et la combinaison de leurs prédictions. La diversité des modèles de base est cruciale ; si tous les modèles commettent les mêmes erreurs, l'ensemble n'apportera aucune amélioration. Cette diversité peut être obtenue en utilisant différents algorithmes, en s'entraînant sur différents sous-ensembles des données d'entraînement ou en utilisant différents hyperparamètres.

Une fois les modèles formés, leurs prédictions sont agrégées. Pour les tâches de classification, cela se fait souvent par le biais d'un mécanisme de vote (par exemple, la classe ayant le plus grand nombre de votes l'emporte). Pour les tâches de régression, la moyenne des prédictions est généralement calculée. Le modèle combiné qui en résulte présente souvent de meilleures performances, un concept exploré dans le théorème du jury de Condorcet.

Techniques d'ensemble courantes

Il existe plusieurs méthodes populaires pour créer des ensembles efficaces :

• Bagging (agrégation Bootstrap) : Cette technique consiste à former plusieurs modèles (par exemple, des arbres de décision) sur différents sous-ensembles aléatoires des données de formation. L'algorithme Random Forest est une implémentation bien connue de la technique du bagging.
• Renforcement (Boosting) : Les modèles sont formés de manière séquentielle, chaque nouveau modèle s'attachant à corriger les erreurs commises par ses prédécesseurs. Les algorithmes de boosting les plus connus sont AdaBoost, Gradient Boosting, XGBoost et LightGBM.
• Empilement (généralisation par empilement) : Cette méthode consiste à former plusieurs modèles différents (apprenants de base) et à utiliser un autre modèle d'apprentissage automatique (méta-apprenant) pour apprendre à combiner au mieux leurs prédictions.
• Vote et calcul de la moyenne : Il s'agit des méthodes les plus simples, dans lesquelles la prédiction finale correspond au vote majoritaire (vote dur) ou à la moyenne des probabilités prédites (vote doux) de tous les modèles. Les modèles YOLO d'Ultralytics prennent en charge une forme de calcul de moyenne grâce à leur fonction d'assemblage de modèles.

Applications dans le monde réel

Les méthodes d'ensemble sont largement utilisées dans les applications critiques où une grande précision est primordiale :

1. Analyse d'images médicales : Pour des tâches telles que la détection de tumeurs, un ensemble de réseaux neuronaux convolutifs (CNN) peut être utilisé. Chaque CNN peut être formé sur différents sous-ensembles de scans médicaux ou avec différentes architectures. En combinant leurs résultats, le système peut parvenir à un diagnostic plus fiable et plus précis, réduisant ainsi le risque de faux négatifs ou positifs dans des applications telles que l'imagerie médicale.
2. Systèmes autonomes : Pour les véhicules autonomes, la détection fiable des objets est une question de sécurité. Un ensemble peut combiner différents modèles, tels que YOLOv8 et YOLO11, ou des modèles formés avec différentes stratégies d'augmentation des données. Cette approche permet d'atténuer le risque qu'un seul modèle ne parvienne pas à détecter un piéton ou un obstacle, ce qui permet d'obtenir un système de perception plus robuste.

Ensemble et concepts connexes

Il est utile de distinguer les méthodes d'ensemble d'autres concepts apparentés :

• Modèle d'ensemble : Ce terme est souvent utilisé de manière interchangeable avec "Ensemble". Alors que le terme "ensemble" se réfère à la technique générale, un ensemble de modèles se réfère généralement à la mise en œuvre pratique de la combinaison d'instances de modèles formés spécifiques. Le principe sous-jacent est le même.
• le mélange d'experts (MoE) : Bien qu'ils utilisent tous deux plusieurs modèles, leurs mécanismes diffèrent. Un ensemble combine les prédictions de tous les modèles pour chaque entrée. En revanche, un modèle de mélange d'experts (MoE) utilise un réseau de contrôle pour sélectionner dynamiquement le modèle "expert" le plus approprié pour une entrée spécifique, en n'utilisant qu'un sous-ensemble de modèles pour chaque prédiction.

Bien que les ensembles ajoutent de la complexité et de la surcharge de calcul à la formation et au déploiement des modèles, les gains de performance justifient souvent le coût. Des plateformes comme Ultralytics HUB peuvent rationaliser la gestion de plusieurs modèles construits avec des frameworks comme PyTorch ou TensorFlow, simplifiant ainsi la création d'ensembles puissants.