Ensemble

L’apprentissage par ensembles entraîne plusieurs modèles pour la même tâche et combine leurs prédictions, par vote, par moyenne ou à l’aide d’un combinateur appris, en une seule sortie généralement plus précise et plus stable que celle d’un seul modèle. Cette approche fonctionne parce que les différents modèles font des erreurs différentes, et que leur combinaison annule une partie des erreurs de chacun. En 1995, Anders Krogh et Jesper Vedelsby ont démontré ce résultat pour les modèles de régression moyennés : l’erreur quadratique de l’ensemble est égale à l’erreur moyenne de ses membres moins leur désaccord moyen avec l’ensemble. Un ensemble moyenné n’est donc jamais moins bon que son membre moyen, et c’est la diversité des membres qui le rend meilleur.

Bagging, boosting et stacking#

Trois familles couvrent la plupart des ensembles en apprentissage automatique, et agissent sur différents aspects du compromis biais-variance.

Le bagging, abréviation de bootstrap aggregating, a été introduit par Leo Breiman en 1996. Chaque membre est entraîné indépendamment sur un échantillon bootstrap, tiré avec remise du jeu d’entraînement, puis les résultats sont moyennés ou soumis à un vote, ce qui réduit principalement la variance. Cette méthode convient aux apprenants instables, comme les arbres de décision profonds. La forêt aléatoire de Breiman, proposée en 2001, ajoute un sous-ensemble aléatoire de caractéristiques à chaque division afin de rendre les arbres encore plus différents.

Le boosting entraîne les membres les uns après les autres ; chacun se concentre sur les erreurs commises jusque-là par l’ensemble, ce qui réduit principalement le biais. AdaBoost, créé par Yoav Freund et Robert Schapire, augmente le poids des exemples mal classés avant d’entraîner l’apprenant faible suivant. Le gradient boosting de Jerome Friedman ajuste chaque nouvel arbre au gradient de la fonction de perte ; cette approche est à la base de XGBoost, LightGBM et CatBoost, qui restent les modèles les plus performants sur de nombreux jeux de données tabulaires.

Le stacking, ou généralisation empilée, a été proposé par David Wolpert en 1992. Un métamodèle, souvent une régression logistique, apprend à combiner des modèles de base hétérogènes à partir de leurs prédictions sur des plis de validation. Il accorde ainsi plus de poids aux modèles dont les prédictions sur les données tenues à l’écart sont les plus fiables.

Cet exemple scikit-learn compare un arbre seul à un ensemble de chacune des familles sur un jeu de données de diagnostic du cancer du sein, avec une validation croisée à 5 plis :

from sklearn.datasets import load_breast_cancer
from sklearn.ensemble import GradientBoostingClassifier, RandomForestClassifier, StackingClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import cross_val_score
from sklearn.tree import DecisionTreeClassifier

X, y = load_breast_cancer(return_X_y=True)  # 569 tumors, 30 measurements each

forest = RandomForestClassifier(n_estimators=200, random_state=0)
boosting = GradientBoostingClassifier(random_state=0)
models = {
    "Single decision tree": DecisionTreeClassifier(random_state=0),
    "Bagging (random forest)": forest,
    "Boosting (gradient boosting)": boosting,
    # Stacking: a logistic regression learns how to combine the forest and the boosted trees
    "Stacking": StackingClassifier([("forest", forest), ("boosting", boosting)], LogisticRegression()),
}

for name, model in models.items():
    print(f"{name}: {cross_val_score(model, X, y, cv=5).mean():.3f}")

L’arbre seul obtient un score de 0,917, la forêt aléatoire 0,960, le gradient boosting 0,963 et le modèle empilé 0,963. Chaque ensemble réduit environ de moitié le taux d’erreur de l’arbre. Le stacking égale son membre le plus performant, car 16 des 23 tumeurs mal classées par la forêt le sont aussi par les arbres boostés, ce qui laisse peu de désaccords à exploiter au métamodèle.

Ensembles en apprentissage profond et en vision#

Les ensembles profonds entraînent plusieurs réseaux de neurones avec différentes initialisations aléatoires, puis font la moyenne de leurs sorties. En 2017, Balaji Lakshminarayanan et ses collègues de DeepMind ont montré que cette approche améliore à la fois la précision et la quantification de l’incertitude, car les membres divergent davantage sur des entrées qui ne ressemblent pas aux données d’entraînement. En détection d’objets, les boîtes englobantes de plusieurs détecteurs sont regroupées et fusionnées avec la suppression non maximale (NMS) ou la fusion pondérée des boîtes, qui fait la moyenne des boîtes qui se chevauchent au lieu de ne conserver que la plus sûre. Les ensembles d’architectures différentes sont courants en analyse d’images médicales et dans les participations aux compétitions, où la précision compte davantage que le coût de l’inférence.

Ce coût augmente avec chaque membre, ce qui limite les ensembles sur les appareils d’IA en périphérie. La distillation de connaissances a été introduite en partie pour résoudre ce problème : Geoffrey Hinton, Oriol Vinyals et Jeff Dean ont entraîné un modèle unique à reproduire les sorties moyennées d’un ensemble. Le dropout est une solution apparentée, moins coûteuse, car son utilisation pendant l’entraînement revient à moyenner un nombre exponentiel de sous-réseaux réduits.

Ensembles, soupes de modèles et mélanges d’experts#

Un ensemble de modèles désigne généralement la combinaison, au moment de l’inférence, de réseaux entraînés séparément ; c’est la forme la plus courante d’apprentissage par ensembles en apprentissage profond. Les soupes de modèles et autres méthodes de fusion de modèles font la moyenne des poids plutôt que des prédictions. Elles conservent le coût d’un seul modèle, mais ne fonctionnent qu’avec des modèles affinés à partir des mêmes poids préentraînés. Un mélange d’experts (MoE) entraîne conjointement ses experts avec un routeur qui dirige chaque entrée vers quelques-uns d’entre eux ; les experts se spécialisent ainsi, au lieu que chacun traite toute la tâche.

Comme l’ont montré Pavel Izmailov et ses collègues en 2018 avec la moyenne stochastique des poids, calculer la moyenne des poids au fil d’un même entraînement revient à approximer un ensemble de points de contrôle de cet entraînement, au coût d’un seul modèle. L’entraînement Ultralytics YOLO applique cette méthode à chaque exécution de YOLO26 : il maintient une moyenne mobile exponentielle des poids, mise à jour après chaque étape de l’optimiseur avec un facteur de décroissance qui augmente progressivement jusqu’à 0,9999, puis valide et enregistre cette moyenne dans best.pt et last.pt à la place des poids bruts.