Exploration de l’apprentissage par ensembles et de son rôle dans l’IA et le ML

Pour découvrir visuellement les concepts abordés dans cet article, regarde la vidéo ci-dessous.

Les innovations en IA, comme les moteurs de recommandation et les systèmes de détection des fraudes, s’appuient sur des algorithmes et des modèles de machine learning pour effectuer des prédictions et prendre des décisions à partir de données. Ces modèles peuvent identifier des schémas, prévoir des tendances et contribuer à automatiser des tâches complexes.

Cependant, un modèle unique peut avoir du mal à saisir tous les détails des données du monde réel. Il peut être performant dans certains cas, mais moins dans d’autres, par exemple lorsqu’un modèle de détection des fraudes ne repère pas de nouveaux types de transactions.

Cette limite est souvent rencontrée par les ingénieurs en IA lors de la création et du déploiement de modèles de machine learning. Certains modèles surajustent les données d’entraînement, tandis que d’autres sous-ajustent les données en passant à côté de schémas importants. L’apprentissage en ensemble est une technique d’IA qui aide à relever ces défis en combinant plusieurs modèles, appelés apprenants de base, au sein d’un système unique et plus puissant.

Tu peux voir cela comme une équipe d’experts qui travaille ensemble pour résoudre un problème. Dans cet article, nous allons découvrir ce qu’est l’apprentissage en ensemble, comment il fonctionne et où il peut être utilisé. Commençons !

Qu’est-ce que l’apprentissage en ensemble ?#

L’apprentissage en ensemble désigne un ensemble de techniques qui combinent plusieurs modèles pour résoudre le même problème et produire un résultat unique et amélioré. Il peut être appliqué à l’apprentissage supervisé (où les modèles apprennent à partir de données étiquetées) comme à l’apprentissage non supervisé (où les modèles identifient des schémas dans des données non étiquetées).

Au lieu de s’appuyer sur un seul modèle pour effectuer des prédictions, un ensemble utilise plusieurs modèles qui examinent chacun les données à leur manière. Lorsque leurs résultats sont combinés, le résultat est souvent plus précis, plus stable et plus généralisable que celui qu’un modèle unique pourrait obtenir seul.

Tu peux comparer cela à un panel d’analystes qui s’attaque au même problème. Chaque analyste, ou chaque modèle, interprète les données différemment.

L’un peut se concentrer sur les schémas, un autre sur les anomalies et un autre encore sur le contexte. En réunissant leurs points de vue, le groupe peut prendre une décision plus équilibrée et plus fiable que le jugement d’un seul individu.

Cette approche aide également à relever deux des principaux défis du machine learning : le biais et la variance. Un modèle présentant un biais élevé est trop simple et néglige des schémas importants, tandis qu’un modèle présentant une variance élevée est excessivement sensible et s’adapte trop étroitement aux données d’entraînement. En combinant les modèles, l’apprentissage en ensemble établit un équilibre entre les deux et améliore les performances du système sur de nouvelles données inédites.

Comprendre le fonctionnement de l’apprentissage en ensemble#

Chaque modèle d’un ensemble est appelé apprenant de base ou modèle de base. Il peut s’agir du même type d’algorithme ou d’un mélange de différents algorithmes, selon la technique d’ensemble utilisée.

Voici quelques exemples courants des différents modèles utilisés dans l’apprentissage en ensemble :

• Arbres de décision : ces modèles répartissent les données en branches en fonction des valeurs des caractéristiques pour prendre des décisions. Par exemple, dans les problèmes de classification visant à prédire si un client achètera un produit, ils prennent en compte des facteurs tels que l’âge, les revenus et l’historique de navigation.
• Réseaux neuronaux : inspirés de la manière dont le cerveau humain traite les informations, ils constituent l’architecture de base de la plupart des modèles modernes d’IA et de machine learning.
• Machines à vecteurs de support (SVMs) : ces algorithmes classent les données en trouvant une frontière de décision optimale, appelée hyperplan, qui maximise la marge entre les différentes classes. En d’autres termes, le SVM trace la meilleure ligne possible pour séparer les groupes tout en laissant le plus grand intervalle entre eux. Il peut par exemple servir à déterminer si un e-mail est indésirable ou non à partir de schémas tels que la fréquence et la structure des mots.
• Modèles de régression logistique : ils estiment des probabilités et sont souvent utilisés pour les tâches de classification binaire. Un exemple courant consiste à prédire si une transaction est frauduleuse ou légitime.

Un ensemble de modèles combiné est généralement appelé un apprenant fort, car il intègre les points forts des apprenants de base (également appelés modèles faibles) tout en minimisant leurs faiblesses. Pour cela, il combine les prédictions de chaque modèle de manière structurée, en utilisant un vote majoritaire pour les tâches de classification ou une moyenne pondérée pour les tâches de régression afin de produire un résultat final plus précis.

Fig. 1. Un exemple d’apprentissage en ensemble (Source)

Quand utiliser l’apprentissage en ensemble#

Avant d’examiner les différentes techniques d’apprentissage en ensemble, prenons un peu de recul pour comprendre quand ce type d’approche doit être utilisé dans un projet de machine learning ou d’IA.

L’apprentissage en ensemble est particulièrement utile lorsqu’un modèle unique a du mal à effectuer des prédictions précises ou cohérentes. Il peut également être utilisé lorsque les données sont complexes, bruitées ou imprévisibles.

Voici quelques cas courants où les méthodes d’ensemble sont particulièrement efficaces :

• Faible précision du modèle : lorsque les prédictions d’un modèle ne sont pas suffisamment fiables, la combinaison de plusieurs modèles peut améliorer considérablement la précision et les performances. Par exemple, dans l’évaluation du risque de crédit ou le diagnostic médical, même de petites améliorations de la précision des prédictions peuvent faire une grande différence.
• Données bruitées ou incohérentes : si un jeu de données contient des valeurs aberrantes, des erreurs ou des fluctuations aléatoires, l’apprentissage en ensemble aide à lisser ces irrégularités en calculant une moyenne ou en effectuant un vote entre plusieurs modèles.
• Besoin de robustesse : les modèles d’ensemble sont moins sensibles aux petites variations des données, ce qui les rend plus stables et plus fiables dans les environnements de production où les entrées du monde réel peuvent varier.
• Tâches de prédiction complexes : dans des tâches comme la reconnaissance d’images, la détection des fraudes ou la prévision de séries temporelles, les ensembles capturent un éventail plus large de schémas et de relations qu’un modèle unique ne pourrait le faire seul.

Il est également plus simple à entraîner, plus facile à interpréter et plus rapide à maintenir. Avant d’utiliser un ensemble, il est important de mettre en balance le gain de précision avec le temps, la puissance de calcul et la complexité supplémentaires qu’il exige.

Vue d’ensemble des techniques d’apprentissage en ensemble#

Examinons maintenant les principales façons d’appliquer l’apprentissage en ensemble dans les projets de machine learning. Plusieurs techniques fondamentales sont utilisées pour combiner les modèles, chacune améliorant les performances à sa manière. Les méthodes d’ensemble les plus courantes sont le bagging, le boosting, le stacking et le blending.

Bagging#

Le bagging, abréviation d’agrégation bootstrap, est une méthode d’apprentissage en ensemble qui contribue à améliorer la stabilité et la précision d’un modèle en entraînant plusieurs versions du même modèle sur différentes parties des données.

Chaque sous-ensemble est créé à l’aide d’un processus appelé échantillonnage bootstrap, dans lequel les points de données sont sélectionnés aléatoirement avec remise. Cela signifie qu’après la sélection d’un point de données, celui-ci est replacé dans l’ensemble avant la sélection suivante : le même point peut donc apparaître plusieurs fois, tandis que d’autres peuvent être exclus. Cette randomisation garantit que chaque modèle est entraîné sur une version légèrement différente du jeu de données.

Lors de l’inférence, tous les modèles entraînés s’exécutent en parallèle pour effectuer des prédictions sur de nouvelles données inédites. Chaque modèle produit son propre résultat en fonction de ce qu’il a appris, puis ces prédictions individuelles sont combinées pour former le résultat final.

Pour les tâches de régression, comme la prédiction des prix immobiliers ou des ventes, cela consiste généralement à calculer la moyenne des résultats de tous les modèles afin d’obtenir une estimation plus régulière. Pour les tâches de classification, comme déterminer si une transaction est frauduleuse ou non, l’ensemble utilise souvent un vote majoritaire pour décider de la classe finale.

Le bagging en pratique : l’algorithme Random Forest#

Les arbres de décision constituent un bon exemple d’utilisation du bagging, car ils peuvent facilement surajuster les données lorsqu’ils sont entraînés sur un seul jeu de données. En entraînant de nombreux arbres sur des échantillons légèrement différents et en combinant leurs résultats, le bagging réduit le surajustement et améliore la fiabilité.

Prenons l’algorithme Random Forest. Il s’agit d’un ensemble d’arbres de décision, où chaque arbre est entraîné sur un sous-ensemble aléatoire du jeu de données d’entraînement ainsi que sur un sous-ensemble aléatoire de caractéristiques.

Cette randomisation des caractéristiques contribue à rendre les arbres moins corrélés et le modèle global plus stable et plus précis. Un algorithme Random Forest peut servir à classifier des images, détecter des fraudes, prédire le désabonnement des clients, prévoir les ventes ou estimer le prix de biens immobiliers.

Fig. 2. Aperçu de l’algorithme Random Forest (Source)

Boosting#

Le boosting est une autre technique d’apprentissage en ensemble qui vise à améliorer les apprenants faibles (modèles) en les entraînant séquentiellement, les uns après les autres, plutôt qu’en parallèle. Le concept central du boosting est que chaque nouveau modèle apprend des erreurs des précédents, améliorant progressivement les performances du modèle global.

Contrairement au bagging, qui réduit la variance en calculant la moyenne de modèles indépendants, le boosting réduit le biais en faisant porter à chaque nouveau modèle une plus grande attention aux cas difficiles avec lesquels les modèles précédents ont eu du mal.

Comme les modèles de boosting sont entraînés séquentiellement, la manière dont leurs prédictions sont combinées à la fin diffère légèrement de celle des autres méthodes d’ensemble. Chaque modèle contribue à la prédiction finale en proportion de ses performances lors de l’entraînement, les modèles les plus précis recevant un poids plus important.

Pour les tâches de régression, le résultat final est généralement une somme pondérée de toutes les prédictions des modèles. Pour les tâches de classification, l’algorithme combine les votes pondérés des modèles pour déterminer la classe finale. Cette approche permet au boosting de créer un modèle global puissant en accordant davantage de poids aux modèles les plus précis, tout en continuant à tirer parti des autres.

Voici quelques types courants d’algorithmes de boosting :

• AdaBoost (Boosting adaptatif) : cette méthode commence par entraîner un modèle simple, comme un petit arbre de décision, puis augmente le poids des points de données mal classés. Ces poids incitent le modèle suivant à se concentrer davantage sur les exemples difficiles. Au fil des itérations, les modèles s’appuient les uns sur les autres et leurs prédictions combinées forment un résultat plus puissant et plus précis. AdaBoost peut par exemple améliorer la précision de la détection des spams ou de la reconnaissance faciale.
• Gradient Boosting : au lieu de repondérer les échantillons, le Gradient Boosting entraîne chaque nouveau modèle à corriger les erreurs résiduelles, c’est-à-dire les différences entre les valeurs réelles et prédites produites par les modèles précédents. Cette approche itérative est efficace pour les tâches de régression et de classification, comme la prévision des ventes et l’évaluation du risque de crédit.
• XGBoost (Boosting de gradient extrême) : cette version avancée du boosting de gradient améliore à la fois la vitesse et la précision. Elle utilise la régularisation, qui pénalise légèrement les modèles excessivement complexes pendant l’entraînement afin qu’ils se concentrent sur les schémas pertinents plutôt que de mémoriser les données. Bien que les modèles soient toujours entraînés séquentiellement, XGBoost accélère le processus en utilisant la parallélisation lors de la construction des arbres. Il peut évaluer simultanément de nombreux points de séparation possibles sur différents cœurs CPU. L’entraînement est ainsi beaucoup plus rapide, en particulier sur les grands jeux de données, tout en maintenant de hautes performances prédictives.

Fig. 3. Exemple de classifieur fondé sur un arbre de décision (DTB), entraîné avec une approche de boosting pour prédire le risque de diabète. (Source)

Stacking#

Le stacking, également appelé généralisation empilée, va un peu plus loin en utilisant les prédictions de plusieurs modèles comme entrées d’un modèle final appelé méta-apprenant. Tu peux voir cela comme un groupe d’experts qui donnent chacun leur avis, puis comme un décideur final qui apprend à pondérer ces avis pour prendre la meilleure décision possible.

Par exemple, un modèle peut être très performant pour repérer les fraudes, tandis qu’un autre est meilleur pour prédire le désabonnement des clients. Le méta-apprenant étudie les performances de chacun et combine leurs points forts pour produire une prédiction finale plus précise.

Blending#

Le blending fonctionne de manière similaire au stacking, car il combine lui aussi les prédictions de plusieurs modèles pour prendre une décision finale, mais il adopte une approche plus simple et plus rapide. Au lieu d’utiliser la validation croisée (une méthode qui divise les données en plusieurs parties et les alterne entre l’entraînement et le test pour rendre le modèle plus fiable), comme le fait le stacking, le blending met de côté une petite portion des données, appelée jeu de validation.

Les modèles de base sont entraînés sur les données restantes, puis effectuent des prédictions sur le jeu de validation, qu’ils n’ont encore jamais vu. Cela produit deux informations essentielles : les réponses réelles, ou étiquettes véritables, et les prédictions de chaque modèle de base.

Ces prédictions sont ensuite transmises à un autre modèle appelé modèle de blending ou méta-modèle. Ce modèle final étudie la précision des prédictions de chaque modèle de base et apprend à les combiner de la meilleure manière possible.

Comme le blending repose sur une seule séparation entre entraînement et test au lieu de répéter le processus plusieurs fois, il est plus rapide et plus facile à configurer. En contrepartie, il dispose de légèrement moins d’informations pour apprendre, ce qui peut le rendre un peu moins précis.

Évaluer les algorithmes d’ensemble#

Une partie importante de l’apprentissage en ensemble consiste à évaluer les performances d’un modèle sur des données qu’il n’a jamais vues. Quelle que soit la sophistication d’une technique, elle doit être testée pour s’assurer qu’elle peut se généraliser, c’est-à-dire effectuer des prédictions précises sur de nouveaux exemples du monde réel plutôt que de simplement mémoriser les données d’entraînement.

Voici quelques métriques courantes utilisées pour évaluer les modèles d’IA :

• Précision : cette métrique mesure la proportion de prédictions correctes parmi toutes celles effectuées par le modèle. Elle fournit une vue d’ensemble rapide des performances.
• Précision : elle indique combien d’échantillons prédits comme positifs sont effectivement positifs. Une précision élevée signifie que le modèle produit peu de faux positifs.
• Rappel : cette mesure s’intéresse au nombre de cas positifs réels correctement identifiés par le modèle. Elle est particulièrement importante dans des domaines comme la santé, où ne pas détecter un cas positif, par exemple un diagnostic de maladie, peut avoir de graves conséquences.

Applications concrètes de l’apprentissage en ensemble#

Jusqu’à présent, nous avons examiné le fonctionnement de l’apprentissage en ensemble et les techniques qui le sous-tendent. Voyons maintenant dans quels domaines cette approche produit des résultats.

Voici quelques domaines clés où l’apprentissage en ensemble est couramment appliqué :

• Analyse de données et prévision : dans les entreprises et l’analytique, les modèles d’ensemble aident les organisations à effectuer de meilleures prédictions en combinant les informations issues de plusieurs modèles. Cela permet d’obtenir des prévisions de ventes plus précises, une planification de la demande plus efficace et une meilleure compréhension du comportement des clients.
• Classification binaire : des tâches comme la détection des spams, la prévention des fraudes et le diagnostic médical nécessitent souvent de distinguer deux résultats possibles. Les modèles d’ensemble contribuent à réduire les faux positifs et les faux négatifs, ce qui est particulièrement important dans des domaines comme la cybersécurité et la santé.
• Problèmes de régression : lorsqu’il s’agit de prédire des valeurs continues comme le prix d’un logement, le chiffre d’affaires ou le risque de crédit, les méthodes d’ensemble capturent les relations complexes au sein des données. Il en résulte des prédictions plus précises qui favorisent de meilleures décisions financières et opérationnelles.

Aller au-delà des données structurées avec l’apprentissage en ensemble#

Bien que l’apprentissage en ensemble soit le plus souvent utilisé avec des données structurées ou tabulaires, comme les feuilles de calcul contenant des informations numériques ou catégorielles, il peut également s’appliquer à des données non structurées telles que du texte, des images, de l’audio et de la vidéo.

Ces types de données sont plus complexes et plus difficiles à interpréter pour les modèles, mais les méthodes d’ensemble contribuent à améliorer la précision et la fiabilité. Par exemple, en vision par ordinateur, les ensembles peuvent améliorer des tâches comme la classification d’images et la détection d’objets.

En combinant les prédictions de plusieurs modèles de vision, comme les réseaux neuronaux convolutifs (CNNs), le système peut reconnaître les objets avec davantage de précision et gérer les variations d’éclairage, d’angle ou d’arrière-plan qui pourraient perturber un modèle unique.

Aperçu de l’assemblage de modèles Ultralytics YOLOv5#

Un exemple intéressant d’utilisation de l’apprentissage en ensemble en vision par ordinateur consiste, pour un ingénieur, à combiner plusieurs modèles de détection d’objets afin d’améliorer la précision. Imagine un ingénieur travaillant sur un système de surveillance de la sécurité pour un chantier, où l’éclairage, les angles et la taille des objets changent constamment.

Un modèle unique pourrait ne pas repérer un ouvrier dans l’ombre ou confondre des machines en mouvement. En utilisant un ensemble de modèles, chacun ayant ses propres points forts, le système devient plus fiable et moins susceptible de commettre ces erreurs.

En particulier, des modèles comme Ultralytics YOLOv5 se prêtent très bien à l’assemblage de modèles. Les ingénieurs peuvent combiner différentes variantes de YOLOv5, comme YOLOv5x et YOLOv5l6, pour effectuer des prédictions conjointes. Chaque modèle analyse la même image et produit ses propres détections, qui sont ensuite moyennées afin de générer un résultat final plus robuste et plus précis.

Fig. 4. Détection d’objets dans une image avec YOLOv5. (Source)

Avantages et inconvénients de l’apprentissage en ensemble#

Voici quelques avantages clés de l’apprentissage en ensemble :

• Résistance aux données bruitées : les ensembles sont moins affectés par les valeurs aberrantes ou le bruit aléatoire du jeu de données, puisqu’ils s’appuient sur plusieurs modèles.
• Meilleure généralisation : les ensembles réduisent le surajustement et aident les modèles à bien fonctionner sur des données inédites au lieu de simplement mémoriser les exemples d’entraînement.
• Flexibilité entre les algorithmes : tu peux combiner différents types de modèles, comme des arbres de décision, des réseaux neuronaux et des modèles linéaires, afin de tirer parti de leurs points forts respectifs.

Bien que l’apprentissage en ensemble présente plusieurs avantages, certains défis doivent également être pris en compte. Voici quelques facteurs à garder à l’esprit :

• Coût de calcul plus élevé : l’entraînement et la maintenance de plusieurs modèles nécessitent davantage de mémoire, de puissance de calcul et de temps qu’un modèle unique.
• Interprétabilité réduite : comme le résultat final provient de la combinaison de plusieurs modèles, il peut être difficile de comprendre pourquoi une décision donnée a été prise. Cela dépend toutefois des modèles utilisés, car lorsque tu emploies des modèles interprétables, comme les arbres de décision ou les machines à vecteurs de support, il est généralement plus facile de comprendre les résultats.
• Considérations liées à la conception de l’ensemble : la création d’un ensemble implique de choisir la bonne combinaison de modèles et de s’assurer qu’ils fonctionnent bien ensemble. Elle peut toutefois être plus simple dans certains cas, car il n’est pas nécessaire d’optimiser finement les hyperparamètres de chaque modèle individuel.

Points clés à retenir#

L’apprentissage en ensemble montre comment la combinaison de plusieurs modèles peut rendre les systèmes d’IA plus précis et plus fiables. Il contribue à réduire les erreurs et à améliorer les performances dans différents types de tâches. À mesure que le machine learning et l’IA continuent de se développer, des techniques comme celle-ci favorisent une adoption plus large et des solutions d’IA plus pratiques et plus performantes.

Rejoins notre communauté grandissante et consulte notre dépôt GitHub pour en savoir plus sur l’IA appliquée à la vision. Explore nos pages consacrées aux solutions pour découvrir les applications de la vision par ordinateur dans l’agriculture et de l’IA dans la logistique. Consulte nos options de licence pour commencer dès aujourd’hui à créer ton propre modèle de vision par ordinateur !