Explorer l'apprentissage d'ensemble et son rôle dans l'IA et le ML

Pour une présentation visuelle des concepts abordés dans cet article, regarde la vidéo ci-dessous.

Les innovations en IA comme les moteurs de recommandation et les systèmes de détection de la fraude reposent sur des algorithmes et des modèles de machine learning pour faire des prédictions et prendre des décisions basées sur les données. Ces modèles peuvent identifier des modèles, prévoir des tendances et aider à automatiser des tâches complexes.

Cependant, un seul modèle peut avoir du mal à capturer tous les détails des données du monde réel. Il peut être performant dans certains cas mais échouer dans d'autres, comme un modèle de détection de la fraude qui manquerait de nouveaux types de transactions.

Cette limitation est un défi auquel les ingénieurs en IA sont souvent confrontés lors de la construction et du déploiement de modèles de machine learning. Certains modèles font du surapprentissage en apprenant trop étroitement les données d'entraînement, tandis que d'autres sous-apprennent en manquant des modèles importants. L'apprentissage d'ensemble est une technique d'IA qui aide à relever ces défis en combinant plusieurs modèles, appelés apprenants de base, en un seul système plus puissant.

Tu peux imaginer cela comme une équipe d'experts travaillant ensemble pour résoudre un problème. Dans cet article, nous explorerons ce qu'est l'apprentissage d'ensemble, comment il fonctionne et où il peut être utilisé. Commençons !

Link to this sectionQu'est-ce que l'apprentissage d'ensemble ?#

L'apprentissage d'ensemble désigne un ensemble de techniques qui combinent plusieurs modèles pour résoudre le même problème et produire un résultat unique et amélioré. Il peut être appliqué à la fois en apprentissage supervisé (où les modèles apprennent à partir de données étiquetées) et en apprentissage non supervisé (où les modèles trouvent des motifs dans des données non étiquetées).

Au lieu de compter sur un seul modèle pour faire des prédictions, un ensemble utilise plusieurs modèles qui examinent chacun les données à leur manière. Lorsque leurs sorties sont combinées, le résultat est souvent plus précis, stable et généralisable que ce qu'un seul modèle pourrait obtenir seul.

Tu peux comparer cela à un panel d'analystes traitant le même problème. Chaque analyste ou modèle individuel interprète les données différemment.

L'un peut se concentrer sur les modèles, un autre sur les anomalies, et un troisième sur le contexte. En regroupant leurs perspectives, le groupe peut prendre une décision plus équilibrée et fiable que n'importe quel jugement individuel.

Cette approche aide également à résoudre deux des plus grands défis du machine learning : le biais et la variance. Un modèle avec un biais élevé est trop simple et néglige des modèles importants, tandis qu'un modèle avec une variance élevée est trop sensible et s'ajuste trop étroitement aux données d'entraînement. En combinant les modèles, l'apprentissage d'ensemble trouve un équilibre entre les deux, améliorant ainsi la performance du système sur de nouvelles données invisibles.

Link to this sectionComprendre comment fonctionne l'apprentissage d'ensemble#

Chaque modèle dans un ensemble est appelé un apprenant de base ou modèle de base. Il peut s'agir du même type d'algorithme ou d'un mélange d'algorithmes différents, selon la technique d'ensemble utilisée.

Voici quelques exemples courants des différents modèles utilisés dans l'apprentissage d'ensemble :

• Arbres de décision : Ces modèles divisent les données en branches basées sur des valeurs de caractéristiques pour prendre des décisions. Par exemple, dans les problèmes de classification comme prédire si un client achètera un produit, ils prennent en compte des facteurs tels que l'âge, le revenu et l'historique de navigation.
• Réseaux de neurones : Inspirés par la façon dont le cerveau humain traite l'information, ils forment l'architecture de base derrière la plupart des modèles modernes d'IA et de machine learning.
• Machines à vecteurs de support (SVM) : Ces algorithmes classifient les données en trouvant une frontière de décision optimale, appelée hyperplan, qui maximise la marge entre différentes classes. En d'autres termes, le SVM trace la meilleure ligne possible qui sépare les groupes tout en laissant le plus grand écart entre eux. Par exemple, il peut être utilisé pour dire si un e-mail est du spam ou non en fonction de modèles tels que la fréquence des mots et la structure.
• Modèles de régression logistique : Ils estiment les probabilités et sont souvent utilisés pour des tâches de classification binaire. Un exemple typique est la prédiction si une transaction est frauduleuse ou légitime.

Un ensemble de modèles combiné est généralement appelé un apprenant fort car il intègre les forces des apprenants de base (également appelés modèles faibles) tout en minimisant leurs faiblesses. Il le fait en combinant les prédictions de chaque modèle de manière structurée, en utilisant le vote majoritaire pour les tâches de classification ou la moyenne pondérée pour les tâches de régression afin de produire un résultat final plus précis.

Fig 1. Un exemple d'apprentissage d'ensemble (Source)

Link to this sectionQuand utiliser l'apprentissage d'ensemble#

Avant de plonger dans les diverses techniques d'apprentissage d'ensemble, prenons du recul et comprenons quand ce type d'approche devrait être utilisé dans un projet de machine learning ou d'IA.

L'apprentissage d'ensemble est le plus efficace lorsqu'un seul modèle a du mal à faire des prédictions précises ou cohérentes. Il peut également être utilisé dans des situations où les données sont complexes, bruyantes ou imprévisibles.

Voici quelques cas courants où les méthodes d'ensemble sont particulièrement efficaces :

• Faible précision du modèle : Lorsque les prédictions d'un seul modèle ne sont pas assez fiables, combiner plusieurs modèles peut améliorer considérablement la précision et la performance. Par exemple, dans la notation de crédit ou les diagnostics médicaux, même de petites améliorations de la précision des prédictions peuvent faire une grande différence.
• Données bruyantes ou incohérentes : Si un ensemble de données contient des valeurs aberrantes, des erreurs ou des fluctuations aléatoires, l'apprentissage d'ensemble aide à lisser ces irrégularités en faisant la moyenne ou le vote à travers plusieurs modèles.
• Besoin de robustesse : Les modèles d'ensemble sont moins sensibles aux petits changements de données, ce qui les rend plus stables et fiables pour les environnements de production où les entrées réelles peuvent varier.
• Tâches de prédiction complexes : Dans des tâches comme la reconnaissance d'images, la détection de la fraude ou la prévision de séries temporelles, les ensembles capturent une gamme plus large de modèles et de relations qu'un seul modèle ne pourrait le faire seul.

Il est également plus simple à entraîner, plus facile à interpréter et plus rapide à maintenir. Avant d'utiliser un ensemble, il est important de peser l'avantage d'une précision accrue par rapport au temps supplémentaire, à la puissance de calcul et à la complexité que cela nécessite.

Link to this sectionUn aperçu des techniques d'apprentissage d'ensemble#

Ensuite, examinons les principales façons dont l'apprentissage d'ensemble peut être appliqué dans les projets de machine learning. Il existe plusieurs techniques fondamentales utilisées pour combiner les modèles, chacune améliorant la performance à sa manière. Les méthodes d'ensemble les plus courantes sont le bagging, le boosting, le stacking et le blending.

Link to this sectionBagging#

Le bagging, abréviation de bootstrap aggregating, est une méthode d'apprentissage d'ensemble qui aide à améliorer la stabilité et la précision du modèle en entraînant plusieurs versions du même modèle sur différentes parties des données.

Chaque sous-ensemble est créé en utilisant un processus appelé échantillonnage bootstrap, où les points de données sont sélectionnés de manière aléatoire avec remplacement. Cela signifie qu'après qu'un point de données est choisi, il est remis dans le pool avant que le suivant ne soit choisi, donc le même point peut apparaître plus d'une fois, tandis que d'autres pourraient être exclus. Ce caractère aléatoire garantit que chaque modèle s'entraîne sur une version légèrement différente de l'ensemble de données.

Pendant l'inférence, tous les modèles entraînés fonctionnent en parallèle pour faire des prédictions sur de nouvelles données invisibles. Chaque modèle produit sa propre sortie en fonction de ce qu'il a appris, et ces prédictions individuelles sont ensuite combinées pour former le résultat final.

Pour les tâches de régression, comme prédire les prix des maisons ou les prévisions de ventes, cela signifie généralement faire la moyenne des sorties de tous les modèles pour obtenir une estimation plus lisse. Pour les tâches de classification, comme identifier si une transaction est frauduleuse ou non, l'ensemble prend souvent un vote majoritaire pour décider de la classe finale.

Link to this sectionLe bagging en action : L'algorithme Random Forest#

Un bon exemple où le bagging fonctionne bien est celui des arbres de décision, qui peuvent facilement faire du surapprentissage lorsqu'ils sont entraînés sur un seul ensemble de données. En entraînant de nombreux arbres sur des échantillons légèrement différents et en combinant leurs résultats, le bagging réduit le surapprentissage et améliore la fiabilité.

Considère l'algorithme Random Forest. C'est un ensemble d'arbres de décision, où chaque arbre est entraîné sur un sous-ensemble aléatoire de l'ensemble de données d'entraînement ainsi que sur un sous-ensemble aléatoire de caractéristiques.

Ce caractère aléatoire des caractéristiques aide à garantir que les arbres sont moins corrélés et que le modèle global est plus stable et précis. Un algorithme Random Forest peut être utilisé pour classer des images, détecter la fraude, prédire le désabonnement des clients, prévoir les ventes ou estimer les prix des propriétés.

Fig 2. Un regard sur l'algorithme Random Forest (Source)

Link to this sectionBoosting#

Le boosting est une autre technique d'apprentissage d'ensemble qui se concentre sur l'amélioration des apprenants faibles (modèles) en les entraînant séquentiellement, l'un après l'autre, au lieu de le faire en parallèle. Le concept central du boosting est que chaque nouveau modèle apprend des erreurs des précédents, améliorant progressivement la performance globale du modèle.

Contrairement au bagging, qui réduit la variance en faisant la moyenne de modèles indépendants, le boosting réduit le biais en faisant en sorte que chaque nouveau modèle prête plus attention aux cas difficiles avec lesquels les modèles précédents ont eu du mal.

Puisque les modèles de boosting sont entraînés séquentiellement, la façon dont leurs prédictions sont combinées à la fin diffère légèrement des autres méthodes d'ensemble. Chaque modèle contribue à la prédiction finale proportionnellement à sa performance pendant l'entraînement, les modèles les plus précis recevant un poids plus important.

Pour les tâches de régression, le résultat final est généralement une somme pondérée de toutes les prédictions des modèles. Pour les tâches de classification, l'algorithme combine les votes pondérés des modèles pour décider de la classe finale. Cette approche aide le boosting à créer un modèle global fort en accordant plus de poids aux modèles les plus précis tout en apprenant des autres.

Voici quelques types courants d'algorithmes de boosting :

• AdaBoost (Adaptive Boosting) : Cette méthode commence par entraîner un modèle simple, comme un petit arbre de décision, puis augmente le poids des points de données qui ont été mal classés. Ces poids font en sorte que le modèle suivant se concentre davantage sur les exemples difficiles. Au fil de multiples itérations, les modèles se construisent les uns sur les autres, et leurs prédictions combinées forment un résultat plus fort et plus précis. Par exemple, AdaBoost peut améliorer la détection de spam ou la précision de la reconnaissance faciale.
• Gradient Boosting : Au lieu de re-pondérer les échantillons, le Gradient Boosting entraîne chaque nouveau modèle à corriger les erreurs résiduelles, les différences entre les valeurs réelles et prédites, commises par les modèles précédents. Cette approche itérative le rend efficace pour les tâches de régression et de classification, comme la prévision des ventes et la notation de crédit.
• XGBoost (Extreme Gradient Boosting) : Cette version avancée du gradient boosting améliore à la fois la vitesse et la précision. Il utilise la régularisation, qui pénalise légèrement les modèles trop complexes pendant l'entraînement afin qu'ils se concentrent sur des modèles significatifs plutôt que de mémoriser les données. Bien que les modèles soient toujours entraînés séquentiellement, XGBoost accélère le processus en utilisant la parallélisation lors de la construction de l'arbre. Il peut évaluer de nombreux points de division possibles en même temps sur différents cœurs de CPU. Cela rend l'entraînement beaucoup plus rapide, en particulier sur de grands ensembles de données, tout en maintenant une performance prédictive élevée.

Fig 3. Exemple d'un classificateur basé sur un arbre de décision (DTB) entraîné avec une approche de boosting pour la prédiction du risque de diabète. (Source)

Link to this sectionStacking#

Le stacking, également appelé généralisation empilée, va un peu plus loin en utilisant les prédictions de plusieurs modèles comme entrée pour un modèle final appelé méta-apprenant. Tu peux imaginer cela comme avoir un groupe d'experts qui partagent chacun leur opinion, puis un décideur final qui apprend à pondérer ces opinions pour prendre la meilleure décision possible.

Par exemple, un modèle pourrait être excellent pour détecter la fraude tandis qu'un autre est meilleur pour prédire le désabonnement des clients. Le méta-apprenant étudie comment chacun se comporte et utilise leurs forces ensemble pour faire une prédiction finale plus précise.

Link to this sectionBlending#

Le blending fonctionne de manière similaire au stacking car il combine également les prédictions de plusieurs modèles pour prendre une décision finale, mais il adopte une approche plus simple et plus rapide. Au lieu d'utiliser la validation croisée (une méthode qui divise les données en plusieurs parties et les fait tourner entre l'entraînement et le test pour rendre le modèle plus fiable), comme le fait le stacking, le blending met de côté une petite partie des données, appelée ensemble de test (holdout set).

Les modèles de base sont entraînés sur les données restantes, puis font des prédictions sur l'ensemble de test, qu'ils n'ont pas vu auparavant. Cela produit deux éléments d'information clés : les réponses réelles, ou étiquettes vraies, et les prédictions faites par chaque modèle de base.

Ces prédictions sont ensuite passées à un autre modèle appelé modèle de blending ou méta-modèle. Ce modèle final étudie la précision des prédictions de chaque modèle de base et apprend à les combiner de la meilleure façon possible.

Parce que le blending repose sur une seule division entraînement-test au lieu de répéter le processus plusieurs fois, il fonctionne plus rapidement et est plus facile à configurer. Le compromis est qu'il dispose d'un peu moins d'informations à partir desquelles apprendre, ce qui peut le rendre un peu moins précis.

Link to this sectionÉvaluer les algorithmes d'ensemble#

Une partie importante de l'apprentissage d'ensemble est l'évaluation de la performance d'un modèle sur des données qu'il n'a pas vues auparavant. Peu importe à quel point une technique est avancée, elle doit être testée pour garantir qu'elle peut généraliser, ce qui signifie qu'elle doit faire des prédictions précises sur de nouveaux exemples du monde réel plutôt que de simplement mémoriser les données d'entraînement.

Voici quelques mesures de performance courantes utilisées pour évaluer les modèles d'IA :

• Précision (Accuracy) : Cette mesure évalue la proportion de prédictions correctes sur toutes les prédictions faites par le modèle. Elle donne un aperçu rapide de la performance globale.
• Précision (Precision) : Elle indique combien d'échantillons prédits comme positifs sont réellement positifs. Une précision élevée signifie que le modèle commet peu d'erreurs de faux positifs.
• Rappel : Cette mesure se concentre sur combien de cas positifs réels ont été correctement identifiés par le modèle. Elle est particulièrement importante dans des domaines comme la santé, où manquer un cas positif, comme un diagnostic de maladie, peut avoir des conséquences graves.

Link to this sectionApplications réelles de l'apprentissage d'ensemble#

Jusqu'à présent, nous avons exploré comment fonctionne l'apprentissage d'ensemble et les techniques qui le sous-tendent. Voyons maintenant où cette approche a un impact.

Voici quelques domaines clés où l'apprentissage d'ensemble est couramment appliqué :

• Analyse de données et prévision : Dans le monde des affaires et de l'analytique, les modèles d'ensemble aident les organisations à faire de meilleures prédictions en combinant les connaissances de plusieurs modèles. Cela conduit à des prévisions de ventes plus précises, une planification de la demande plus intelligente et une compréhension plus claire du comportement des clients.
• Classification binaire : Des tâches comme la détection de spam, la prévention de la fraude et le diagnostic médical nécessitent souvent de distinguer entre deux résultats possibles. Les modèles d'ensemble aident à réduire les faux positifs et les faux négatifs, ce qui est particulièrement crucial dans des domaines comme la cybersécurité et la santé.
• Problèmes de régression : Lors de la prédiction de valeurs continues telles que les prix des maisons, les revenus des ventes ou le risque de crédit, les méthodes d'ensemble capturent des relations complexes au sein des données. Cela se traduit par des prédictions plus précises qui soutiennent de meilleures décisions financières et opérationnelles.

Link to this sectionAller au-delà des données structurées avec l'apprentissage d'ensemble#

Bien que l'apprentissage d'ensemble soit le plus souvent utilisé avec des données structurées ou tabulaires, comme des feuilles de calcul contenant des informations numériques ou catégorielles, il peut également être appliqué à des données non structurées telles que le texte, les images, l'audio et la vidéo.

Ces types de données sont plus complexes et plus difficiles à interpréter pour les modèles, mais les méthodes d'ensemble aident à améliorer la précision et la fiabilité. Par exemple, en vision par ordinateur, les ensembles peuvent améliorer des tâches comme la classification d'images et la détection d'objets.

En combinant les prédictions de plusieurs modèles de vision, tels que les réseaux de neurones convolutifs (CNN), le système peut reconnaître les objets avec plus de précision et gérer les variations d'éclairage, d'angle ou d'arrière-plan qui pourraient confondre un seul modèle.

Link to this sectionUn regard sur l'assemblage de modèles Ultralytics YOLOv5#

Un exemple intéressant d'utilisation de l'apprentissage d'ensemble en vision par ordinateur est celui où un ingénieur combine plusieurs modèles de détection d'objets pour améliorer la précision. Imagine un ingénieur travaillant sur un système de surveillance de sécurité pour un chantier de construction, où l'éclairage, les angles et la taille des objets changent constamment.

Un seul modèle pourrait manquer un travailleur dans les ombres ou confondre des machines en mouvement. En utilisant un ensemble de modèles, chacun avec des forces différentes, le système devient plus fiable et moins susceptible de commettre ces erreurs.

En particulier, des modèles comme Ultralytics YOLOv5 vont de pair avec l'assemblage de modèles. Les ingénieurs peuvent combiner différentes variantes de YOLOv5, telles que YOLOv5x et YOLOv5l6, pour faire des prédictions ensemble. Chaque modèle analyse la même image et produit ses propres détections, qui sont ensuite moyennées pour générer un résultat final plus fort et plus précis.

Fig 4. Détection d'objets dans une image en utilisant YOLOv5. (Source)

Link to this sectionAvantages et inconvénients de l'apprentissage d'ensemble#

Voici quelques avantages clés de l'utilisation de l'apprentissage d'ensemble :

• Résilience aux données bruyantes : Les ensembles sont moins affectés par les valeurs aberrantes ou le bruit aléatoire dans l'ensemble de données puisqu'ils reposent sur plusieurs modèles.
• Meilleure généralisation : Les ensembles réduisent le surapprentissage, aidant les modèles à être performants sur des données invisibles au lieu de simplement mémoriser des exemples d'entraînement.
• Flexibilité à travers les algorithmes : Tu peux combiner différents types de modèles, tels que des arbres de décision, des réseaux de neurones et des modèles linéaires, pour tirer parti de leurs forces uniques.

Bien que l'apprentissage d'ensemble apporte divers avantages, il y a aussi certains défis à prendre en compte. Voici quelques facteurs à garder à l'esprit :

• Coût computationnel plus élevé : L'entraînement et la maintenance de plusieurs modèles nécessitent plus de mémoire, de puissance de traitement et de temps qu'un seul modèle.
• Interprétabilité réduite : Comme le résultat final provient de la combinaison de plusieurs modèles, il peut être difficile de comprendre pourquoi une certaine décision a été prise. Cependant, cela dépend des modèles utilisés car lorsque tu utilises des modèles interprétables, tels que des arbres de décision ou des machines à vecteurs de support, il est généralement plus facile de comprendre les résultats.
• Considérations sur la conception de l'ensemble : Construire un ensemble implique de choisir le bon mélange de modèles et de s'assurer qu'ils fonctionnent bien ensemble. Cependant, cela peut aussi être plus simple dans certains cas car tu n'as pas besoin de régler finement les hyperparamètres de chaque modèle individuel.

Link to this sectionPoints clés#

L'apprentissage d'ensemble montre comment la combinaison de plusieurs modèles peut rendre les systèmes d'IA plus précis et fiables. Il aide à réduire les erreurs et à améliorer les performances à travers différents types de tâches. À mesure que le machine learning et l'IA continuent de croître, des techniques comme celle-ci favorisent une adoption plus large et des solutions d'IA plus pratiques et performantes.

Rejoins notre communauté grandissante et notre dépôt GitHub pour en savoir plus sur la vision par IA. Explore nos pages de solutions pour en apprendre davantage sur les applications de la vision par ordinateur dans l'agriculture et de l'IA dans la logistique. Consulte nos options de licence pour commencer avec ton propre modèle de vision par ordinateur dès aujourd'hui !