Automated Machine Learning (AutoML)

L’apprentissage automatique automatisé (AutoML) automatise les essais et erreurs de la création d’un modèle d’apprentissage automatique (ML) : préparation des caractéristiques, choix d’un algorithme, réglage de ses hyperparamètres et parfois conception d’une architecture de réseau ou combinaison de plusieurs modèles. À partir d’un jeu de données, d’une métrique cible et d’un budget de calcul, un système AutoML explore des pipelines candidats, évalue chacun d’eux sur des données mises de côté et renvoie le meilleur résultat trouvé. Le projet Auto-WEKA a formulé le cœur de cette tâche comme le problème combiné de sélection d’algorithmes et d’optimisation des hyperparamètres (CASH), une formulation adoptée par la suite par des outils comme auto-sklearn. AutoML offre aux non-spécialistes de solides références de base et évite aux experts la partie répétitive de l’expérimentation.

Fonctionnement d’AutoML#

Un système AutoML comporte trois éléments. L’espace de recherche définit les éléments variables, des étapes de prétraitement des données et d’ingénierie des caractéristiques à la famille de modèles, comme la régression linéaire, XGBoost ou un réseau neuronal, ainsi qu’aux paramètres de chaque famille, comme le taux d’apprentissage. La stratégie de recherche choisit les candidats à essayer : recherche aléatoire, optimisation bayésienne, qui modélise les régions de l’espace qui semblent prometteuses, ou algorithmes évolutionnaires, qui font muter et recombinent les bonnes configurations. L’étape d’évaluation attribue un score à chaque candidat sur des données de validation ou par validation croisée. De nombreux systèmes amorcent aussi la recherche à l’aide du méta-apprentissage basé sur des jeux de données antérieurs, puis terminent en combinant les meilleurs candidats dans un ensemble de modèles.

Entraîner chaque candidat jusqu’à convergence représente le coût principal. Les méthodes multi-fidélité entraînent donc d’abord de nombreuses configurations à moindre coût et consacrent davantage de ressources aux plus prometteuses. La réduction successive, élément de base de Hyperband, répète un tour jusqu’à ce qu’il ne reste qu’une seule configuration :

Une vaste recherche peut aussi entraîner un surapprentissage des données de validation, car le gagnant est en partie le candidat qui a eu le plus de chance parmi tant d’autres. C’est pourquoi le modèle final est évalué sur un jeu de test distinct.

Outils AutoML#

• AutoGluon : Bibliothèque open source lancée chez Amazon, qui entraîne de nombreux types de modèles sur des données tabulaires, textuelles, d’images et de séries temporelles, puis les combine dans un ensemble.
• auto-sklearn : Explore des pipelines scikit-learn au moyen de l’optimisation bayésienne, du méta-apprentissage et de la construction d’ensembles.
• FLAML : Bibliothèque de Microsoft qui vise une recherche peu coûteuse de modèles et d’hyperparamètres pour les données tabulaires.
• Optuna : Cadre d’optimisation des hyperparamètres dont les mécanismes d’élagage interrompent tôt les essais peu prometteurs. Il sert souvent de moteur de recherche dans des boucles AutoML personnalisées.
• Google Cloud AutoML : Service géré, désormais intégré à Gemini Enterprise Agent Platform, auparavant Vertex AI, qui entraîne sans code des modèles de classification d’images, de détection d’objets et des modèles tabulaires.
• Amazon SageMaker Autopilot : Service AutoML d’AWS, dont l’interface se trouve désormais dans SageMaker Canvas.

Pour les petits tableaux, les modèles de fondation tabulaires offrent une autre voie vers le même objectif : ils effectuent des prédictions à partir des lignes d’entraînement présentes dans le contexte, sans recherche propre à chaque jeu de données.

Optimisation automatisée de YOLO#

Pour les modèles de vision par ordinateur dotés d’une architecture préentraînée fixe, la recherche automatisée porte généralement sur la recette d’entraînement. Le model.tune() d’Ultralytics YOLO fait évoluer par défaut 26 hyperparamètres d’entraînement, notamment le taux d’apprentissage, le momentum, les coefficients de la fonction de perte et l’intensité de l’augmentation : à chaque itération, il fait muter et recombine les meilleures configurations trouvées jusque-là, entraîne brièvement le modèle et consigne son score d’aptitude. L’exécution enregistre best_hyperparameters.yaml avec des graphiques du score d’aptitude au fil des itérations. En passant use_ray=True, tu confies plutôt la recherche à Ray Tune.

from ultralytics import YOLO

# Charge un modèle YOLO26 préentraîné pour l’optimiser
model = YOLO("yolo26n.pt")

# Fais évoluer les hyperparamètres : à chaque itération, modifie les meilleures configurations trouvées jusque-là, entraîne le modèle et évalue son score d’aptitude
model.tune(data="coco8.yaml", epochs=30, iterations=10, plots=False, save=False, val=False)

AutoML et notions connexes#

• Optimisation des hyperparamètres : Optimise les paramètres d’un modèle choisi. AutoML l’inclut généralement comme une étape d’une recherche plus large qui choisit aussi le modèle.
• Recherche d’architecture neuronale (NAS) : Branche d’AutoML qui conçoit des architectures de réseaux, notamment les types et profondeurs de couches ainsi que leurs connexions.
• Apprentissage par transfert : Part d’un modèle préentraîné plutôt que de zéro. Les systèmes AutoML explorent souvent les réseaux dorsaux préentraînés, ce qui rend les deux approches complémentaires.
• Opérations d’apprentissage automatique (MLOps) : Couvre tout le cycle de vie d’un modèle, notamment le déploiement, la surveillance et le réentraînement, et utilise souvent AutoML comme une étape du pipeline d’entraînement.