Qu'est-ce que la distillation de jeux de données ? Un rapide aperçu

L'entraînement des modèles semble être la partie la plus chronophage du travail d'un data scientist. Mais la majeure partie de son temps, souvent 60 % à 80 %, est en réalité consacrée à la préparation des données : les collecter, les nettoyer et les organiser pour la modélisation. À mesure que les jeux de données s'agrandissent, ce temps de préparation augmente également, ralentissant les expériences et rendant l'itération plus difficile.

Pour y remédier, les chercheurs ont passé des années à chercher des moyens de rationaliser l'entraînement. Des approches telles que les données synthétiques, la compression de jeux de données et de meilleures méthodes d'optimisation visent toutes à réduire le coût et les frictions liés au travail avec des jeux de données à grande échelle, ainsi qu'à accélérer les workflows de machine learning.

Une question clé qui se pose est de savoir si nous pouvons réduire considérablement un jeu de données tout en obtenant les mêmes performances qu'en entraînant un modèle sur les données complètes. La distillation de jeux de données est une réponse prometteuse.

Elle crée une version compacte d'un grand jeu de données d'entraînement tout en préservant les motifs essentiels dont le modèle a besoin pour apprendre efficacement. Elle offre une voie vers un entraînement plus rapide, des besoins de calcul moindres et une expérimentation plus efficace. Tu peux concevoir cela comme une fiche de révision pour le modèle, un minuscule ensemble d'exemples de données synthétiques conçus pour enseigner les mêmes motifs fondamentaux que le jeu de données complet.

Dans cet article, nous explorerons comment fonctionne la distillation de jeux de données et comment elle soutient le machine learning et le deep learning évolutifs dans des applications réelles. Commençons !

Link to this sectionComprendre la distillation de jeux de données#

La distillation de jeux de données est un processus où un grand jeu de données d'entraînement est condensé en un ensemble beaucoup plus petit qui enseigne toujours à un modèle presque les mêmes informations que le jeu de données original. De nombreux chercheurs appellent également ce processus condensation de jeux de données, car l'objectif est de capturer les motifs essentiels qui apparaissent dans l'ensemble du jeu de données.

Un jeu de données distillé est différent des données synthétiques générées aléatoirement ou du simple choix d'un sous-ensemble plus petit d'images réelles. Ce n'est pas un faux jeu de données aléatoire ou une copie tronquée de l'original.

Au lieu de cela, il est délibérément optimisé pour capturer les motifs les plus importants. Au cours de ce processus, chaque pixel et chaque caractéristique est ajusté et optimisé afin qu'un réseau neuronal entraîné sur les données distillées apprenne presque comme s'il avait été entraîné sur le jeu de données complet.

Cette idée est apparue pour la première fois dans un article arXiv de 2018 écrit par Tongzhou Wang, Jun-Yan Zhu, Antonio Torralba et Alexei A. Efros. Les premiers tests utilisaient des jeux de données simples comme MNIST et CIFAR-10, ce qui a permis de montrer facilement que quelques échantillons distillés pouvaient remplacer des milliers d'images réelles.

Fig 1. Utilisation de la distillation de jeux de données pour les données d'image (Source)

Depuis lors, des travaux complémentaires ont poussé la distillation de jeux de données plus loin, notamment des méthodes publiées lors des conférences ICML et ICLR qui rendent la condensation plus efficace et plus évolutive.

Link to this sectionL'importance de la distillation de jeux de données#

La distillation de jeux de données améliore l'efficacité de l'entraînement et accélère les cycles de développement. En réduisant la quantité de données sur laquelle un modèle doit apprendre, elle diminue les exigences en calcul.

Ceci est particulièrement utile pour l'apprentissage continu, où les modèles se mettent à jour au fil du temps, la recherche d'architecture neuronale, où de nombreuses conceptions de modèles sont testées, et l'entraînement en périphérie (edge training), où les modèles s'exécutent sur de petits appareils avec une mémoire et une puissance limitées. Dans l'ensemble, ces avantages font de la distillation de jeux de données une excellente option pour l'initialisation rapide, le fine-tuning rapide et la création de prototypes précoces à travers de nombreux workflows de machine learning.

Link to this sectionUn aperçu du fonctionnement de la distillation de jeux de données#

La distillation de jeux de données crée des échantillons d'entraînement synthétiques, ou générés artificiellement. Ces échantillons aident un modèle à apprendre d'une manière qui ressemble étroitement à un entraînement sur des données réelles. Elle fonctionne en suivant trois facteurs clés lors d'un entraînement normal.

Le premier est la fonction de perte (loss function), qui est le score d'erreur du modèle montrant à quel point ses prédictions sont erronées. Le second est les paramètres du modèle, qui sont les poids internes du réseau mis à jour à mesure qu'il apprend.

Le troisième est la trajectoire d'entraînement, qui décrit comment l'erreur et les poids changent étape par étape au fil du temps. Les échantillons synthétiques sont ensuite optimisés de sorte que, lorsqu'un modèle s'entraîne sur eux, son erreur diminue et ses poids se mettent à jour de la même manière qu'avec le jeu de données complet.

Link to this sectionUn examen étape par étape de la distillation de jeux de données#

Voici un examen plus approfondi du fonctionnement du processus de distillation de jeux de données :

• Étape 1 - Initialiser les pixels synthétiques : Le processus commence par des images synthétiques qui agissent comme des entrées apprenables. Au début, ces images ont peu de structure et ressemblent à des pages blanches. Au fil du temps, elles sont optimisées en exemples informatifs.
• Étape 2 - Optimiser avec l'appariement de gradients et la rétropropagation (backpropagation) : À mesure que le modèle s'entraîne sur ces images synthétiques, il produit des gradients qui indiquent comment chaque pixel doit changer pour mieux correspondre au comportement d'entraînement des données réelles. La rétropropagation est la méthode que le réseau utilise pour apprendre de ses erreurs. Elle renvoie l'erreur à travers le modèle pour déterminer quels pixels et quels poids l'ont causée, puis les met à jour légèrement. En utilisant ces gradients, la rétropropagation ajuste les images synthétiques étape par étape afin qu'elles deviennent plus informatives pour l'entraînement.
• Étape 3 - Faire correspondre le comportement à travers les étapes d'entraînement : La méthode fait également correspondre les trajectoires d'entraînement, ce qui signifie les changements étape par étape que le modèle subit pendant qu'il apprend. Cela garantit que le jeu de données distillé guide le modèle à travers un chemin d'apprentissage similaire à celui qu'il suivrait avec le jeu de données complet.
• Étape 4 - Validation et généralisation : Enfin, le jeu de données distillé est évalué sur des données de validation réelles pour voir à quel point le modèle entraîné performe sur de nouveaux exemples. Cela vérifie que les données synthétiques enseignent des motifs larges et fonctionnels plutôt que d'amener le modèle à mémoriser des échantillons spécifiques.

Fig 2. Un aperçu de la distillation de jeux de données (Source)

Link to this sectionMéthodologies clés de distillation de jeux de données#

Toutes les méthodes de distillation de jeux de données sont construites sur la même idée centrale, même si elles utilisent des algorithmes différents pour y parvenir. La plupart des approches tombent dans trois catégories : l'appariement de performance (performance matching), l'appariement de distribution (distribution matching) et l'appariement de paramètres (parameter matching).

Ensuite, examinons chacune d'entre elles et voyons comment elle fonctionne.

Link to this sectionAppariement de performance#

L'appariement de performance dans la distillation de jeux de données se concentre sur la création d'un minuscule ensemble d'entraînement optimisé qui permet à un modèle d'atteindre presque la même précision que s'il avait été entraîné sur le jeu de données complet et original. Au lieu de choisir un sous-ensemble aléatoire, les échantillons distillés sont optimisés de sorte qu'un modèle entraîné sur eux finisse avec des prédictions similaires, un comportement de perte similaire pendant l'entraînement ou une précision finale similaire à un modèle entraîné sur le jeu de données original.

Le méta-apprentissage est une méthode courante utilisée pour améliorer ce processus. Le jeu de données distillé est mis à jour par des épisodes d'entraînement répétés, de sorte qu'il devienne efficace dans de nombreuses situations possibles.

Au cours de ces épisodes, la méthode simule comment un modèle étudiant apprend à partir des échantillons distillés actuels, vérifie à quel point cet étudiant performe sur des données réelles, puis ajuste les échantillons distillés pour qu'ils soient de meilleurs enseignants. Au fil du temps, l'ensemble distillé apprend à soutenir un apprentissage rapide et une forte généralisation, même lorsque le modèle étudiant commence avec des poids initiaux différents ou utilise une architecture différente. Cela rend le jeu de données distillé plus fiable et non lié à une seule exécution d'entraînement.

Fig 3. Le processus de méta-apprentissage (Source)

Link to this sectionTechniques d'appariement de distribution#

Pendant ce temps, l'appariement de distribution génère des données synthétiques qui correspondent aux motifs statistiques du jeu de données réel. Au lieu de se concentrer uniquement sur la précision finale d'un modèle, cette approche se concentre sur les caractéristiques internes qu'un réseau neuronal génère pendant l'apprentissage.

Ensuite, jetons un œil aux deux techniques qui pilotent l'appariement de distribution.

Link to this sectionAppariement de distribution à une seule couche#

L'appariement de distribution à une seule couche se concentre sur une seule couche d'un réseau neuronal et compare les caractéristiques qu'elle produit pour les données réelles versus synthétiques. Ces caractéristiques, aussi appelées activations, capturent ce que le modèle a appris à ce point du réseau.

En faisant produire des activations similaires aux données synthétiques, la méthode encourage le jeu de données distillé à refléter les mêmes motifs importants que le jeu de données original. En pratique, les échantillons synthétiques sont mis à jour à plusieurs reprises jusqu'à ce que les activations à cette couche choisie correspondent étroitement à celles des images réelles.

Cette approche est relativement simple car elle aligne seulement un niveau de représentation à la fois. Elle peut fonctionner particulièrement bien sur des jeux de données plus petits ou des tâches où il n'est pas nécessaire de faire correspondre des hiérarchies de caractéristiques profondes et à plusieurs niveaux. En alignant clairement un espace de caractéristiques, l'appariement à une seule couche fournit un signal stable et significatif pour l'apprentissage avec le jeu de données distillé.

Link to this sectionAppariement de distribution multicouche#

L'appariement de distribution multicouche s'appuie sur l'idée de comparer les données réelles et synthétiques en le faisant à plusieurs couches d'un réseau neuronal plutôt qu'à une seule. Différentes couches capturent différents types d'informations, des bords et textures simples dans les premières couches aux formes et motifs plus complexes dans les couches plus profondes.

En faisant correspondre les caractéristiques à travers ces couches, le jeu de données distillé est poussé à refléter ce que le modèle apprend à plusieurs niveaux. Parce qu'il aligne les caractéristiques à travers le réseau, cette approche aide les données synthétiques à préserver des signaux plus riches sur lesquels le modèle s'appuie pour distinguer les classes.

Ceci est particulièrement utile en computer vision, ce qui signifie des tâches où les modèles apprennent à comprendre des images et des vidéos, car les motifs utiles sont répartis à travers de nombreuses couches. Lorsque les distributions de caractéristiques correspondent bien à plusieurs profondeurs, le jeu de données distillé agit comme un substitut plus fort et plus fiable aux données d'entraînement originales.

Link to this sectionMéthodes d'appariement de paramètres#

Une autre catégorie clé dans la distillation de jeux de données est l'appariement de paramètres. Au lieu de faire correspondre la précision ou les distributions de caractéristiques, elle fait correspondre la façon dont les poids d'un modèle changent pendant l'entraînement. En faisant en sorte que l'entraînement sur le jeu de données distillé produise des mises à jour de paramètres similaires à celles de l'entraînement sur données réelles, le modèle suit un chemin d'apprentissage presque identique.

Nous passerons en revue les deux principales méthodes d'appariement de paramètres ensuite.

Link to this sectionAppariement à une seule étape#

L'appariement à une seule étape compare ce qui arrive aux poids d'un modèle après seulement une étape d'entraînement sur des données réelles. Le jeu de données distillé est ensuite réglé de sorte qu'un modèle entraîné dessus pendant une étape produise une mise à jour de poids très similaire. Comme il se concentre uniquement sur cette seule mise à jour, la méthode est directe et rapide à exécuter.

L'inconvénient est qu'une étape ne reflète pas le processus d'apprentissage complet, en particulier pour des tâches plus difficiles où le modèle a besoin de nombreuses mises à jour pour construire des caractéristiques plus riches. À cause de cela, l'appariement à une seule étape a tendance à mieux fonctionner sur des problèmes plus simples ou des jeux de données plus petits où les motifs utiles peuvent être saisis rapidement.

Link to this sectionAppariement de paramètres à plusieurs étapes#

En revanche, l'appariement de paramètres à plusieurs étapes examine comment les poids d'un modèle changent sur plusieurs étapes d'entraînement, pas seulement une. Cette séquence de mises à jour est la trajectoire d'entraînement du modèle.

Le jeu de données distillé est construit de sorte que lorsqu'un modèle s'entraîne sur les échantillons synthétiques, sa trajectoire suive étroitement celle qu'il prendrait sur des données réelles. En faisant correspondre une plus longue période d'apprentissage, l'ensemble distillé capture plus de structure du processus d'entraînement original.

Parce qu'il reflète la façon dont l'apprentissage se déroule au fil du temps, l'appariement à plusieurs étapes fonctionne généralement mieux pour des jeux de données plus gros ou plus complexes où les modèles ont besoin de nombreuses mises à jour pour saisir des motifs utiles. Cela nécessite plus de calcul puisqu'il doit suivre plusieurs étapes, mais il produit souvent des jeux de données distillés qui généralisent mieux et offrent de meilleures performances que l'appariement à une seule étape.

Link to this sectionComment fonctionnent la génération et l'optimisation de jeux de données synthétiques#

Avec une meilleure compréhension des principales approches de distillation, nous pouvons maintenant regarder comment les données synthétiques sont créées. Dans la distillation de jeux de données, les échantillons synthétiques sont optimisés pour capturer le signal d'apprentissage le plus important, de sorte qu'un petit ensemble peut remplacer un jeu de données beaucoup plus grand.

Ensuite, nous verrons comment ces données distillées sont générées et évaluées.

Link to this sectionCréer et évaluer des images distillées#

Pendant la distillation de jeux de données, les pixels synthétiques sont mis à jour sur de nombreuses étapes d'entraînement. Le réseau neuronal apprend à partir des images synthétiques actuelles et envoie des retours basés sur le gradient, ce qui montre comment chaque pixel devrait changer pour mieux correspondre aux motifs dans le jeu de données réel.

Cela fonctionne parce que le processus est dérivable (ce qui signifie que chaque étape est lisse et possède des gradients bien définis, donc de petits changements de pixels mènent à des changements prévisibles dans la perte), permettant au modèle d'ajuster en douceur les données synthétiques lors de la descente de gradient.

À mesure que l'optimisation continue, les images synthétiques commencent à former une structure significative, incluant des formes et des textures que le modèle reconnaît. Ces images synthétiques raffinées sont souvent utilisées pour des tâches de classification d'images car elles capturent les indices visuels clés dont un classificateur a besoin pour apprendre.

Les jeux de données distillés sont évalués en entraînant des modèles dessus et en comparant les résultats aux modèles entraînés sur des données réelles. Les chercheurs mesurent la précision de validation et vérifient si l'ensemble synthétique préserve les caractéristiques discriminantes (les motifs ou signaux sur lesquels le modèle s'appuie pour distinguer une classe d'une autre) nécessaires pour séparer les classes. Ils testent également la stabilité et la généralisation à travers différentes exécutions ou configurations de modèles pour s'assurer que les données distillées ne conduisent pas à un surapprentissage (overfitting).

Link to this sectionApplications réelles de la distillation de données#

Ensuite, nous examinerons de plus près des exemples montrant comment les jeux de données distillés accélèrent l'entraînement et réduisent les coûts de calcul tout en maintenant des performances élevées, même lorsque les données sont limitées ou hautement spécialisées.

Link to this sectionUtiliser la distillation de jeux de données pour les applications de computer vision#

En matière de computer vision, l'objectif est d'entraîner des modèles à comprendre des données visuelles comme des images et des vidéos. Ces modèles apprennent des motifs tels que les bords, les textures, les formes et les objets, puis utilisent ces motifs pour des tâches comme la classification d'images, la détection d'objets ou la segmentation. Comme les problèmes de vision ont souvent une énorme variation d'éclairage, d'arrière-plans et de points de vue, les systèmes de computer vision ont généralement besoin de grands jeux de données pour bien généraliser, ce qui rend l'entraînement coûteux et lent.

Fig 4. Un exemple de distillation de jeux de données (Source)

Lorsqu'il s'agit de cas d'usage de classification d'images tels que les examens médicaux, la surveillance de la faune ou la détection de défauts en usine, les modèles font souvent face à un compromis difficile entre précision et coût d'entraînement. Ces tâches impliquent généralement des jeux de données massifs.

La distillation de jeux de données peut compresser le jeu d'entraînement original en un petit nombre d'images synthétiques qui contiennent toujours les indices visuels les plus importants pour le classificateur. Sur de grands benchmarks comme ImageNet, des ensembles distillés utilisant seulement environ 4,2 % de l'original des images ont montré qu'ils maintenaient une forte précision de classification. Cela signifie qu'un minuscule proxy synthétique peut remplacer des millions d'échantillons réels avec beaucoup moins de calcul.

Link to this sectionRecherche d'architecture neuronale (NAS)#

La recherche d'architecture neuronale, ou NAS, est une technique qui explore automatiquement de nombreuses conceptions possibles de réseaux neuronaux pour trouver celle qui fonctionne le mieux pour une tâche. Parce que le NAS doit entraîner et évaluer un grand nombre de modèles candidats, l'exécuter sur des jeux de données complets peut être lent et très intensif en calcul.

La distillation de jeux de données aide en créant un minuscule ensemble d'entraînement synthétique qui contient toujours le principal signal d'apprentissage des données originales, de sorte que chaque architecture candidate puisse être testée beaucoup plus rapidement. Cela permet au NAS de comparer les conceptions efficacement tout en gardant les classements des bonnes versus mauvaises architectures raisonnablement fiables, réduisant le coût de recherche sans sacrifier beaucoup la qualité finale du modèle.

Link to this sectionApprentissage continu et déploiement en périphérie#

Les systèmes d'apprentissage continu, signifiant des modèles qui continuent à se mettre à jour à mesure que de nouvelles données arrivent au lieu d'être entraînés une seule fois, ont besoin de mises à jour qui sont rapides et efficaces en mémoire. Les appareils en périphérie (edge devices) comme les caméras, les téléphones et les capteurs font face à des limites similaires car ils ont des budgets de calcul et de stockage serrés.

La distillation de jeux de données aide dans les deux cas en compressant un grand jeu d'entraînement en un minuscule ensemble synthétique, de sorte que les modèles puissent s'adapter ou se réentraîner en utilisant un petit ensemble de rejeu plutôt que le jeu de données complet. Par exemple, les travaux sur le méta-apprentissage basé sur les noyaux (kernel-based meta-learning) ont montré que seulement 10 échantillons distillés peuvent atteindre plus de 64 % de précision sur CIFAR-10, un benchmark standard de classification d'images. Parce que l'ensemble de rejeu est si compact, les mises à jour deviennent beaucoup plus rapides et pratiques, surtout lorsque les modèles doivent être rafraîchis souvent.

La distillation de jeux de données peut également fonctionner aux côtés de la distillation de connaissances pour les modèles de langage à grande échelle. Un petit jeu de données distillé peut conserver les signaux de tâche les plus importants provenant du modèle enseignant, de sorte qu'un modèle étudiant compressé puisse être entraîné ou rafraîchi plus efficacement sans perdre beaucoup de performance. Puisque ces jeux de données sont minuscules, ils sont particulièrement utiles pour une utilisation en périphérie ou sur appareil, où le stockage et le calcul sont limités mais où tu souhaites toujours que le modèle reste précis après les mises à jour.

Link to this sectionAvantages et inconvénients de la distillation de données#

Voici quelques avantages à utiliser la distillation de jeux de données :

• Idéal pour des expériences rapides. Tu peux tester de nouvelles architectures, pertes ou hyperparamètres sans réentraîner sur un jeu de données énorme à chaque fois.
• Avantage potentiel pour la confidentialité. Partager des échantillons synthétiques distillés peut être plus sûr que de partager des points de données utilisateur réels, puisque les exemples bruts ne sont pas directement exposés.
• Souvent plus fort qu'un simple choix de sous-ensemble. Au lieu de juste sélectionner des exemples, la distillation les optimise activement pour qu'ils soient aussi informatifs que possible.

Bien que la distillation de jeux de données offre plusieurs avantages, voici quelques limites à garder à l'esprit :

• Overfitting** :** Les données distillées fonctionnent souvent mieux pour l'architecture utilisée pendant la distillation et peuvent mal se transférer vers des modèles très différents.
• Sensible aux hyperparamètres. Les résultats peuvent dépendre beaucoup de facteurs comme le taux d'apprentissage, l'initialisation ou le nombre d'étapes de distillation.
• Plus difficile à mettre à l'échelle vers la complexité réelle. Les méthodes qui fonctionnent bien sur les benchmarks peuvent perdre en précision sur des jeux de données larges, désordonnés ou à haute résolution.

Link to this sectionPoints clés#

La distillation de jeux de données permet à un petit ensemble d'échantillons synthétiques d'enseigner à un modèle presque aussi efficacement qu'un jeu de données complet. Cela rend le machine learning plus rapide, plus efficace et plus facile à mettre à l'échelle. À mesure que les modèles grandissent et nécessitent plus de données, les jeux de données distillés offrent un moyen pratique de réduire les coûts de calcul sans sacrifier la précision.

Rejoins notre communauté et jette un œil à notre dépôt GitHub pour en découvrir plus sur l'IA. Si tu cherches à construire ton propre projet d'IA de vision, consulte nos options de licence. Explore davantage d'applications comme l'IA dans la santé et l'IA de vision dans le commerce en visitant nos pages de solutions.