Apprentissage fédéré

L'apprentissage fédéré (FL) est une technique d'apprentissage automatique (ML) qui permet d'entraîner des modèles sur plusieurs appareils ou serveurs décentralisés contenant des échantillons de données locales, sans échanger les données elles-mêmes. Cette approche répond aux préoccupations essentielles en matière de confidentialité et de sécurité des données en conservant les données brutes sur l'appareil de l'utilisateur. Au lieu de regrouper les données dans un serveur central pour l'apprentissage du modèle, FL fonctionne en envoyant un modèle global aux appareils locaux. Chaque appareil entraîne le modèle avec ses propres données, et seules les mises à jour du modèle qui en résultent - de petites améliorations ciblées - sont renvoyées à un serveur central pour y être agrégées. Ce processus collaboratif améliore le modèle global partagé sans compromettre les informations de l'utilisateur.

Comment fonctionne l'apprentissage fédéré

Le processus d'apprentissage fédéré implique généralement un cycle répétitif d'étapes orchestrées par un serveur central de coordination :

1. Distribution du modèle : Le serveur central initialise un modèle d'IA global, tel qu'un réseau neuronal, et le distribue à une sélection de dispositifs clients (par exemple, des téléphones mobiles ou des ordinateurs d'hôpitaux).
2. Formation locale : Chaque appareil client entraîne le modèle sur son ensemble de données local. Comme ces données ne quittent jamais l'appareil, elles restent privées. Cette formation locale est un élément clé de l'intelligence sur l'appareil, souvent associée à l'Edge AI.
3. Soumission des mises à jour : Après quelques itérations d'entraînement, chaque client envoie au serveur central les mises à jour calculées de son modèle (telles que les gradients ou les poids du modèle). Il s'agit d'une charge utile beaucoup plus petite et plus sûre que les données brutes elles-mêmes.
4. Agrégation sécurisée : Le serveur central agrège les mises à jour de tous les clients, par exemple en calculant une moyenne, afin d'améliorer le modèle global. Des techniques telles que le calcul multipartite sécurisé peuvent être utilisées pour s'assurer que le serveur ne peut pas faire de l'ingénierie inverse sur les mises à jour individuelles.
5. Amélioration du modèle : Le modèle global affiné est ensuite renvoyé aux clients pour le prochain cycle de formation. Ce processus itératif se poursuit jusqu'à ce que les performances du modèle atteignent le niveau de précision souhaité.

Applications dans le monde réel

L'apprentissage fédéré n'est pas seulement un concept théorique ; il alimente plusieurs applications courantes et transforme les secteurs où la sensibilité des données est primordiale.

• Prédictions concernant les claviers intelligents: Des entreprises comme Google utilisent FL pour améliorer le texte prédictif sur les claviers mobiles. Votre téléphone apprend à partir de votre historique de frappe à suggérer le mot suivant, et ces apprentissages sont partagés sous forme de mises à jour de modèles anonymes afin d'améliorer le moteur prédictif pour tous les utilisateurs, sans que vos messages réels ne quittent jamais votre appareil.
• Recherche médicale collaborative: FL permet aux hôpitaux et aux instituts de recherche de collaborer à l'élaboration de puissants modèles de diagnostic pour des tâches telles que l'analyse d'images médicales en vue de détecter des tumeurs. Chaque hôpital peut entraîner un modèle partagé sur les données de ses patients, qui sont protégées par des lois sur la protection de la vie privée telles que la loi HIPAA, sans jamais exposer les dossiers sensibles des patients à d'autres institutions ou à un référentiel central. Cela permet de créer des modèles plus robustes formés sur divers ensembles de données.

Apprentissage fédéré et concepts connexes

Il est important de distinguer le FL des autres paradigmes d'apprentissage :

• Formation centralisée: L'approche traditionnelle où toutes les données sont rassemblées en un seul endroit pour la formation. FL est l'opposé direct, conçu spécifiquement pour éviter la centralisation des données.
• Formation distribuée: Cette technique utilise également plusieurs machines pour accélérer la formation, mais elle suppose que les données de formation sont stockées dans un emplacement central et peuvent être librement distribuées entre les nœuds de formation. FL, en revanche, travaille avec des données qui sont par nature décentralisées et ne peuvent pas être déplacées.
• Apprentissage actif: Cette méthode se concentre sur la sélection efficace des points de données les plus informatifs à étiqueter afin de réduire les coûts d'annotation. Alors que la méthode FL s'intéresse à l'endroit où se déroule la formation, l'apprentissage actif s'intéresse aux données utilisées. Les deux méthodes peuvent être combinées pour améliorer la confidentialité et l'efficacité, comme indiqué dans ce blog sur l'apprentissage actif.

Défis et cadres

Malgré ses avantages, FL est confronté à des défis tels que des coûts de communication élevés, la gestion d'appareils ayant une puissance de calcul variable(CPU/GPU) et le traitement de données non IID (non identiquement et indépendamment distribuées), qui peuvent fausser le modèle. Le système peut également être vulnérable aux attaques adverses qui ciblent les mises à jour du modèle. Pour faire face à ces complexités, des cadres tels que TensorFlow Federated et PySyft ont été développés par des organisations comme OpenMined. Au fur et à mesure que la technologie évolue, la gestion de l'ensemble du cycle de vie du déploiement et de la surveillance du modèle devient cruciale, un processus simplifié par des plateformes telles qu'Ultralytics HUB.