Towards Decentralization, Asynchrony, Privacy and Personalization in Federated Learning
Asynchronie, décentralisation, vie privée et personnalisation en apprentissage fédéré
Résumé
The advent of modern Machine Learning (ML) models necessitates vast amounts of data and computational power to facilitate accurate predictions. Consequently, these models undergo training in a distributed manner, wherein numerous compute units are employed, and the voluminous training data, too extensive to be centralized on a single device, is decentralized across users’ devices.
This thesis delves into various aspects concerning the distributed training of models. Given the escalating scale of computational and data requirements, we initially concentrate on asynchronous training and decentralized methodologies, which confer robustness as the scale of the problem expands. Subsequently, we explore the inherent privacy amplification of decentralized learning and delve into model personalization—an intricate scenario wherein users may not share identical objectives yet necessitate collaboration.
Les modèles d’apprentissage automatique modernes exigent d’énormes quantités de données et de puissance de calcul pour effectuer des prédictions précises. Par conséquent, ces modèles sont entrainés de manière distribuée: un grand nombre d’unités de calcul sont nécessaires, et les données utilisées pour l’entraînement, étant trop vastes pour être centralisées sur une seule machine, sont stockées de manière décentralisée par les utilisateurs.
Cette thèse explore différentes problématiques liées à l’entraînement distribué de modèles. En raison de l’échelle grandissante des ordres de grandeurs des besoins en calcul et en données nécessaires, nous examinons d’abord les méthodes d’entraînement asynchrones et le cadre décentralisé. Ensuite, nous abordons les questions liées à la protection des données, naturellement amplifiées dans le cadre décentralisé, et la personnalisation des modèles, un scénario plus complexe dans lequel les utilisateurs ne partagent pas nécessairement le même objectif mais doivent néanmoins collaborer.
Origine | Fichiers produits par l'(les) auteur(s) |
---|