Description
I. État de l’art et originalité L’apprentissage fédéré est un domaine récent de l’apprentissage automatique qui vise à entraîner des modèles globaux d’intelligence artificielle pour plusieurs utilisateurs tout en préservant la confidentialité des données de chacun [KMR+16]. L’architecture type repose sur un serveur central qui recueille des informations auprès de plusieurs utilisateurs sans avoir à collecter leurs données privées. L’apprentissage fédéré constitue naturellement un système multi-agents ouvert, puisque les utilisateurs sont fréquemment hors ligne, de sorte que l’ensemble des agents disponibles varie d’un cycle de calcul à l’autre. En outre, la connectivité des agents dépend de leur localisation et de l’infrastructure disponible, ce qui introduit une hétérogénéité manifeste. Malheureusement, les analyses mathématiques des performances des algorithmes d’apprentissage fédéré n’ont pas pris en compte l’hétérogénéité liée à la connectivité des agents, alors que celle-ci peut dégrader les performances des algorithmes, voire empêcher leur convergence. L’originalité de cette thèse consiste à analyser l’hétérogénéité dans l’apprentissage fédéré au moyen des systèmes multi-agents ouverts. Des résultats préliminaires ont été obtenus dans le cas du remplacement d’agents en optimisation distribuée, un domaine lié à l’entraînement distribué des modèles d’apprentissage automatique [MVH+24]. L’objectif de la thèse est d’étudier différents cadres de systèmes multi-agents ouverts afin d’analyser l’hétérogénéité dans l’apprentissage fédéré, où des agents dotés de capacités différentes participent au processus d’entraînement à des instants différents.
II. Plan de recherche L’apprentissage fédéré peut être classé en deux catégories : l’apprentissage fédéré inter-organisations (cross-silo) et l’apprentissage fédéré inter- appareils (cross-device). Dans le premier cas, un petit nombre d’organisations participent à l’entraînement du modèle. L’une des principales applications concerne les hôpitaux, où plusieurs établissements souhaitent collaborer à l’entraînement d’un modèle de détection de problèmes de santé sans partager les données de leurs patients. Dans le second cas, le nombre d’agents est élevé — plusieurs millions d’appareils — et ceux-ci sont généralement répartis dans le monde entier. Parmi les applications figurent l’entraînement de modèles de prédiction de texte, d’assistance vocale ou de reconnaissance d’images, qui nécessitent les données de millions d’utilisateurs. L’objectif de ce projet est d’utiliser les différentes approches présentées dans [VMF+24] pour analyser les algorithmes d’apprentissage fédéré dans les contextes inter-organisations et inter-appareils. Dans le scénario inter-organisations, le nombre d’agents participants étant connu, nous utiliserons le cadre des systèmes multi-agents pseudo-ouverts, dans lequel l’ouverture du système se caractérise par l’activation et la désactivation d’agents appartenant à un ensemble prédéfini [VMN18]. L’hétérogénéité sera modélisée par différentes distributions de probabilité d’activation des agents. Dans le scénario inter-appareils, le nombre d’agents participants étant inconnu, nous considérerons un cadre général de systèmes multi-agents ouverts, dans lequel des agents entièrement nouveaux peuvent rejoindre le système [VH25]. L’hétérogénéité sera modélisée par différentes probabilités d’arrivée et de départ des agents, donnant lieu à des intervalles de temps d’interaction différents. Pour relever les défis posés par ces scénarios, nous mobiliserons notamment des outils issus des systèmes multi-agents, de l’optimisation distribuée, de l’apprentissage automatique et des processus stochastiques.
Références [KMR+16] Kone?ný, J., McMahan, H. B., Ramage, D., & Richtárik, P. (2016). Federated optimization: Distributed machine learning for on-device intelligence. arXiv preprint arXiv:1610.02527. [MVH+24] Monnoyer de Galland, C., Vizuete, R., Hendrickx, J. M., Panteley, E., & Frasca, P. (2024). Random coordinate descent for resource allocation in open multiagent systems. IEEE Transactions on Automatic Control, 69(11), 7600-7613. [VMF+24] Vizuete, R., Monnoyer de Galland, C., Frasca, P., Panteley, E., & Hendrickx, J. M. (2024). Trends and questions in open multi-agent systems. In Hybrid and Networked Dynamical Systems: Modeling, Analysis and Control (pp. 219-252). Cham: Springer Nature Switzerland. [VMN18] Varma, V. S., Mor?rescu, I. C., & Neši?, D. (2018). Open multi-agent systems with discrete states and stochastic interactions. IEEE Control Systems Letters, 2(3), 375-380. [VH25] Vizuete, R., & Hendrickx, J. M. (2025, December). Consensus on Open Multi-Agent Systems Over Graphs Sampled from Graphons. In 2025 IEEE 64th Conference on Decision and Control (CDC) (pp. 5282-5289). IEEE.