Sujet de Thèse
Titre :
APPRENTISSAGE PROFOND PAR RENFORCEMENT ET OPTIMISATION POUR L'ESTIMATION DE L'ÉTAT ET LA COMMANDE DES
SYSTÈMES NON LINÉAIRES INTERCONNECTÉS SOUS CONTRAINTES
Dates :
2025/10/01 - 2028/09/30
Encadrant(s) :
Autre(s) encadrant(s) :
OUDANI Mustapha (mustapha.oudani@uir.ac.ma)
Description :
Ce projet de thèse vise à développer une approche méthodologique basée sur des techniques d'intelligence artificielle
pour aborder les problématiques liées à l'estimation d'état (ou capteurs logiciels) et au contrôle de systèmes non linéaires interconnectés
sous contraintes, pour lesquels les approches basées sur les modèles n'ont pas encore apporté de solution.
Une grande classe de systèmes dynamiques, qu'ils soient physiques ou artificiels, peut être modélisée par des équations différentielles
non linéaires interconnectées : Réseaux de communication, de transport (Oudani et al. 2024), ou de distribution d'énergie (Thabet et al.
2010, Jadbabaie et al. 2020; Ren & Beard, 2020). Ces systèmes non linéaires interconnectés fonctionnent souvent sous des contraintes
importantes telles que des capacités de mesure limitées, une bande passante de communication restreinte et/ou des limitations en
termes d'énergie ou de calcul, qui affectent négativement leurs performances d'observabilité et de contrôlabilité (Mu et al. 2023; Li et al.
2023).
L'utilisation d'approches hybrides basées à la fois sur des modèles et des techniques d'intelligence artificielle ouvre un champ très
prometteur mais reste relativement peu exploré. Une étude récente (Yaghmaie et al. 2019) basée sur une technique d'apprentissage par
renforcement, avec des fonctions d'activation spécifiques, montre qu'il pourrait exister des solutions aux problèmes d'optimisation sous
contraintes pour une classe de systèmes dynamiques linéaires, là où l'approche basée sur les modèles n'a pas encore fourni de solution.
Les recherches futures devraient se concentrer sur le développement de cadres d'apprentissage plus sophistiqués, notamment en
intégrant l'apprentissage par renforcement profond.
La première partie de la thèse se concentrera sur le développement d'une approche distribuée pour la construction de réseaux
neuronaux profonds pour chaque sous-système du modèle interconnecté tout en minimisant un critère global qui prend en compte
toutes les interactions dans le réseau. La fonction de récompense prendra en compte le modèle dynamique global et sera utilisée pour
garantir des performances minimales. La construction de ces réseaux (approximateurs universels) sera inspirée par un travail récent
(Farkane et al., 2024) que nous avons développé pour résoudre une classe d'équations aux dérivées partielles non linéaires (systèmes à
grande échelle, pour lesquels nous avons obtenu des performances remarquables en termes de précision et de rapidité par rapport aux
techniques de discrétisation eulériennes).
La construction de stratégies distribuées pour l'apprentissage par renforcement basé sur l'estimation de l'état et la conception de lois de
commande se concentrera sur des cas où :
⬢ Les capteurs de chaque sous-système sont limités
⬢ La communication est restreinte
⬢ L'énergie est limitée
La deuxième partie de la thèse, tout aussi importante, se concentrera sur l'évaluation de ces algorithmes basés sur l'IA en termes de
robustesse, de précision et de temps de calcul par simulation numérique de divers types de réseaux interconnectés sous contraintes.
1. Jadbabaie, A., Lin, J., & Morse, A. S. (2003). Coordination of groups of mobile autonomous agents using nearest neighbor rules. IEEE
Transactions on automatic control, 48(6), 988-1001
2. Ren, W., & Beard, R. W. (2008). Distributed consensus in multi-vehicle cooperative control (Vol. 27, No. 2, pp. 71-82). London: Springer
London.
3. Mu, Y., Zhang, H., Yan, Y., & Xie, X. (2023). Distributed observer-based robust fault estimation design for discrete-time interconnected
systems with disturbances. IEEE Transactions on Cybernetics, 53(10), 6737-6747.
4. Li, J., Dong, X., Yu, J., Li, Q., & Ren, Z. (2023). Resilient time-varying formation tracking for heterogeneous high-order multiagent
systems with multiple dynamic leaders. IEEE Transactions on Control of Network Systems, 11(1), 89-100.
5. Kang, J., Guo, G., & Yang, G. (2022). Distributed optimization of uncertain multiagent systems with disturbances and actuator faults via
exosystem observer-based output regulation. IEEE Transactions on Circuits and Systems I: Regular Papers, 70(2), 897-909.
6. Narayanan, V., & Jagannathan, S. (2017). Event-triggered distributed control of nonlinear interconnected systems using online
reinforcement learning with exploration. IEEE transactions on cybernetics, 48(9), 2510-2519.
7. Nejabat, E., & Nikoofard, A. (2023). Switching tube model predictive based controller design for multi?agent unmanned aerial vehicle
system with hybrid topology. International Journal of Robust and Nonlinear Control, 33(17), 10468-10492.
8. Liu, J., Zhang, N., Zha, L., Xie, X., & Tian, E. (2023). Reinforcement learning-based decentralized control for networked interconnected
systems with communication and control constraints. IEEE Transactions on Automation Science and Engineering, 21(3), 4674-4685.
9. Frej, G. B. H., Thabet, A., Boutayeb, M., & Aoun, M. (2016). Decentralized observers for optimal stabilization of large class of nonlinear
interconnected systems. International Journal of Computer Applications, 137(14), 1-7.
10. Boutat-Baddas, L., Osorio-Gordillo, G. L., & Darouach, M. (2021). H? dynamic observers for a class of nonlinear systems with
unknown inputs. International Journal of Control, 94(3), 558-569.
11. Boutat-Baddas, L., Mansouri-Ezzine, M., & Darouach, M. (2015). $ H_\infty $ filter based decentralized control for a class of largescale
systems. Control Theory: Perspectives, Applications and Developments, 71-94.
12. Farkane, A., Ghogho, M., Oudani, M., & Boutayeb, M. (2024). Enhancing physics informed neural networks for solving Navier⬓Stokes
equations. International Journal for Numerical Methods in Fluids, 96(4), 381-396.
pour aborder les problématiques liées à l'estimation d'état (ou capteurs logiciels) et au contrôle de systèmes non linéaires interconnectés
sous contraintes, pour lesquels les approches basées sur les modèles n'ont pas encore apporté de solution.
Une grande classe de systèmes dynamiques, qu'ils soient physiques ou artificiels, peut être modélisée par des équations différentielles
non linéaires interconnectées : Réseaux de communication, de transport (Oudani et al. 2024), ou de distribution d'énergie (Thabet et al.
2010, Jadbabaie et al. 2020; Ren & Beard, 2020). Ces systèmes non linéaires interconnectés fonctionnent souvent sous des contraintes
importantes telles que des capacités de mesure limitées, une bande passante de communication restreinte et/ou des limitations en
termes d'énergie ou de calcul, qui affectent négativement leurs performances d'observabilité et de contrôlabilité (Mu et al. 2023; Li et al.
2023).
L'utilisation d'approches hybrides basées à la fois sur des modèles et des techniques d'intelligence artificielle ouvre un champ très
prometteur mais reste relativement peu exploré. Une étude récente (Yaghmaie et al. 2019) basée sur une technique d'apprentissage par
renforcement, avec des fonctions d'activation spécifiques, montre qu'il pourrait exister des solutions aux problèmes d'optimisation sous
contraintes pour une classe de systèmes dynamiques linéaires, là où l'approche basée sur les modèles n'a pas encore fourni de solution.
Les recherches futures devraient se concentrer sur le développement de cadres d'apprentissage plus sophistiqués, notamment en
intégrant l'apprentissage par renforcement profond.
La première partie de la thèse se concentrera sur le développement d'une approche distribuée pour la construction de réseaux
neuronaux profonds pour chaque sous-système du modèle interconnecté tout en minimisant un critère global qui prend en compte
toutes les interactions dans le réseau. La fonction de récompense prendra en compte le modèle dynamique global et sera utilisée pour
garantir des performances minimales. La construction de ces réseaux (approximateurs universels) sera inspirée par un travail récent
(Farkane et al., 2024) que nous avons développé pour résoudre une classe d'équations aux dérivées partielles non linéaires (systèmes à
grande échelle, pour lesquels nous avons obtenu des performances remarquables en termes de précision et de rapidité par rapport aux
techniques de discrétisation eulériennes).
La construction de stratégies distribuées pour l'apprentissage par renforcement basé sur l'estimation de l'état et la conception de lois de
commande se concentrera sur des cas où :
⬢ Les capteurs de chaque sous-système sont limités
⬢ La communication est restreinte
⬢ L'énergie est limitée
La deuxième partie de la thèse, tout aussi importante, se concentrera sur l'évaluation de ces algorithmes basés sur l'IA en termes de
robustesse, de précision et de temps de calcul par simulation numérique de divers types de réseaux interconnectés sous contraintes.
1. Jadbabaie, A., Lin, J., & Morse, A. S. (2003). Coordination of groups of mobile autonomous agents using nearest neighbor rules. IEEE
Transactions on automatic control, 48(6), 988-1001
2. Ren, W., & Beard, R. W. (2008). Distributed consensus in multi-vehicle cooperative control (Vol. 27, No. 2, pp. 71-82). London: Springer
London.
3. Mu, Y., Zhang, H., Yan, Y., & Xie, X. (2023). Distributed observer-based robust fault estimation design for discrete-time interconnected
systems with disturbances. IEEE Transactions on Cybernetics, 53(10), 6737-6747.
4. Li, J., Dong, X., Yu, J., Li, Q., & Ren, Z. (2023). Resilient time-varying formation tracking for heterogeneous high-order multiagent
systems with multiple dynamic leaders. IEEE Transactions on Control of Network Systems, 11(1), 89-100.
5. Kang, J., Guo, G., & Yang, G. (2022). Distributed optimization of uncertain multiagent systems with disturbances and actuator faults via
exosystem observer-based output regulation. IEEE Transactions on Circuits and Systems I: Regular Papers, 70(2), 897-909.
6. Narayanan, V., & Jagannathan, S. (2017). Event-triggered distributed control of nonlinear interconnected systems using online
reinforcement learning with exploration. IEEE transactions on cybernetics, 48(9), 2510-2519.
7. Nejabat, E., & Nikoofard, A. (2023). Switching tube model predictive based controller design for multi?agent unmanned aerial vehicle
system with hybrid topology. International Journal of Robust and Nonlinear Control, 33(17), 10468-10492.
8. Liu, J., Zhang, N., Zha, L., Xie, X., & Tian, E. (2023). Reinforcement learning-based decentralized control for networked interconnected
systems with communication and control constraints. IEEE Transactions on Automation Science and Engineering, 21(3), 4674-4685.
9. Frej, G. B. H., Thabet, A., Boutayeb, M., & Aoun, M. (2016). Decentralized observers for optimal stabilization of large class of nonlinear
interconnected systems. International Journal of Computer Applications, 137(14), 1-7.
10. Boutat-Baddas, L., Osorio-Gordillo, G. L., & Darouach, M. (2021). H? dynamic observers for a class of nonlinear systems with
unknown inputs. International Journal of Control, 94(3), 558-569.
11. Boutat-Baddas, L., Mansouri-Ezzine, M., & Darouach, M. (2015). $ H_\infty $ filter based decentralized control for a class of largescale
systems. Control Theory: Perspectives, Applications and Developments, 71-94.
12. Farkane, A., Ghogho, M., Oudani, M., & Boutayeb, M. (2024). Enhancing physics informed neural networks for solving Navier⬓Stokes
equations. International Journal for Numerical Methods in Fluids, 96(4), 381-396.
Mots clés :
Apprentissage profond , systèmes non linéaires interconnectés
Conditions :
Durée : 36 mois
Employeur : Université de Lorraine CRAN-CNRS
Lieu : France - Maroc
Rémunération : Bourse ENACT - UIR
Profil attendu : Master en Math Appli ou Automatique
Employeur : Université de Lorraine CRAN-CNRS
Lieu : France - Maroc
Rémunération : Bourse ENACT - UIR
Profil attendu : Master en Math Appli ou Automatique
Département(s) :
| Contrôle Identification Diagnostic |
Financement :
Bourse : ENACT-UIR