actualités

De nombreux problèmes de prise de décision et d'ingénierie peuvent être formulés comme des problèmes de contrôle optimal, où l'objectif est de déterminer une politique de commande optimisant un critère de performance prédéfini. Parmi les différentes formulations du contrôle optimal, les problèmes à horizon infini avec coûts décomptés ont suscité un regain d'intérêt ces dernières années. En réduisant progressivement la contribution des coûts par étapes futurs au critère d'optimisation, le facteur de décompte privilégie naturellement les performances à court terme par rapport aux résultats lointains. Au-delà de la modélisation des préférences temporelles dans des applications telles que l'économie, la finance et la gestion des ressources renouvelables, les formulations décomptées sont devenues un pilier de l'apprentissage par renforcement et de la programmation dynamique approximative, où elles jouent un rôle central dans la conception et l'analyse de convergence des algorithmes d'apprentissage. Ce cadre a soulevé des questions fondamentales en théorie du contrôle, en particulier concernant les garanties de stabilité des contrôleurs optimaux décomptés. Des études récentes ont montré que ces contrôleurs optimaux peuvent échouer à stabiliser le système en raison de la valeur du facteur de décompte, ce qui soulève des questions ouvertes telles que : comment concevoir des contrôleurs stabilisants sous-optimaux lorsque (i) le contrôleur optimal n'est pas stabilisant, ou (ii) lorsque le contrôleur optimal est stabilisant mais difficile à concevoir? Cette thèse comble ces lacunes de la littérature pour des classes de systèmes et d'algorithmes de commande. Nous nous concentrons d'abord sur le Régulateur Quadratique Linéaire (LQR) décompté pour les systèmes linéaires invariants dans le temps à temps discret connus. Inspiré par la théorie de l'apprentissage, nous introduisons pour la première fois une condition nécessaire et suffisante basée sur la fonction valeur optimale pour évaluer la stabilité du système en boucle fermée optimale. Lorsque le contrôleur optimal échoue à stabiliser le système, nous proposons des méthodes basées sur des Inégalités Linéaires Matricielles (LMIs) pour concevoir des contrôleurs stabilisants et sous-optimaux sans modifier la valeur du facteur de décompte. De plus, un nouvel algorithme d'Itération sur les Politiques (PI) est développé pour améliorer itérativement les performances du contrôleur tout en préservant la stabilité. Nous étendons ensuite ces résultats au cas où le modèle du système est inconnu et où seules des données d'entrée et d'état collectées hors ligne sont disponibles. Ces résultats ont été illustrés sur un montage expérimental en implémentant les contrôleurs stabilisants sous-optimaux conçus sur un système servo-rotatif (Quanser QUBE-Servo 2). Les résultats mentionnés jusqu'à présent concernent les systèmes linéaires. Nous considérons également des systèmes non linéaires à temps discret avec des coûts décomptés et des coûts par étapes génériques. Dans ce cadre, la construction de contrôleurs optimaux peut être difficile, voire impossible. Nous nous concentrons donc aux scénarios où ces contrôleurs sont obtenus par PI. En exploitant les propriétés de stabilité supposées du système optimal en boucle fermée, nous dérivons de nouvelles bornes de sous-optimalité pour PI, qui s'avèrent plus fines que celles disponibles dans la littérature. Nous fournissons également des garanties de stabilité pour les systèmes contrôlés par PI après un nombre suffisant d'itérations, qui peut être estimé. Une caractéristique de ce travail est qu'il ne nécessite pas que la politique initiale soit stabilisante, comme il est généralement supposé dans la littérature pour les coûts sans décompte. Une validation expérimentale des résultats sur un système servo-rotatif est également fournie.