Sujet de Thèse
Titre :
Identifiabilité des méthodes d'apprentissage auto-supervisés par des modèles tensoriels de rang faible
Dates :
2025/10/01 - 2028/09/30
Encadrant(s) :
Description :
L'apprentissage auto-supervisé peut exploiter des ensembles de données non étiquetées afin d'apprendre une transformation non-linéaire des données (c'est-à-dire, une représentation) qui est informative pour d'autres tâches de prédiction telles que la classification. Cependant, malgré l'importance de cette approche, la compréhension des conditions dans lesquelles la transformation apprise est garantie stable et identifiable, qui sont des propriétés clés pour garantir l'interprétabilité de ces approches, reste une question ouverte. Des questions importantes concernent l'influence des petits modèles et des données hétérogènes, qui sont des scénarios de grand intérêt dans les applications pratiques en raison de la prise en compte des données non i.i.d. et de la réduction de l'impact sur l'environnement. Ce projet vise à étudier les conditions dans lesquelles les représentations auto-supervisées apprises à partir de données hétérogènes et de petite taille sont identifiables et stables en s'appuyant sur la théorie des décompositions tensorielles de rang faible, y compris la décomposition polyadique canonique (CPD), la décomposition X-rank et les décompositions non additives telles que le ParaTuck. Ces décompositions constituent des modèles algébriques qui possèdent des garanties d'unicité et fournissent un cadre mathématique essentiel à ce projet.
Références :
T. G. Kolda, and B. W. Bader. Tensor decompositions and applications. SIAM review, 51(3), 455-500, 2009.
X. Liu, F. Zhang, Z. Hou, L. Mian, Z. Wang, J. Zhang, and J. Tang, "Self-supervised learning: Generative or contrastive," IEEE transactions on knowledge and data engineering, vol. 35, no. 1, pp. 857⬓876, 2021.
R. A. Borsoi, K. Usevich, D. Brie, and T. Adali, "Personalized coupled tensor decomposition for multimodal data fusion: Uniqueness and algorithms," IEEE Transactions on Signal Processing, 2024.
A. Cichocki, A.-H. Phan, Q. Zhao, N. Lee, I. Oseledets, et al., "Tensor networks for dimensionality reduction and large-scale optimization: Part 2 applications and future perspectives," Foundations and Trends in Machine Learning, vol. 9, no. 6, pp. 431⬓673, 2017.
Références :
T. G. Kolda, and B. W. Bader. Tensor decompositions and applications. SIAM review, 51(3), 455-500, 2009.
X. Liu, F. Zhang, Z. Hou, L. Mian, Z. Wang, J. Zhang, and J. Tang, "Self-supervised learning: Generative or contrastive," IEEE transactions on knowledge and data engineering, vol. 35, no. 1, pp. 857⬓876, 2021.
R. A. Borsoi, K. Usevich, D. Brie, and T. Adali, "Personalized coupled tensor decomposition for multimodal data fusion: Uniqueness and algorithms," IEEE Transactions on Signal Processing, 2024.
A. Cichocki, A.-H. Phan, Q. Zhao, N. Lee, I. Oseledets, et al., "Tensor networks for dimensionality reduction and large-scale optimization: Part 2 applications and future perspectives," Foundations and Trends in Machine Learning, vol. 9, no. 6, pp. 431⬓673, 2017.
Mots clés :
Identifiabilité, décompositions tensorielles de rang faible, apprentissage auto-supervisée
Conditions :
Thèse de 36 mois à la Faculté de Sciences et Technologies (UL) à Vandoeuvre-lès-Nancy.
Profile : Étudiant.e en MASTER (niveau bac + 5), compétences dans le traitement du signal, apprentissage automatique, et/ou mathématiques appliquées. Bonne capacité de communication en anglais.
Profile : Étudiant.e en MASTER (niveau bac + 5), compétences dans le traitement du signal, apprentissage automatique, et/ou mathématiques appliquées. Bonne capacité de communication en anglais.
Département(s) :
| Biologie, Signaux et Systèmes en Cancérologie et Neurosciences |
Financement :
Projet ANR JCJC (LENTILLE) et co-financement ENACT.