Sujet de Thèse
Titre :
Construction en temps réel de panoramas 3D de la paroi interne d'organes creux à l'aide de champs de radiance neuronaux et du splatting gaussien 3D.
Dates :
2025/09/01 - 2028/08/30
Encadrant(s) : 
Autre(s) encadrant(s) :
Dinh Hoan Thrinh (tdhoan2904@gmail.com)
Description :
Contexte médical. Les conditions d'acquisitions, les mouvements de l'estomac et la difficulté liée au contrôle de la trajectoire de l'endoscope rendent très difficile le diagnostic précoce des inflammations chroniques qui débouchent sur des lésions stomacales (cancers et ulcères) avec un taux de mortalité élevé.

Etat de l'art. Des cartes (mosaïques) à champ de vues étendus de parois internes fixes peuvent être obtenues à l'aide d'algorithmes de cartographie. Obtenir ces cartes pour l'estomac est un véritable défi car les séquences d'images des gastroscopies contiennent très peu de textures (d'informations) et sont soumises à d'importants changements d'illumination, alors que les points de vue sont très peu contrôlables. Le CRAN est un des rares laboratoire dans le monde qui a l'expertise nécessaire pour le développement d'algorithmes temps réel et suffisamment robustes de mosaïquage 2D dans l'estomac [1, 2]. L'estomac étant une entité 3D, ces cartes 2D ne peuvent cependant représenter qu'une partie de l'estomac dans une mosaïque (l'antre pylorique ou le fundus par exemple). Le CRAN possède aussi une expérience unique dans la cartographie 3D de l'estomac à l'aide de méthodes dites de « structure from motion » (SfM, [3]). Ces méthodes permettent de reconstruire un organe complet mais n'assure pas le travail en temps réel nécessaire à un diagnostic optimal.

Approches et verrous scientifiques : l'objectif de cette thèse est de mettre en oeuvre des techniques émergentes appelées « Neural Radiance Fields » (NeRF, pour l'apprentissage implicite de représentation « continues » de scènes) et « 3D Gaussian Splatting » (3DGS utilise un ensemble d'ellipsoïdes gaussiens pour un rendu efficace d'objets 3D). Ces techniques fonctionnement parfaitement lorsque de grandes bases d'apprentissage avec des vérités terrains sont disponibles et lorsque les scènes sont riches en informations. Un des défis de cette thèse est de mettre ces méthodes en oeuvre dans une application sans vérité terrain et pour des scènes médicales complexes peu porteuses d'informations de textures.

References
[1] O. Zenteno, D.-H. Trinh, S. Treuillet, Y. Lucas, T. Bazin, D. Lamarque, C Daul, "Optical biopsy mapping on endoscopic image mosaics with a marker-free probe", Computers in Biology and Medicine, Vol. 143, 2022.
[2] D-H. Trinh and C. Daul, "On illumination-invariant variational optical flow for weakly textured scenes", Computer Vision and Image Understanding, Vol.179, Issue C, pages 1-18, 2019.
[3] T.-B. Phan, D.-H. Trinh, D. Wolf and C. Daul, "Optical flow-based structure-from-motion for the reconstruction of epithelial surfaces", Pattern Recognition, Vol.105, September 2020.
Mots clés :
Apprentissage profond, mosaïquage 3D, gastroscopie
Conditions :
Fonctionnement de la thèse
- Thèse en cotutelle : le thésard devra effectuer des séjours dans les deux pays (a minima un an à l'Université de Lorraine) pour obtenir les thèses des deux universités. Un convention de cotutelle sera établie.
- Des financements pour soutenir les déplacements seront demandés à Campus France.
- Des séjours de l'encadrant français seront prévus au Vietnam et inversement.
Département(s) : 
Biologie, Signaux et Systèmes en Cancérologie et Neurosciences
Financement :
Thèse internationale ou contrat doctoral UL