Sujet de Stage

L'avènement récent de grands modèles de langues comme GPT-3 à GPT-5 (OpenAI) ou LLaMA (Meta) et de méthodes d'IA génératives, basées sur des réseaux de neurones, pose la question de l'explosion de leur nombre de paramètres (plus de 10¹² paramètres pour ChatGPT), ce qui implique à la fois un coût énergétique important pour les entraîner et un volume important pour stocker les poids du réseau notamment, et cela rend difficile voire impossible leur déploiement sur un téléphone mobile, par exemple. Le projet de stage s'inscrit dans la thématique dite de l'Intelligence Artificielle frugale, qui vise à définir des méthodes d'entraînement ou des architectures moins gourmandes à la fois en données et en ressources de calcul, afin de diminuer la consommation énergétique.