Sujet de stage
Titre :
Distillation de connaissance pour réduire la complexité des modèles d'apprentissage pour la prédiction des performances réseau
Dates :
2026/02/16 - 2026/07/24
Etudiant :
Encadrant(s) :
Description :
L'Internet des Objets (IoT) repose sur un ensemble de technologies de communication sans-fil permettant de connecter des capteurs
et objets contraints en énergie et en capacité de calcul. Afin d'évaluer la qualité de service des communications, des indicateurs
de performance tels que la fiabilité (Packet Delivery Ratio, PDR), la latence et le nombre de retransmissions sont généralement
étudiés.
Aujourd'hui, l'essor de l'apprentissage automatique ouvre de nouvelles perspectives pour la prédiction des performances réseau.
Plutôt que de s'appuyer uniquement sur des modèles analytiques ou des simulations, il est possible d'entraîner des modèles
prédictifs à partir de données expérimentales ou simulées [3]. Cependant, une difficulté majeure réside dans le compromis entre la
précision des modèles et leur légèreté pour un déploiement en environnements contraints.
Le concept de "Knowledge Distillation (KD)" [2] est une approche de compression de modèles qui consiste à transférer la
connaissance d'un modèle complexe (enseignant, ou teacher) vers un modèle plus léger (étudiant, ou student). Elle est
particulièrement adaptée aux réseaux IoT, où il est essentiel de réduire les coûts en mémoire et en calcul
tout en préservant la capacité prédictive [1].
Ce stage propose d'étudier l'utilisation de la Knowledge Distillation pour la prédiction des performances réseau dans les réseaux
sans-fil et IoT. Deux approches seront comparées :
⬔ Un modèle global réduit : un modèle enseignant entraîné sur l'ensemble du réseau pour prédire les performances (fiabilité,
latence, retransmissions) en fonction des paramètres de configuration (backoff, contention window, etc.), puis distillé en un
modèle étudiant réduit.
⬔ Des modèles par lien : des modèles entraînés individuellement par lien de communication (chaque lien a son propre modèle) pour
faire une prédiction plus affinée.
L'objectif est de comparer ces deux stratégies en termes de précision prédictive et de coût computationnel. Les tâches identifiées
sont les suivantes :
⬔ revue bibliographique sur KD appliquée à l'IoT et aux réseaux sans-fil,
⬔ prise en main des environnements de simulation (e.g., ns-3) et/ou d'expérimentation (e.g., FIT IoT-Lab),
⬔ collecte de données de performance réseau (fiabilité, latence, retransmissions) dans différents scénarios et configurations,
⬔ entraînement de modèles enseignants (globaux et par lien),
⬔ application de techniques de KD pour obtenir des modèles étudiants réduits,
⬔ comparaison des deux approches en termes de précision et de complexité.
Références
[1] Gad Gad et al. « Communication-Efficient Federated Learning in Drone-Assisted IoT Networks : Path Planning and Enhanced
Knowledge Distillation Techniques ». In : 2023 IEEE 34th Annual International Symposium on Personal, Indoor and Mobile Radio Com-
munications (PIMRC). 2023, p. 1-7.
[2] Jianping Gou et al. « Knowledge distillation : A survey ». In : International journal of computer vision 129.6 (2021), p. 1789-1819.
[3] Samir Si-Mohammed et al. « Ns+ ndt : Smart integration of network simulation in network digital twin, application to iot networks
». In : Future Generation Computer Systems 157 (2024), p. 124-144.
et objets contraints en énergie et en capacité de calcul. Afin d'évaluer la qualité de service des communications, des indicateurs
de performance tels que la fiabilité (Packet Delivery Ratio, PDR), la latence et le nombre de retransmissions sont généralement
étudiés.
Aujourd'hui, l'essor de l'apprentissage automatique ouvre de nouvelles perspectives pour la prédiction des performances réseau.
Plutôt que de s'appuyer uniquement sur des modèles analytiques ou des simulations, il est possible d'entraîner des modèles
prédictifs à partir de données expérimentales ou simulées [3]. Cependant, une difficulté majeure réside dans le compromis entre la
précision des modèles et leur légèreté pour un déploiement en environnements contraints.
Le concept de "Knowledge Distillation (KD)" [2] est une approche de compression de modèles qui consiste à transférer la
connaissance d'un modèle complexe (enseignant, ou teacher) vers un modèle plus léger (étudiant, ou student). Elle est
particulièrement adaptée aux réseaux IoT, où il est essentiel de réduire les coûts en mémoire et en calcul
tout en préservant la capacité prédictive [1].
Ce stage propose d'étudier l'utilisation de la Knowledge Distillation pour la prédiction des performances réseau dans les réseaux
sans-fil et IoT. Deux approches seront comparées :
⬔ Un modèle global réduit : un modèle enseignant entraîné sur l'ensemble du réseau pour prédire les performances (fiabilité,
latence, retransmissions) en fonction des paramètres de configuration (backoff, contention window, etc.), puis distillé en un
modèle étudiant réduit.
⬔ Des modèles par lien : des modèles entraînés individuellement par lien de communication (chaque lien a son propre modèle) pour
faire une prédiction plus affinée.
L'objectif est de comparer ces deux stratégies en termes de précision prédictive et de coût computationnel. Les tâches identifiées
sont les suivantes :
⬔ revue bibliographique sur KD appliquée à l'IoT et aux réseaux sans-fil,
⬔ prise en main des environnements de simulation (e.g., ns-3) et/ou d'expérimentation (e.g., FIT IoT-Lab),
⬔ collecte de données de performance réseau (fiabilité, latence, retransmissions) dans différents scénarios et configurations,
⬔ entraînement de modèles enseignants (globaux et par lien),
⬔ application de techniques de KD pour obtenir des modèles étudiants réduits,
⬔ comparaison des deux approches en termes de précision et de complexité.
Références
[1] Gad Gad et al. « Communication-Efficient Federated Learning in Drone-Assisted IoT Networks : Path Planning and Enhanced
Knowledge Distillation Techniques ». In : 2023 IEEE 34th Annual International Symposium on Personal, Indoor and Mobile Radio Com-
munications (PIMRC). 2023, p. 1-7.
[2] Jianping Gou et al. « Knowledge distillation : A survey ». In : International journal of computer vision 129.6 (2021), p. 1789-1819.
[3] Samir Si-Mohammed et al. « Ns+ ndt : Smart integration of network simulation in network digital twin, application to iot networks
». In : Future Generation Computer Systems 157 (2024), p. 124-144.
Mots clés :
Distillation de connaissance, Modélisation Réseau, Évaluation de Performance
Département(s) :
| Modélisation Pilotage des Systèmes Industriels |