Ce sujet de stage concerne l’affectation de bande passante à des terminaux d’utilisateurs dans un réseau mobile constitué de petites cellules. L’objectif est de permettre à ces terminaux d’apprendre au cours du temps la bande passante à demander dans chaque cellule de connexion qu’il traverse, en fonction de leur qualité de service requise et de la charge de la cellule. L’approche d’apprentissage considérée ici est l’apprentissage par renforcement, bien adaptée à un contexte dynamique et distribué. Le temps de convergence de ces méthodes pouvant être trop important par rapport au temps de traversée d’une petite cellule par un utilisateur mobile et les arrivées et départs d’utilisateurs dans une cellule n’étant bien sûr pas synchrones, l’exécution de ces méthodes d’apprentissage vont devoir se faire consécutivement à travers plusieurs cellules traversées, comme si pour ces algorithmes toutes ces cellules étaient la même (on remplace le temps par l’espace). La question traitée ici est de savoir si cette approche pour être efficace nécessite de considérer plusieurs catégories de cellules en fonction de leurs états de charge et donc s’il est nécessaire d’exécuter en parallèle plusieurs algorithmes d’apprentissage dans chaque mobile (un par catégorie).
Pour ce faire, l’état de charge d’une cellule, consistant à la moyenne de ses demandes sur un laps de temps choisi, est discrétisé en paliers consécutifs (de 0% à 100%) ; chaque cellule est donc capable de déterminer en temps réel son palier de charge moyen dans le dernier laps de temps considérer et indique ce palier à chaque mobile qu’elle va connecter. Chaque mobile peut ainsi quand il pénètre dans une cellule réactiver durant quelques étapes de calcul son algorithme d’apprentissage dédiée à ce palier. Ensuite, il utilise le niveau d’apprentissage atteint pour décider de la demande de bande passante qu’il adresse à la cellule, et ainsi de suite.
Le stage consistera donc à modéliser, caractériser théoriquement et valider par simulation sur des scénarios spécifiques la pertinence de la catégorisation des cellules en fonction de leur charge pour différencier les apprentissages de demandes de bande passante. Ces résultats pourront aussi permettre de proposer le découpage en paliers le mieux adapté en fonction du scénario con sidérer, voire des approches d’évolution de la définition de ces paliers en fonction de l’évolution de l’état de charge du réseau au cours du temps.
Ce sujet de stage s’effectuera dans le contexte du projet ANR NETLEARN dédié à l’utilisation de technique d’apprentissage pour la gestion des réseaux et vise les futurs mécanismes de cinquième génération (5G) pour la gestion de ressources des réseaux mobiles. Le candidat devoir avoir une bonne connaissance de l’algorithmique et de la modélisation et une maitrise de la programmation, notamment en langage C. Bien que non pré-requise, une connaissance de l’apprentissage par renforcement sera appréciée.
Encadrant/contact : Olivier Marcé (Olivier.Marce@alcatel-lucent.com)