Contexte
La comparaison des techniques de résolution des Processus de Décision Markovien (PDM) a fait l'objet de nombreuses études, sans qu'aucune réponse définitive n'ait encore émergé. En particulier, une grande partie de ces recherches se concentre sur des instances générées aléatoirement, qui sont souvent peu représentatives des cas réels. Pourtant, il existe des langages de description, comme PDDL (utilisé pour modéliser les processus de décision) et RDDL (employé en apprentissage par renforcement), qui permettent de définir aisément des instances pertinentes. En outre, des dépôts en ligne, tels que QComp, regroupent un grand nombre d’instances souvent issues de situations réelles. Ces instances sont généralement décrites à l'aide de ces langages spécialisés.
Objectifs
Le but de ce projet est de se familiariser avec un langage de description, en l'occurrence PDDL, afin de construire un grand nombre d’instances pouvant être exécutées sur des solveurs existants sous Python, tels que Marmote ou MDPToolbox. Ces travaux permettront de comparer l’efficacité des principales méthodes de résolution des Processus de Décision Markovien.
Tâches à réaliser
- Compréhension du langage PDDL : Étudier sa syntaxe et explorer les bibliothèques Python associées.
- Transcription d’une instance décrite en PDDL : Convertir une instance PDDL en un format lisible par les solveurs.
- Récupération et traitement d’instances existantes : Télécharger des instances depuis des dépôts en ligne et les adapter pour une utilisation avec les solveurs.
- Analyse des performances : Mesurer et comparer les temps de résolution des méthodes sur chaque modèle étudié.
Livrables
- Code source : Un ensemble de scripts Python, soigneusement commentés, implémentant l'intégralité du processus.
- Rapport détaillé : Un document explicatif décrivant la méthode employée, le langage utilisé, les choix réalisés, les résultats obtenus, ainsi qu’une analyse approfondie des performances des différentes méthodes.
- Soutenance : Une présentation synthétique mettant en avant les objectifs de l’étude, les méthodes mises en œuvre et les résultats obtenus, accompagnée d’une analyse critique.