Metalearning under uncertainty
Méta-apprentissage en situation d’incertitude
Résumé
In an environment determined by unobservable and changing rules, it is necessary to adapt the learning mechanisms, which is refered to as metalearning. The literature on metalear- ning in humans is classically divided into two approaches. On the one hand, several behavioral and neurophysiological results show that humans are able to modulate the learning of stimulus-action associations as a function of latent variables in the environment. These continuous optimisation mechanisms often rely on the activity of the prefrontal cortex, especially in its medial part. On the other hand, the same structures have been associated with the selection of global strategies, involving discrete and abstract representations.
The aim of this thesis is to contribute to a unified view of meta-learning, by hypothesising that it is based on strategic inference over a specifically generated strategic repertoire for the task at hand. Through two studies, we were able to investigate the meta-learning abilities of healthy volunteers in five different environments. We show characteristic signatures of global adaptation, involving the manipulation of strategies rather than the continuous adjustment of local learning parameters. Furthermore, our data support a top-down model of meta-learning, where agents adapt by strategic inference into a repertoire of task-specific strategies, rather than by the construction of elementary associative links.
Dans un environnement déterminé par des règles inobservables et changeantes, il est nécessaire d’adapter les mécanismes d’apprentissage, on parle alors de méta-apprentissage. La littérature sur le méta-apprentissage chez l’homme est classiquement divisée en deux approches. D’une part, plusieurs résultats comportementaux et neurophysiologiques montrent que les hu- mains sont capables de moduler l’apprentissage d’associations stimulus-action en fonction de variables latentes de l’environnement. Ces mécanismes d’optimisation continue reposent souvent sur l’activité du cortex préfrontal, en particulier dans sa partie médiale. D’autre part, les mêmes structures ont été associées à la sélection de stratégies globales, impliquant des représentations discrètes et abstraites.
L’objectif de cette thèse est de contribuer à une vision unifiée du méta-apprentissage, en faisant l’hypothèse qu’il repose sur l’inférence de stratégies spécifiquement générées pour la tâche en cours. A travers 2 études, nous avons pu étudier les capacités de méta-apprentissage de volontaires sains dans 5 environnements différents. Nous mettons en évidence des signatures caractéristiques d’adaptation globale, impliquant la manipulation de stratégies plutôt que l’ajustement continu de paramètres d’apprentissage local. De plus, nos données appuient un modèle de méta-apprentissage du haut vers le bas, où les agents s’adaptent par inférence stratégique dans un répertoire de stratégies spécifiquement adaptées à la tâche, plutôt que par la construction de liens associatifs élémentaires.
Origine : Fichiers produits par l'(les) auteur(s)