Programme de doctorat
Département d’informatique et de génie logiciel
Faculté des sciences et de génie
SOUTENANCE DE THÈSE
de
Patrick Dallaire
Le lundi 21 mars 2016 à 13h30
Local 2750, Pavillon Adrien-Pouliot
Les Modèles Bayésiens Non-paramétriques à Variables Cachées
(Bayesian Nonparametric Latent Variable Models)
Président
Monsieur Jules Desharnais, Ph.D.
Directeur adjoint
Département d’informatique et de génie logiciel
Université Laval
Examinateurs
Monsieur Brahim Chaib-draa, Ph.D. (Directeur de recherche)
Département d’informatique et de génie logiciel
Université Laval
Monsieur Philippe Giguère, Ph.D. (Co-directeur de recherche)
Département d’informatique et de génie logiciel
Université Laval
Monsieur Claude-Guy Quimper, Ph.D. (Examinateur)
Département d’informatique et de génie logiciel
Université Laval
Monsieur Thierry Duchesne, Ph.D. (Examinateur)
Département de mathématiques et de statistique
Université Laval
Monsieur Nizar Bouguilla, Ph.D. (Examinateur externe)
Concordia Institute for Information Systems Engineering
Université Concordia
Un des problèmes importants en apprentissage automatique est celui qui vise à déterminer la complexité du modèle à apprendre. Une trop grande complexité mène au sur-apprentissage, tandis qu’une trop faible complexité mène au sous-apprentissage. Pour certains modèles probabilistes, la complexité du modèle est sous-tendue par une ou plusieurs variables cachées dont le rôle est d’expliquer le processus génératif des données. Cette thèse s’intéresse à l’étude des méthodes Bayésiennes non-paramétriques permettant de déterminer le nombre adéquat de variables cachées pour un modèle.
La popularité des statistiques Bayésiennes non-paramétriques au sein de la communauté de l’apprentissage automatique est assez récente. Leur principal attrait vient du fait qu’elles offrent des modèles hautement flexibles et dont la complexité s’ajuste proportionnellement à la quantité de données disponibles. Au cours des dernières années, la recherche sur les méthodes d’apprentissage Bayésiennes non-paramétriques a porté sur trois aspects principaux: la construction de nouveaux modèles, le développement d’algorithmes d’inférence et les applications.
Lors de cette présentation, nous présenterons nos contributions pour l’identification des variables cachées. Dans un premier temps, nous aborderons l’apprentissage du nombre de variables cachées à introduire dans un modèle. À cet effet, nous proposons deux modèles permettant d’apprendre la structure d’un réseau Bayésien, incluant l’ajout de variables cachées. Dans un second temps, nous présenterons une méthode permettant d’apprendre le nombre de dimensions d’une variable cachée. Nous montrerons en particulier, comment cette dernière méthode est appliquée au problème d’identification de surface à partir de données d’accélérations.
Abstract
A major problem in machine learning aims to determine the complexity of the model to learn. An excessive complexity leads to overfitting while too little complexity leads to underfitting. For some probabilistic models, the complexity is reflected by the introduction of one or more latent variables whose role is to explain the generative process of the data. This thesis focuses on Bayesian nonparametric methods for determining the appropriate number of latent variables to use in a model.
The popularization of Bayesian nonparametric statistics in the machine learning community is fairly recent. Their main attraction is due to the fact that they offer highly flexible models with a complexity which is adjusted in proportion to the amount of data available. In recent years, researches on Bayesian nonparametric methods have focused on three main aspects: the construction of new models, the development of inference algorithms and applications.
In this thesis defense, we will present our contributions about identifying latent variables for Bayesian nonparametric models. First, we will cover the important problem of determining the correct number of latent variables to include in a model. To this end, we propose two novel models for learning the structure of a Bayesian network, including the addition of latent variables. Secondly, we present a method for learning the dimensionality of a latent variable. We will show in particular, how this later method is applied to the problem of autonomous surface identification from acceleration data.
Bienvenue à tous !
